2017年11月_客尘烦恼

翻译 3.为什么深度学习会飞速发展

近年来，深度学习飞速发展要归功于社会数字化带来的大量数据，神经网络算法发展的更快的计算能力与创新性。深度学习要有高效的表现，必须考虑两件事： 1.有能力去训练一个足够大的神经网络 2.大量带标签的数据神经网络的训练过程是反复迭代训练神经网络会花费大量的时间，这会影响你的工作效率。更快的计算能力有助于迭代和改进新算法。

2017-11-30 00:05:28 2708

在有监督的学习中，我们会得到一个数据集，并且已经知道我们正确的输出应该是什么样子，认为输入和输出之间是有关系的。有监督的学习问题分为“回归”和“分类”问题。在一个回归问题，我们试图通过连续输出预测结果，这意味着我们是试图将输入变量映射到一些连续函数。而在分类问题中，我们改为试图在离散输出中预测结果。换句话说，我们试图将输入变量映射到离散的类别。下面是一些监督学习的例子：有不同类型的神经网络，例如卷积

2017-11-29 23:54:25 919

翻译 1.什么是神经网络

神经网络是受人脑运作模式的启发创造出来的一种强大的学习算法。例子1——简单的神经网络给定房地产市场上房屋大小的数据，要拟合一个能预测其价格的函数。这是一个线性回归问题，因为价格作为房屋大小的一个函数是连续的。我们知道，价格不可能是负值，所以我们正在创建一个叫做修正线性单元(ReLU)，它是从零开始的。 x：房屋的尺寸输入 y：价格输出这个“神经元”

2017-11-29 22:44:54 353

原创 centos7安装python3.5

python官网地址： https://www.python.org/downloads/release/python-354/ 解压移动到/usr/lcoal下tar -zxf Python-3.5.4.tgzmv Python-3.5.4 /usr/local/安装依赖yum install openssl-devel bzip2-devel expat-devel gdbm-devel

2017-11-25 00:43:00 556

原创关于hbase修复

查看hbase ui http://hmasterIP:16010/master-status 查看是否datanode有挂掉的，hdfs服务是否正常 hbase hbck 检查hbase状态常规用repair即可解决hbase hbck -repair相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans -fixHd...

2017-11-24 21:56:23 2064

原创 python-tensorflow 画风迁移

通过python的深度学习算法包去训练计算机模仿图片风格处理另外一张图片，来自GitHub开源，参看某知乎大神杨航锋的文章，自己尝试了下,感受下机器学习的魅力。需python3.5pip3 install keraspip3 install h5pypip3 install tensorflowpip3 install pillow把vgg16_weights_tf_dim_ordering_

2017-11-24 02:22:03 2350 1

原创 ranger启动报错Access denied for user 'root'@'%' to database 'ranger'

使用ambari安装的ranger在启动ranger-admin时报错 Access denied for user ‘root’@’%’ to database ‘ranger’ 参考解决办法：使用root用户登录数据库，执行以下sql语句mysql> SELECT host,user,password,Grant_priv,Super_priv FROM mysql.user;+---

2017-11-23 04:02:31 2052

原创大数据集群失联问题解决方案

我们之前维护的集群经常性地出现失联的情况，大数据集群上，还有es集群在跑，在凌晨左右集群会有随机的机器间歇性失联，cpu飙高，ssh登录不了。在尝试了诸多方法后，通过每天定时清理缓存的方式解决了集群失联的问题。生产环境的大数据集群每天会有大量缓存，若不清理，就会导致内存使用率一直居高不下，长此以往，集群机器就容易失联。手工释放linux内存To free pagecache, useecho

2017-11-23 03:45:46 1551

原创 kickstart安装centos6.5

安装原理图 1. pxe client发送请求 2. DHCP Server提供信息 3. pxe client向PXELinux tftp请求下载启动文件 4. PXELinux响应请求并传输文件 5. pxe client向nfs kickstart请求下载自动应答文件 6. nfs kickstart安装操作系统准备工作网络模式：NAT模式

2017-11-17 18:35:42 487

lisong_ghost的博客