2017年07月_帅气的弟八哥

12月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创李宏毅机器学习课程９~~~深度学习技巧

Recipe of Deep LearningOverfittingoverfitting的判断是要训练误差与测试误差做比较。这个56-layer的网络在训练集上都没有训练好，说白了就是有点欠拟合。所以仅仅依靠测试集上的结果来判断56-layer比20-layer overfitting是不合理的。更多理解见 Overfitting and Underfit

2017-07-30 08:46:28 5418

原创李宏毅机器学习课程８~~~keras

keraskeras示例确定网络结构确定损失函数确定训练网络参数batchsize与运算时间，平行运算，可以缩简运算时间。batchsize不能太大，这是由于内存的关系。此外，batchsize太大容易陷入局部极值点或者鞍点。batchsize＝１，类似于随机梯度下降法，这样即使有GPU也不会加速运算。模型预测

2017-07-30 08:45:49 1164

原创李宏毅机器学习课程7~~~反向传播

到底为什么基于反向传播的纯监督学习在过去表现不佳？Geoffrey Hinton总结了目前发现的四个方面问题：带标签的数据集很小，只有现在的千分之一.计算性能很慢，只有现在的百万分之一.权重的初始化方式笨拙.使用了错误的非线性模型。深度学习=许多训练数据+并行计算+规模化、灵巧的的算法链式法则反向传播直接套用链式法则先计算链式法则里面的第一项计算链式法则第二项，第二项继续使用链式法则链式法则

2017-07-30 08:44:41 1319

原创李宏毅机器学习课程6~~~深度学习入门

深度学习历史深度学习经典步骤神经网络的符合标记含义Wij 代表的是从神经元ｊ到神经元ｉ，这样写的目的是便于表达，否则最后的表达式子就是Wij的转置，细节见下面。每个神经元的偏执值组成一个向量ｂ单个神经元的输出结果所有神经元输出的结果深度学习示例数字识别将图片reshape到一列（按行reshape或者按列reshape均可），类别可用0ne-hot来标记。深度学习损失函数批量算损失，梯度下降法去

2017-07-30 08:43:54 1561

原创李宏毅机器学习课程5~~~分类：逻辑回归

Function Set不同的w，b来确定不同的函数，这样就组成了函数集合，不同的w，b可以来表达不同的分布函数。Good of a Function 变换表达形式两个Bernoulli distribution的交叉熵。所谓交叉熵，是用来刻画两个分布的相似性。在这里，交叉熵可以理解为真实分布与预测分布的相似度。同分布的话，交叉熵是0Finding the best Function上式表明预测

2017-07-30 08:42:57 1923

原创李宏毅机器学习课程４~~~分类：概率生成模型

分类问题用回归来解决？当有右图所示的点时，这些点会大幅改变分类线的位置。这时候就会导致整体的回归结果变差。当把多分类当成回归问题，类别分别为1，2,3,4……，因为回归的问题是预测具体的值，这样定义类别就默认这些数据之间有相应的关系。如果数据间没有具体的这些数字关系，就会导致最后的回归结果变差。概率生产模型对比学习见李宏毅机器学习课程12~~~半监督学习概率生成模型概率生成模型示例假设所有采样点

2017-07-30 06:45:12 1176

原创 python解析json

JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，易于人阅读和编写。引用模块import json重要函数编码：把一个Python对象编码转换成Json字符串 json.dumps() 解码：把Json格式字符串解码转换成Python对象 json.loads()排序import jsondata1 = {'b':789,'c':456,

2017-07-27 21:37:51 516

原创李宏毅机器学习课程3~~~梯度下降法

梯度下降法描述梯度下降法是为了找到最优的目标函数，寻找的过程就是沿着损失函数下降的方向来确定参数变化的方向。参数更新的过程就是一个不断迭代的过程，每次更新参数学到的函数都会使得误差损失越来越小，也就是说学习到的参数函数越来越逼近最优函数。参数的更新是按照损失函数的等高线的方向进行的。梯度下降是一阶导数，梯度下降是用平面来逼近局部。牛顿法是二阶导数，牛顿法是用

2017-07-27 09:08:28 2702 1

原创李宏毅机器学习课程2~~~误差从哪里来？

Stanford机器学习—第六讲. 怎样选择机器学习方法、系统误差来源误差主要来自于偏差和方差。数学上定义：通过covariate X 预测 Y ，我们假设存在如下关系： Y = f(X) + ϵ 满足正态分布均值为0 方差σϵ 模型预测错误定义为：期望误差分解为三个非负项的和，即本真噪音、bias和 variance。https://en.w

2017-07-26 07:12:48 1521 1

原创李宏毅机器学习课程1~~~Introduction &Regression

机器学习介绍机器学习就是要找一个函数。机器学习的三大要素框架：训练集，函数集（模型集），损失函数集。机器学习图谱AI训练师的成长之路。1. 梯度下降法的理解Gradient Descent参数变化的方向就是损失函数减少的方向。图中小人向左走，还是向右走，主要是看哪个方向是损失函数减少的方向，学习率就是这个小人走的速度。理论上，全局最有解是最好的结果，但是实际上，我们有时候可能仅仅找到了局部最有解。所

2017-07-25 08:29:47 966

原创 Kaggle : Using a Convolutional Neural Network for classifying Cats vs Dogs

数据下载https://www.kaggle.com/c/dogs-vs-cats-redux-kernels-edition/dataPart 1 - Preprocessing#Package Requirementsimport cv2 # working with, mainly resizing, imagesimport numpy as np

2017-07-19 10:27:26 2294

原创 Python 异常处理

python提供了两个非常重要的功能来处理python程序在运行中出现的异常和错误。你可以使用该功能来调试python程序。什么是异常？异常即是一个事件，该事件会在程序执行过程中发生，影响了程序的正常执行。一般情况下，在Python无法正常处理程序时就会发生一个异常。异常是Python对象，表示一个错误。当Python脚本发生异常时我们需要捕获处理它，否则程序会终止执行。异常处理捕捉异

2017-07-19 03:25:05 635

原创 Python如何将列表分成均匀大小的块？

均匀大小的块def chunks(l, n): """Yield successive n-sized chunks from l.""" for i in range(0, len(l), n): yield l[i:i + n]import pprintpprint.pprint(list(chunks(range(10, 75), 10)))[[10, 11

2017-07-18 11:03:01 20262

原创 Python函数之 ceil, floor,round

Ceiling是向上取整 floor是向下取整 Round是四舍五入的ceil描述ceil() 函数返回数字的上入整数ceil()：将小数部分一律向整数部分进位。#!/usr/bin/pythonimport math # This will import math moduleprint "math.ceil(-45.17) : ", math.cei

2017-07-17 16:01:51 7515 1

原创 Python函数式编程－map()、zip()、filter()、reduce()、lambda()

三个函数比较类似，都是应用于序列的内置函数。常见的序列包括list、tuple、strmap函数map函数会根据提供的函数对指定序列做映射。map函数的定义：map(function, sequence[, sequence, ...]) -> listmap()函数接收两个参数，一个是函数，一个是序列，map将传入的函数依次作用到序列的每个元素，并把结果作为新的list返回。1、当seq只有一个时

2017-07-14 17:26:16 1360

原创 ubuntu16.04 Nvidia 显卡的风扇调速及startx的后果

问题描述#查看nvdia GPU 显卡状态watch -n 10 nvidia-smi发现显卡Tesla k40c的温度已经达到74°，转速仅仅只有49%。查看Tesla产品资料，Tesla K40 工作站加速卡规格，可知所以需要调整风扇速度来降温。然而官方驱动面板里也没有了风扇调速的选项nvidia-settings方法一sudo su -cd /etc/X11cp -p xorg.c

2017-07-13 10:52:55 17088 1

原创 keras修改backend

Method 1sudo gedit ~/.keras/keras.json#The default configuration file looks like this:{ "image_dim_ordering": "tf", "epsilon": 1e-07, "floatx": "float32", "backend": "theano"}Simply c

2017-07-12 10:43:56 2496

转载 Tensorflow一些常用基本概念与函数

参考文献Tensorflow一些常用基本概念与函数 http://www.cnblogs.com/wuzhitj/archive/2017/03.htmlTensorflow笔记：常用函数说明： http://blog.csdn.net/u014595019/article/details/52805444Tensorflow一些常用基本概念与函数（1） http://

2017-07-11 15:40:30 6484

原创 tensorflow:Multiple GPUs

深度学习theano/tensorflow多显卡多人使用问题集tensorflow中使用指定的GPU及GPU显存Using GPUs petewarden/tensorflow_makefiletf_gpu_manager/manager.py多GPU运行Deep Learning 和并行Deep Learning（待续）Multiple GPUs1. 终端执行程序时设置使用的GPU如果电脑有多个

2017-07-11 07:35:17 9205

原创 Git 版本管理

相关文章版本管理 github访问太慢解决方案Material for git workshop GitHub秘籍安装-Git版本管理Git官网安装说明 Linux 系统安装# 如果你的 Linux 是 Ubuntu:$ sudo apt-get install git-all# 如果你的 Linux 是 Fedora:$ sudo yum ins...

2017-07-05 10:59:13 2628 2

原创 Tensorflow官方文档---起步& MNIST示例

Tensorflow •使用图 (graph) 来表示计算任务. • 在被称之为会话 (Session) 的上下文 (context) 中执行图. • 使用 tensor 表示数据. • 通过变量 (Variable) 维护状态. • 使用 feed 和 fetch 可以为任意的操作(arbitrary operation) 赋值或者从其中获取数据综述 T

2017-07-03 15:31:24 1029

原创 Learning from Imbalanced Classes

Mango数据不平衡是一个非常经典的问题，数据挖掘、计算广告、NLP等工作经常遇到。该文总结了可能有效的方法，值得参考： 1.Do nothing. Sometimes you get lucky and nothing needs to be done. You can train on the so-called natural (or stratified) distribution a

2017-07-03 09:12:59 596