机器学习
NBtingwu
专注搜索、推荐相关技术、机器学习,大数据
展开
-
感知机算法
/************************************************************************* > File Name: normal.cpp > Author:zhangtx > Mail: [email protected] > Created Time: 2018年01月05日...原创 2018-03-15 17:56:00 · 301 阅读 · 0 评论 -
DL神经网络权值初始化
前言深度学习中参数的初始化也有很多trick,这些trick却对训练结果起到了至关重要的作用,本文介绍一个权值初始化的策略。介绍针对神经网络权值初始化许多的方法,其中最常用的方法是用随机数进行初始化。用代码表示就是W=randn(D,H),其中randn从均值为0,标准差为1的单位高斯分布中采样,因此神经节点在初始化时有一个随机的方向。这种初始化有一个问题就是,每个神经元节点输出值的方差会随着神经...转载 2018-03-28 09:19:05 · 480 阅读 · 0 评论 -
解锁lintcode-猫和狗的问题
1,采用cnn算法,目前准确率做到84.7%,用了几种图像预处理算法和旋转之类的增加训练样本的方法,效果不理想,后继续再改进,有高手欢迎分享源码一块学习2,遇到的一些问题及解决办法: (1)XXX is nan 交叉熵计算时出现了梯度爆炸,需要对预测值做clip_by_value进行截断,注意一下min,与max的设置 (2)对图像数据需要进行归一化 可以选用...原创 2018-04-02 15:47:15 · 652 阅读 · 0 评论 -
感知机算法的对偶形式
4,算法代码/************************************************************************* > File Name: durl.cpp > Author:zhangtx > Mail: [email protected] > Created Time: 2018年01...原创 2018-03-16 16:33:17 · 398 阅读 · 0 评论 -
tensorflow中tf.random_normal和tf.truncated_normal的区别
1、tf.truncated_normal使用方法tf.truncated_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)从截断的正态分布中输出随机值。 生成的值服从具有指定平均值和标准偏差的正态分布,如果生成的值大于平均值2个标准偏差的值则丢弃重新选择。在正态分布的曲线中,横轴区间(μ-σ,μ...转载 2018-01-24 14:41:31 · 269 阅读 · 0 评论 -
凸集与凸函数
凸集的定义为: 其几何意义表示为:如果集合C中任意2个元素连线上的点也在集合C中,则C为凸集。其示意图如下所示: 常见的凸集有: n维实数空间;一些范数约束形式的集合;仿射子空间;凸集的交集;n维半正定矩阵集;这些都可以通过凸集的定义去证明。 凸函数的定义为: 其几何意义表示为函数任意两点连线上的值大于对应自变量处的函数值,示意图如下: 凸函数的一阶充要条件为:...原创 2018-03-07 10:20:44 · 7238 阅读 · 2 评论 -
解锁lintcode数字图像识别
1,题目来源http://www.lintcode.com/ai/digit-recognition/overview做为机器学习&python初学者,给大字分享一下,后面会继续解锁其它题目2,源码介绍 Common.py:one-hot函数 Reader.py:csv文件成batch格式读取 inference.py:三层神经网络算法 train.py:训练脚本 eval.py:交叉验证...原创 2018-03-08 11:43:14 · 791 阅读 · 0 评论 -
机器学习,参数之-学习率设置
1,机器学习中的学习率设置 学习率控制的是参数的更新速度,学习率设置过大,会导到损失函数在极小值附近来回变化,不收敛, 学习率设置过小,会导到学习速度变慢。 tensorflow中提供了学习率衰减机制,可以开设置一个较大的学习率和一个衰减系数,让损失函数在刚开始 以的较快的速度下降,随着训练次数增加,学习率也逐渐变小,使用损失函数以一个比较慢的速度收敛。2,公式 de...原创 2018-03-09 14:39:13 · 5756 阅读 · 0 评论 -
机器学习-回归算法
回归算法属于监督学习的范畴,监督学习对应的训练样本中带有确定的结果,只需要告诉机器怎么去学习就行,非监督学习算法是机器自己学习,回归算法线性回归算法处理连续值的预测问题,比如经典的房价预测,根据特征的维数,可有单变量线性回归与多变量线性回归。逻辑回归逻辑回归算法处理离散值的预测问题,比如医学上的肿瘤分类问题,原创 2018-04-16 14:32:13 · 436 阅读 · 0 评论