![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习(MOOC笔记原理)
cj1064789374
大佬们多多指教
展开
-
LSTM速度复习
长短时记忆网络LSTM中,ft,ot,it是门控,表示右边的值有多少能通过(不就是在BP网络上加了这种叫“门”的东西嘛,这个门控也是由各传入*权值激活出来的),整个算法是关键是出现了控制神经元有多少能通过这种思想,关键的信息会保留在中间cell的位置(可以理解为隐藏层)记忆:三个门,输出门,输入门,忘记门先不看输出输出输入门,就看忘记门,就是在RNN基础上,利用上一轮总输出及当前输入做门控...原创 2019-03-06 07:59:52 · 395 阅读 · 0 评论 -
CNN速度复习
传统BP处理图像时的问题:1、权值太多,计算量太大2、权值太多,需要大量样本进行训练例如一张图是640X480,那么就有30万个像素,然后假设是RGB三通道,那就要90万个输入神经元所以,CNN应运而生CNN是如何减少计算量呢?从两个方面入手(卷积并不能减小计算量)一是局部感受野,就是对区域按5X5的方式进行划分,每25个像素与一个神经元相连,如此像把神经元的数量缩少为1/25,...原创 2019-03-06 07:59:45 · 249 阅读 · 0 评论 -
RNN速度复习
RNN也没有什么神秘的隐藏层的输出 = 隐藏层激活函数(X输入乘权重 + 上一层隐藏层or输出层输出*权重 + 隐藏层偏置)输出层的输出 = 输出层激活函数(隐藏层输出*权重 + 输出层偏置)越到后面,前面的输入对后面的影响会越弱(原因就是BP网络的梯度消失)...原创 2019-03-06 07:59:49 · 172 阅读 · 0 评论 -
GRU/双向RNN/多层RNN速度复习
有更新门与重置门,两个门的门控都由本轮输入与上一轮h输出确定更新门决定有多少输入h(cell),重置门决定上一轮h输出有多少原创 2019-03-06 07:59:55 · 1970 阅读 · 0 评论 -
梯度下降
梯度下降,动量算法,Nesterov算法代码待补充另外,步长(学习率)也是可以改变的:每次往梯度方向分别尝试移动step步长与step/2步长,取函数值更小的那个步长循环迭代操作...原创 2019-02-26 21:31:32 · 88 阅读 · 0 评论 -
SIGMOID
原创 2019-02-26 13:46:11 · 894 阅读 · 0 评论 -
逻辑回归
逻辑回归与线性回归区别是:代价函数不一样!?逻辑回归这个叫做熵!叫混乱度!但是梯度原理是一样的原创 2019-02-26 13:47:28 · 118 阅读 · 0 评论 -
SVM
原创 2019-02-28 14:06:38 · 90 阅读 · 0 评论 -
爬山与模拟退火
爬山法是完完全全的贪心法,每次都鼠目寸光的选择一个当前最优解,因此只能搜索到局部的最优值。模拟退火也是一种贪心算法,但是它的搜索过程引入了随机因素,以一定的概率来接受一个比当前解要差的解,因此有可能会跳出这个局部的最优解,达到全局的最优解。可用来求解旅行商问题...原创 2019-02-24 23:49:02 · 114 阅读 · 0 评论 -
特征缩放与交叉验证法
特征缩放情景:房屋价格由房子面积与房间数量决定但是单位的原因所以两个数值差异太大交叉验证法十分数据,取九份训练,一份测试,如此循环十次,得十次正常的期望再取平均作为整体的期望...原创 2019-02-26 12:58:13 · 202 阅读 · 0 评论 -
拟合
防止过拟合1减少特征2增加数据量3正则化原创 2019-02-26 13:17:48 · 2911 阅读 · 0 评论 -
ADAM
慢慢看还是能看懂的,对比一般的梯度下降的改进有:步长不定,有衰减因子,每一次S求和(原S衰减与新梯度叠加)称为一阶矩估计加入二阶矩,亦有误减因子,每一次R求和(原R衰减与新梯度自身内积叠加)称为二阶矩更新完两个矩之后就修正,然后再用来更新权值,完具体流程解释如下:...原创 2019-06-25 01:10:12 · 252 阅读 · 0 评论 -
正确率与召回率
正确率:检索出的条目正确数量召回率:正确的条目被检索数量F1指标:2正确率召回率/(正确率+召回率)这几个值越接近1越好原创 2019-02-26 13:51:30 · 252 阅读 · 0 评论 -
遗传算法
遗传算法思想 借鉴生物进化论,遗传算法将要解决的问题模拟成一个生物进化的过程,通过复制、交叉、突变等操作产生下一代的解,并逐步淘汰掉适应度函数值低的解,增加适应度函数值高的解。这样进化N代后就很有可能会进化出适应度函数值很高的个体。 举个例子,使用遗传算法解决“0-1背包问题”的思路:0-1背包的解可以编码为一串0-1字符串(0:不取,1:取) ;首先,随机产生M个0-1字符串,然后...原创 2019-02-25 00:16:58 · 171 阅读 · 0 评论 -
K-MEANS及改进
聚类算法:数据是无标签的,现在我们要对他们进行分类缺点1选初始点时随机初始化,取代价最小的那组这里的代价是指随机所抽的M个点到M个点中的随机K个点作为重心的距离的和的均值缺点2选K值可以用肘部法则,代价对K的梯度变化剧烈的K,若不存在肘部可以由业务需求或经验决定缺点3用密度来聚类DBSCAN解决上图解释:P邻域就是以其为圆心的圆;核心对象中Minpoint...原创 2019-02-28 01:55:44 · 2135 阅读 · 0 评论 -
SVM例子
原创 2019-02-28 13:57:28 · 3496 阅读 · 2 评论 -
核函数
原创 2019-02-28 13:59:29 · 185 阅读 · 0 评论 -
PCA
原创 2019-02-28 14:01:23 · 157 阅读 · 0 评论 -
BP(异或实例)
原创 2019-02-24 23:38:10 · 494 阅读 · 0 评论 -
感知机(苹果与香蕉)
原创 2019-02-25 00:38:34 · 777 阅读 · 0 评论 -
决策树ID3
ID3算法:倾向于选择分支多的选项作结点首先是离散型的数据,按公式求增益,选最大的那个选项作为分裂结点关于求Infor_A(D)式子的解释,第一个5/14是youth,后面的2/5是yes,3/5是no然后是连续型的数据左边有七个年龄,右边是六个邻值均值,然后六个均值各切一刀计增益,选最高增益的即可补充:...原创 2019-02-26 22:47:42 · 108 阅读 · 0 评论 -
决策树CART
上图解释:是否拖欠贷款是分类目标考虑以是否有房来作为分裂结点时求GINI系数,分左右子树来求GINI上图解释:CART只分二叉树,所以分为结婚与其他情况(包括单身与离异)其实思路与ID3一样...原创 2019-02-27 00:05:08 · 169 阅读 · 0 评论 -
集成学习Bagging与随机森林
BAGGING有放回抽样袋中有10个样本,我抽一个放回一个,如此十次,就得到十个数据,以此作为一组新的样本,所以说抽样是随机的伪代码1.For t = 1, 2, …, T Do从数据集S中取样(放回选样)训练得到模型Ht对未知样本X分类时,每个模型Ht都得出一个分类,得票最高的即为未知样本X的分类2.也可通过得票的平均值用于连续值的预测随机森林是先用BAGGING一样...原创 2019-02-27 07:41:43 · 222 阅读 · 0 评论 -
集成学习BOOSTING与Stacking
上图解释:假设第一次4分类错了,那么第二次抽到的概率会上升,如果第二次还错,第三次抽到的概率再上升所占权重大小的意思是说投票时我一票顶你三票这样流程一:这里是生成很多个分类器,产生的权重加在元组上,意思是说控制下一次抽样时抽到的概率这里是投票机制,每个分类器自身的错误率产生的权重加在该分类器对测试样本的分类结果上,意思是控制在投票中的决定影响大小流程二:第一行D1是全集,...原创 2019-02-27 07:44:16 · 316 阅读 · 0 评论 -
机器学习
机器学习监督学习supervised learning:给计算机看哪些图片是猫,哪些图片是狗,让他去分辩,就是学习这些标签可以代表那些图片,当然也可以用于股票涨跌,房价预测,神经网络也属于此范筹无监督学习un-supervised learning:只提供猫与狗照片,但没说哪些是猫,哪些是狗,让其自行总结不同之处进行划分半监督学习semi-supervised learning:少量有...原创 2019-01-06 11:21:14 · 135 阅读 · 0 评论 -
线性回归
原创 2019-02-24 23:11:28 · 79 阅读 · 0 评论 -
KNN
基本题型:平面上有黑白两类点,现在给出一个点问这个点的类别是黑点还是白点基本思想:找到离这个点最近的K个点,看是黑点多还是白点多,分类到出现多的那类如何高效地找到最近的点:K-D树(见ACM)如何防止过拟合与欠拟合:加权KNN,就是说考虑距离,近的权重高如何选择合适的K值:交叉验证(选不同的K去讨论它的命中率,选命中率最高的那个K) 假设现在取K是1,一共有一万个点,我取其...原创 2019-02-24 23:21:32 · 83 阅读 · 0 评论 -
A*(最优路径)
寻路:寻找最短路径并避开障碍物首先将地图虚拟化,将地图划分为一个一个的小方块,这样可以用二维数组来表示地图。如下所示,绿色块(A)是起点,红色块(B)是终点,中间蓝色块是障碍物,白色块是空地。先罗列出所有的步骤,等会按照例子一步一步分析1 寻路步骤:步骤1.从起点A开始,把A作为一个等待检查的方格,放入到“开启列表”中,开启列表就是一个存放等待检车方格的列表步骤2.寻找起点A周围...原创 2019-02-25 00:03:40 · 1305 阅读 · 0 评论 -
贝叶斯与TF-IDF
原创 2019-02-28 00:38:21 · 546 阅读 · 0 评论