机器学习
sisteryaya
机器学习,数据挖掘爱好者
展开
-
机器学习(四)聚类
机器学习(一)LR机器学习(二)SVM机器学习(三)树模型机器学习(四)聚类机器学习(四)聚类目录机器学习(四)聚类1、k-means算法(1)初始值(2)K值(3)中心点的确定(4)优点(5)缺点2、k_means++3、ISODATA(1) 参数(2)分裂(3)缺点(4)参考链接4、kernelk-means...原创 2019-05-22 10:30:51 · 1065 阅读 · 0 评论 -
机器学习(三)树模型
机器学习(一)LR机器学习(二)SVM机器学习(三)树模型机器学习(四)聚类机器学习(三)树模型目录二、树模型1、ID32、C4.53、CART树(1)算法步骤(2)举例(3)参考链接连续值处理缺失值的处理剪枝集成学习Boosting:Bagging:Stacking:4、RF(1)随机性(2)特征选择:(...原创 2019-05-22 10:30:28 · 13782 阅读 · 0 评论 -
机器学习(一) LR
机器学习(一)LR机器学习(二)SVM机器学习(三)树模型机器学习(四)聚类机器学习(一)LR一、SVM 和 LR(1)svm只考虑分类面附近的点,即支持向量,所以对离群点不敏感;LR考虑所有样本点;(2)非线性问题,在计算决策面时,svm只有支持向量参与了核函数;LR若引入核函数,那么每个样本都会参与,使就算量巨大;(3)svm是结构风险最小化算法,就是在训练误差...原创 2019-05-22 10:29:34 · 1047 阅读 · 0 评论 -
机器学习(二)SVM
机器学习(一)LR机器学习(二)SVM机器学习(三)树模型机器学习(四)聚类机器学习(二)SVM目录1、目标函数的由来2、凸二次规划问题:3、利用拉格朗日对偶性求解:4、对偶问题:(3)对偶间隙:(4)Slater条件:(5)强对偶:总结:5、outliers离群点:6、核函数:7、SMO(sequential minimal opt...原创 2019-05-22 10:30:18 · 1334 阅读 · 0 评论 -
机器学习(五)-概率图
目录贝叶斯决策论“”独立同分布:隐马尔科夫模型:1、成对、局部、全局马尔科夫性2、概率无向图模型:3、团与最大团4、HMM解决的三个问题5、三种问题的概率计算方法(1)概率计算问题(前向-后向算法):(2)学习算法(Baum-Welch):(3)预测算法(维比特算法):条件随机场(CRF)1、线性链条随机场:2、线性链CRF的参数化形式...原创 2018-10-04 13:00:02 · 9277 阅读 · 1 评论 -
机器学习&神经网络—模型评估、正则化
目录一、模型评估-bias and variance二、特征选择1、过滤式(Relief)2、包裹式(LVW)3、嵌入式选择与L1正则三、L1、L2正则化:1、添加L1和L2正则化有什么用?2、为什么L1可以实现稀疏化,L2不可以?1)数学公式角度2)几何图像角度3、那为什么L2正则化可以获得值很小的参数?4、L2比L1稳定? 三、神经网络...原创 2018-08-07 23:49:02 · 3276 阅读 · 0 评论 -
Word2Vec原理分析
目录一、Doc2vec二、Word2Vec1、语言统计模型2、n-gram模型3、Huffman树4、神经概率语言模型5、CBOW连续词袋模型6、skip-gram 由当前词预测上下文三、基于 Negative Sampling 的模型 1、CBOW五、基于随机负采样六、总结CBOW:Skip-gram:gloveGlove和ski...原创 2018-08-07 18:58:03 · 2616 阅读 · 0 评论 -
深度学习-循环神经网络(RNN)
循环神经网络-RNN目录情感分类(正面,负面)前向传播和反向传播1、前向传播2、反向传播GRU & LSTM一、GRU(Gated Recurrent Unit)二、LSTM(Long Short-Term Memory)学习链接:零基础入门深度学习(6) - 长短时记忆网络(LSTM)Word2Vec数学原理详解 隐层连接着输...原创 2018-08-07 18:48:00 · 1915 阅读 · 0 评论 -
深度学习-梯度爆炸和梯度消失
1、梯度爆炸和梯度消失 训练很深的神经网络时,随着层数的增加,导数会出现指数级的下降,则导致梯度消失。或者指数级的增加,导致梯度爆炸;本质是梯度传递的链式法则所导致的矩阵高次幂(反向传播会逐层对函数求偏导相乘);1)梯度消失 网络层之间的梯度(值小于 1.0)重复相乘导致的指数级减小会产生梯度消失; 原因: 主要是因为网络层数太多,太深,导致...原创 2018-08-07 18:48:20 · 9467 阅读 · 1 评论 -
结合Scikit-learn介绍几种常用的特征选择方法
原文链接:https://blog.csdn.net/bryan__/article/details/51607215感谢作者!特征选择(排序)对于数据科学家、机器学习从业者来说非常重要。好的特征选择能够提升模型的性能,更能帮助我们理解数据的特点、底层结构,这对进一步改善模型、算法都有着重要作用。特征选择主要有两个功能:减少特征数量、降维,使模型泛化能力更强,减少过拟合增强对特征和特征值之间的理解...转载 2018-05-05 22:57:32 · 655 阅读 · 0 评论 -
使用sklearn做单机特征工程
原文链接:http://www.cnblogs.com/jasonfreak/p/5448385.html感谢作者分享!使用sklearn做单机特征工程目录1 特征工程是什么?2 数据预处理 2.1 无量纲化 2.1.1 标准化 2.1.2 区间缩放法 2.1.3 标准化与归一化的区别 2.2 对定量特征二值化 2.3 对定性特征哑编码 2.4 缺失值计算 2.5 数据...转载 2018-04-14 10:03:17 · 229 阅读 · 0 评论 -
使用sklearn优雅地进行数据挖掘
原文链接:http://www.cnblogs.com/jasonfreak/p/5448462.html在此感谢读者。目录1 使用sklearn进行数据挖掘 1.1 数据挖掘的步骤 1.2 数据初貌 1.3 关键技术2 并行处理 2.1 整体并行处理 2.2 部分并行处理3 流水线处理4 自动化调参5 持久化6 回顾7 总结8 参考资料1 使用sklearn进行数据挖掘1.1 数据挖掘...转载 2018-04-13 16:46:43 · 163 阅读 · 0 评论 -
时间序列规则法快速入门
时间序列转载 2017-11-23 19:55:23 · 1141 阅读 · 0 评论 -
常见面试之机器学习算法思想简单梳理
【转载】原文作者:tornadomeet 文章来自:http://www.cnblogs.com/tornadomeet/p/3395593.html前言: 找工作时(IT行业),除了常见的软件开发以外,机器学习岗位也可以当作是一个选择,不少计算机方向的研究生都会接触这个,如果你的研究方向是机器学习/数据挖掘之类,且又对其非常感兴趣的话,可以考虑考虑该岗位,毕竟在机器智能没达到转载 2017-06-12 20:29:15 · 731 阅读 · 0 评论