![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 77
苟冬新
......
展开
-
特征缩放-数据标准化
在面对多维特征问题的时候,要保证这些特征都具有相近的尺度,这将帮助梯度下降算法更快地收敛特征缩放思想: 确保这些特征都处在一个相近的范围特征缩放目的:将所有数字数据放在一个数量级上常用的缩放方法:1.归一化特征缩放2.标准化特征缩放其中μ是平均值,σ是标准差样本标准差公式(标准差是方差的算术平方根)例:在处理自然图像时,我们获得的像素值在[0,255] 区间中,常用的处理是将...原创 2019-04-21 09:20:09 · 1200 阅读 · 0 评论 -
机器学习-xgboost小结
目标函数代价函数(每个损失的和)+正则化项(k棵树的复杂度的和)我们想让目标函数最小,但这是一个复杂的优化问题,要使用前向分布学习算法来求解,求解每一棵树不能使用SGD之类的算法,因为我们的模型是树(他不像线性模型),因此要使用加法模型。那么每一步的加法模型的求解就是最小化下图红框里的东西(代价+模型复杂度)这里作者并没有直接进行最优化,而是先使用泰勒公式对目标函数变形,即:好处...转载 2019-07-30 19:18:14 · 238 阅读 · 0 评论 -
机器学习-情感分析小案例
对发帖情感进行分析。字段说明: Announce_ID字段代表用户ID,User_Name字段代表用户名,topic字段代表发帖主题,body字段代表发帖内容,post_type字段代表发帖话题是否与工作相关,sentiment字段表明发帖情感色彩,IP字段代表用户IP地址。关于classify.xls文件 提取码:fkwq相关代码import pandas as pdimport ji...原创 2019-07-30 17:20:42 · 1463 阅读 · 7 评论 -
机器学习-集成学习(Ensemble Learning)
集成学习是训练一系列学习器,并使用某种结合策略把各个学习结果进行整合,从而获得比单个学习器更好的学习效果的一种方法。如果把单个学习器比作一个决策者的话,集成学习的方法就相当于多个决策者共同进行一项决策。集成模型不是单独的ML模型,而是通过先构建后结合多个ML模型来完成学习任务。集成学习的两个问题先构建:如何得到若干个个体学习器、弱学习器、基础学习器、基学习器• 同质的• 异质的• 主流...原创 2019-06-16 09:26:08 · 204 阅读 · 0 评论 -
机器学习-KNN(K近邻算法)
K近邻算法(K-Nearest Neighbor)是一种很基本的机器学习方法,能做分类和回归任务(寻找最近的K个邻居(欧式距离))KNN的三个基本要素:距离度量、k值的选择和决策规则距离度量• 在引例中所画的坐标系,可以叫做特征空间。特征空间中两个实例点的距离是两个实例点相似程度的反应(距离越近,相似度越高)。kNN模型使用的距离一般是欧氏距离,但也可以是其他距离如:曼哈顿距离k值的选择...原创 2019-06-02 12:13:05 · 549 阅读 · 0 评论 -
机器学习—决策树
决策树算法的两个阶段决策树基本术语(根节点、叶子节点、内部节点)信息熵概念和直观理解信息熵和基尼系数熵:纯度\不纯度;不确定性熵是用来度量不确定性,当熵越大,概率说X=xi的不确定性越大,反之越小;在机器学期中分类中说,熵越大即这个类别的不确定性更大,反之越小基尼不纯度表示一个随机选中的样本在子集中被分错的可能性。基尼不纯度为这个样本被选中的概率乘以它被分错的概率。当一个节点...原创 2019-05-04 11:44:14 · 1286 阅读 · 0 评论 -
机器学习—聚类(Clustering)
K均值算法(K-means algorithm)用μ1,μ2,…,μk 来表示聚类中心用c(i)(i=1,…m)来存储与第 i 个样本数据x(i)最近的聚类中心的索引先随机初始化聚类中心算法的两个重要循环:第一个for循环,计算每个样本数据x(i)距离哪一个聚类中心近,即:对于每个样本数据x(i) ,计算其应该属于的聚类中心第二个for循环,是聚类中心的移动,即:对于每一个聚类...原创 2019-05-04 08:58:56 · 9712 阅读 · 0 评论 -
机器学习—支持向量机(SVM)
支持向量机(SVM)支持向量机(SVM)是个非常强大并且有多种功能的机器学习模型,能够做线性或者非线性的分类,回归,甚至异常值检测。机器学习领域中最为流行的模型之一,是任何学习机器学习的人必备的工具。SVM 特别适合应用于复杂但中小规模数据集的分类问题。优点:泛化错误率低,计算开销不大,结果易解释。缺点:对参数调节和核函数的选择敏感,原始分类器不加修改仅适用于处理二类问题。适用数据类型:连...原创 2019-05-03 11:00:47 · 2125 阅读 · 0 评论 -
机器学习中线性回归算法python实现
线性回归算法python实现(单变量)先来回顾一下相关公式:1.正规方程当 是不可逆时,称为奇异阵或退化阵,也称伪逆阵。原因: 多余的功能(线性相关性),一个特征是平方英尺,一个特征是平方米。 特征太多,删除一些特征, 或使用正则化theta=np.linalg.inv(X.T.dot(X)).dot(X.T).dot(Y)2.代价函数J = (1.0/(2*m))*np...原创 2019-04-14 12:18:02 · 2911 阅读 · 0 评论 -
回归算法的正则化
正则化:机器学习算法中为防止数据过拟合而采取的“惩罚”措施。欠拟合问题,根本的原因是特征维度过少,导致拟合的函数无法满足训练集,误差较大。欠拟合问题可以通过增加特征维度来解决。过拟合问题,根本的原因则是特征维度过多,导致拟合的函数完美的经过训练集,但是对新数据的预测结果则较差。解决过拟合的方法1.正则化(1)保持所有的特征变量, 但是减少数量级 /参数值θ大小.(2)当我们有许多变量...原创 2019-05-01 08:18:11 · 3223 阅读 · 0 评论 -
机器学习逻辑回归Python代码实现
分类问题不用线性回归的原因:对于分类问题,y 取值为0 或者1。如果使用线性回归,那么线性回归模型的输出值可能远大于1,或者远小于0。导致代价函数很大。逻辑回归模型(S 形函数):中间变量:sigmoid函数的输出值永远在0 到1 之间:sigmoid函数的输出值永远在0 到1 之间:逻辑回归模型的概率解释:对于给定的输入变量x,根据选择的参数θ,计算输出变量y=1 ...原创 2019-05-01 08:15:50 · 3429 阅读 · 0 评论 -
机器学习-AdaBoost(自适应提升算法)
介绍AdaBoost,是“Adaptive Boosting”(自适应增强)的缩写,是一种机器学习方法,由Yoav Freund和Robert Schapire于1995年提出。思想前面的模型对训练集预测后,在每个样本上都会产生一个不同损失,AdaBoost会为每个样本更新权重,分类错误的样本要提高权重,分类正确的样本要降低权重,下一个学习器会更加“关注”权重大的样本;每一次得到一个模...原创 2019-07-31 15:54:36 · 1398 阅读 · 0 评论