机器学习
文章平均质量分 67
Witness2020
一团漫步的灵魂
展开
-
pandas.read_csv() 读取csv文件
在Python中经常使用pandas来处理表格文件:import pandas as pdf=open("学生体测成绩表.csv",encoding='utf-8')myfile=pd.read_csv(f) //文件名中含有中文字符是不能直接作为read_csv的参数的如果报错CParserError: Error tokenizing data. C error: Expec...原创 2018-09-24 12:53:30 · 1201 阅读 · 0 评论 -
基于概率论的分类方法:朴素贝叶斯
需要分类器做出分类决策,可以使分类器给出各个类别的概率估计值,然后选择概率最高的作为其的类别。在这里使用到了概率论中的贝叶斯公式:P(A|B)=P(A)*P(B|A)/P(B),其中P(A|B)是后验概率,P(A)是先验概率,P(B|A)/P(B)为调整因子(在已知结果的情况下对先验概率大小做出相应调整得到后验概率)使用朴素贝叶斯进行文档分类可以观察文档中出现的单词,并把每个词的出现或者不...原创 2018-11-11 17:44:04 · 402 阅读 · 0 评论 -
几个常用算法的适应场景及其优缺点
本文主要回顾下几个常用算法的适应场景及其优缺点!机器学习算法太多了,分类、回归、聚类、推荐、图像识别领域等等,要想找到一个合适算法真的不容易,所以在实际应用中,我们一般都是采用启发式学习方式来实验。通常最开始我们都会选择大家普遍认同的算法,诸如SVM,GBDT,Adaboost,现在深度学习很火热,神经网络也是一个不错的选择。假如你在乎精度(accuracy)的话,最好的方法就是通过交叉验证(...转载 2018-11-13 09:11:14 · 1371 阅读 · 0 评论 -
拉格朗日乘子法与KKT条件解决优化问题
SVM支持向量机是目前非常好用的一种分类算法,但是其中的原理推导涉及了一些数学知识:例如其中在处理我们构建得到的数学模型时,最优化问题中就使用到了拉格朗日乘子法与KKT条件。通常需要解决的优化问题有三类:1.无约束的优化问题 min f(x) 求取f(x)的导数使其为零,求解出候选值,在其中验证选择出最优值,就是高中常用的方法。...原创 2018-10-25 20:45:40 · 830 阅读 · 0 评论 -
sklearn-最小二乘线性回归
sklearn是机器学习中的一个常用的python第三方模块,里面对机器学习的许多方法进行了封装,在进行机器学习的任务时,许多常用的算法可在这个模块中直接调用。并且sklearn中还提供了许多可用于分类、回归的优质数据集。使用好sklearn最直接的方法就是仔细阅读官方http://scikitlearn.org/stable/index.htmlsklearn就像是一个模板库,是许多机器学习...原创 2018-10-22 08:50:54 · 3951 阅读 · 0 评论 -
《机器学习实战》使用ID3算法构造决策树
决策树是一个基本回归和分类的算法决策树的优点:1.易于理解和解释,并且可以可视化。2.几乎不需要数据预处理。决策树还不支持缺失值。3.可以同时处理数值变量和分类变量。其他方法大都适用于分析一种变量的集合。4.可以处理多值输出变量问题。决策树的缺点:决策树学习可能创建一个过于复杂的树,也就是过拟合(overfitting)但是我们可以通过修剪决策树,合并相邻的无法产生大量信息增益...原创 2018-10-18 19:45:01 · 3504 阅读 · 1 评论 -
《机器学习实战》K近邻算法
最近刚学完《机器学习实战》的K近邻算法,自己在Anaconda的JupyterNotebook环境下进行了代码实现和数据集的运行与测试。具体内容博士的博客写得非常详细,很值得深入学习了,该博客链接:http://blog.csdn.net/c406495762最近知道了KNN算法不仅可以用来分类,还可以进行回归的实现,原理是:通过找出一个样本最近的K个邻居,将这些邻居的特征值的平均值赋...原创 2018-10-14 22:35:20 · 140 阅读 · 0 评论 -
批量梯度下降算法及简单Python实现
算法理论为了实现监督学习,假设对于因变量y有自变量x1x2,则有y=θ1x1+θ2x2+θ0θ0是偏移量,令θ0=1,得到:我们再定义误差函数j(θ)(系数为1/2是用来消去后面的2)来表示h(x)与y的接近程度:目的是使误差函数最小,需要求得使误差函数最小时的参数θ。对θ先随机初始化然后不断更新,更新算法使用梯度下降算法:该更新公式的大致推导如下:那么需要计算的是...原创 2018-09-28 18:32:22 · 6052 阅读 · 0 评论 -
《机器学习实战》逻辑回归算法简单Python实现
Logistic回归假设有一些数据点,对这些数据点用一条直线进行拟合,这个拟合的过程称为回归。使用逻辑回归进行二分类的思想是:根据现有的数据对分类边界线建立回归公式依此进行分类!原理公式——求最佳的特征参数θ分类可知真实值只有两个取值0和1,那么需要将计算得到的函数值转换为在0—1之间的数值,于是用了Sigmoid函数:g(z)=1/(1+e^-z)将参数换成一个线性回归公...原创 2018-10-11 21:57:27 · 994 阅读 · 0 评论 -
简述动量梯度下降
原文链接:https://blog.csdn.net/yinruiyang94/article/details/77944338 梯度下降是机器学习中用来使模型逼近真实分布的最小偏差的优化方法。 在普通的随机梯度下降和批梯度下降当中,参数的更新是按照如下公式进行的:W = W - αdW b = b - αdb其中α是学习率,dW、db是cost function对w和b的偏导数。...转载 2018-11-25 12:36:11 · 1136 阅读 · 1 评论