GlassySky的博客

逻辑回归基本概念1. 逻辑回归是经典的二分类模型2. 逻辑回归的过程是面对一个回归或者分类问题，建立代价函数，然后通过优化方法迭代求解出最优的模型参数，然后测试验证我们这个求解的模型的好坏3. 逻辑回归主要应用于研究某些事件发生的概率，本质是极大似然估计4. 逻辑回归的代价函数是交叉熵，激活函数是Sigmoid优点1. 速度快，适合二分类问题2. 简单易于理解，直接看到各个特征的权重3. 能容易地更新模型吸收新的数据缺点对数据和场景的适应能力有局限性，不如决策树算

牛顿法的法的目的牛顿法不仅可以用来求解函数的极值问题，还可以用来求解方程的根，二者在本质上是一个问题，因为求解函数极值的思路是寻找导数为0的点，这就是求解方程。牛顿法的法的原理一元函数的情况根据一元函数的泰勒展开公式，我们对目标函数在点处做泰勒展开，有：如果忽略2次以上的项，则有：现在我们在点处，要以它为基础，找到导数为0的点，即导数为0。对上面等式两边同时求导，并令导数为0，可以得到下面的方程：可以解得：这样我们就得到了下一点的位置，从而走到x1。接下...

梯度下降的目的绝大多数的机器学习模型都会有一个损失函数。比如常见的均方误差（Mean Squared Error)损失函数：损失函数用来衡量机器学习模型的精确度。一般来说，损失函数的值越小，模型的精确度就越高。如果要提高机器学习模型的精确度，就需要尽可能降低损失函数的值。而降低损失函数的值，我们一般采用梯度下降这个方法。所以，梯度下降的目的，就是为了最小化损失函数。...

1.XGBoost的介绍XGBoost是2016年由华盛顿大学陈天奇老师带领开发的一个可扩展机器学习系统。严格意义上讲XGBoost并不是一种模型，而是一个可供用户轻松解决分类、回归或排序问题的软件包。它内部实现了梯度提升树(GBDT)模型，并对模型中的算法进行了诸多优化，在取得高精度的同时又保持了极快的速度，在一段时间内成为了国内外数据挖掘、机器学习领域中的大规模杀伤性武器。更重要的是，XGBoost在系统优化和机器学习原理方面都进行了深入的考虑。毫不夸张的讲，XGBoost提供的可扩展性，可移.

1 逻辑回归的介绍和应用1.1 逻辑回归的介绍逻辑回归（Logistic regression，简称LR）虽然其中带有"回归"两个字，但逻辑回归其实是一个分类模型，并且广泛应用于各个领域之中。虽然现在深度学习相对于这些传统方法更为火热，但实则这些传统方法由于其独特的优势依然广泛应用于各个领域中。而对于逻辑回归而且，最为突出的两点就是其模型简单和模型的可解释性强。逻辑回归模型的优劣势:优点：实现简单，易于理解和实现；计算代价不高，速度很快，存储资源低； 缺点：容易欠拟合，分类精度可能不高

前几天看到模型融合，今天在天池一个官方文档里面看到总结，觉得挺详细，就在博客中记录一下。还是得在实战中检验所看的东西记忆比较深刻。在比赛中提高成绩主要有3个地方特征工程 调参 模型融合1. Voting模型融合其实也没有想象的那么高大上，从最简单的Voting说起，这也可以说是一种模型融合。假设对于一个二分类问题，有3个基础模型，那么就采取投票制的方法，投票多者确定为最终的分类2.Averaging对于回归问题，一个简单直接的思路是取平均。稍稍改进的方法是进行加权平均。权值可以用排

'''数据集：人民日报1998年中文标注语料库------------------------------运行结果：-------------------原文----------------------深圳有个打工者阅览室去年１２月，我在广东深圳市出差，听说南山区工商分局为打工者建了个免费图书阅览室，这件新鲜事引起了我的兴趣。１２月１８日下午，我来到了这个阅览室。阅览室位于桂庙，临南油大道，是一间轻体房，面积约有４０平方米，内部装修得整洁干净，四周的书架上摆满了书，并按政治、哲学、法律法规、.

'''数据集：伪造数据集（两个高斯分布混合）数据集长度：1000------------------------------运行结果：----------------------------the Parameters set is:alpha0:0.3, mu0:0.7, sigmod0:-2.0, alpha1:0.5, mu1:0.5, sigmod1:1.0----------------------------the Parameters predict is:alpha0:.

'''数据集：Mnist训练集数量：60000(实际使用：10000)测试集数量：10000（实际使用：1000)层数：40------------------------------运行结果： 正确率：97% 运行时长：65m'''import timeimport numpy as npdef loadData(fileName): ''' 加载文件 :param fileName:要加载的文件路径 :return: 数据集和标签.

https://www.pkudodo.com/2018/12/16/1-8/'''数据集：Mnist训练集数量：60000测试集数量：10000------------------------------运行结果：ID3(未剪枝) 正确率：85.9% 运行时长：356s'''import timeimport numpy as npdef loadData(fileName): ''' 加载文件 :param fileName:要加载的文件路

https://www.pkudodo.com/2018/12/03/1-6/'''数据集：Mnist训练集数量：60000(实际使用:20000)测试集数量：10000------------------------------运行结果： 正确率：96.9% 运行时长：8.8h备注：对于mnist而言，李航的统计学习方法中有一些关键细节没有阐述，建议先阅读我的个人博客，其中有详细阐述。阅读结束后再看该程序。Blog：www.pkudodo.com'''impor

https://www.pkudodo.com/2018/11/30/1-5/'''数据集：Mnist训练集数量：60000测试集数量：10000------------------------------运行结果：ID3(未剪枝) 正确率：85.9% 运行时长：356s'''import timeimport numpy as npdef loadData(fileName): ''' 加载文件 :param fileName:要加载的文

https://www.pkudodo.com/2018/11/21/1-3/'''数据集：Mnist训练集数量：60000测试集数量：10000------------------------------运行结果： 正确率：84.3% 运行时长：103s'''import numpy as npimport timedef loadData(fileName): ''' 加载文件 :param fileName:要加载的文件路径

https://www.pkudodo.com/2018/11/19/1-2/'''数据集：Mnist训练集数量：60000测试集数量：10000（实际使用：200）------------------------------运行结果：（邻近k数量：25）向量距离使用算法——欧式距离 正确率：97% 运行时长：308s向量距离使用算法——曼哈顿距离 正确率：14% 运行时长：246s'''import numpy as npimport time

刚刚刷公众号时看到github上一个项目，手写实现《统计学习方法》想到还没有对这方面做一些总结，就转载学习一下。https://www.pkudodo.com/2018/11/18/1-4/minist数据集：https://github.com/Dod-o/Statistical-Learning-Method_Code/tree/master/Mnist'''数据集：Mnist训练集数量：60000测试集数量：10000------------------------------