原创 从LR损失函数优化学习梯度下降

梯度下降法由于LR的损失函数为:这样就变成了求min(Jω)其中α为步长,直到Jω不能再小时停止梯度下降法的最大问题就是会陷入局部最优，并且每次在对当前样本计算cost的时候都需要去遍历全部样本才能得到cost值，这样计算速度就会慢很多（虽然在计算的时候可以转为矩阵乘法去更新整个ω值）随机梯度下降法现在好多框架（mahout）中一般使用随机梯度下降法，它在计算co...

原创 K-means

目录1. 定义2. 算法2.1 K的确定2.2 初始化的聚类中心2.3 距离计算2.4 质心的计算2.5 是否收敛（停止条件）3. 适用范围及缺陷1. 定义属于无监督学习。聚类分析是在数据中发现数据对象之间的关系，将数据进行分组，组内的相似性越大，组间的差别越大，则聚类效果越好。K-means 基于原型的、划分的距离技术。簇是由距离靠近的对象组成的，因此...

原创 决策树

目录一.属性选择三.决策树的构建四.优化五.连续值和缺失值六.常见的树6.1 ID36.2 C4.56.3 CART6.4 总结一.属性选择Gain：节点复杂度。 Gain越高，说明越复杂。有两种衡量方式：　a）熵　　熵描述了数据的混乱程度，熵越大，混乱程度越高，也就是纯度越低；反之，熵越小，混乱程度越低，纯度越高。熵的计算公式如下所...

原创 逻辑回归

摘要：逻辑回归主要解决分类，利用sigmoid 函数 转化为区间（0，1） 可用来语音识别，图像识别等识别方面，也可用来广告点击。1. 定义给定一些数据点，它们分别属于两个不同的类，现在要找到一个线性分类器把这些数据分成两类。如果用x表示数据点，用y表示类别（y可以取1或者-1，分别代表两个不同的类），一个线性分类器的学习目标便是要在n维的数据空间中找到一个超平面（hyper pla...

原创 线性回归以及最小二乘法的应用

目录1. 最小二乘法1.1 定义1.2 解法2. 一元线性回归3. 多元线性回归1. 最小二乘法1.1 定义最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。有效的最小二乘法是勒让德在 1805 年发表的，基本思想就是认为测...

原创 线性回归以及最小二乘法的应用

目录1. 最小二乘法1.1 定义1.2 解法2. 一元线性回归3. 多元线性回归1. 最小二乘法1.1 定义最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。有效的最小二乘法是勒让德在 1805 年发表的，基本思想就是认为测...

原创 线性回归以及最小二乘法的应用

目录1. 最小二乘法1.1 定义1.2 解法2. 一元线性回归3. 多元线性回归1. 最小二乘法1.1 定义最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。有效的最小二乘法是勒让德在 1805 年发表的，基本思想就是认为测...

原创 数据清理

1. 缺失值篇在做算法之前，免不了进行数据前置处理。如果置数据预处理重中之重，那么对模型的精度提升将有不可缺少的作用。数据清理中有一个重要模块为缺失值处理。主要流程如下：Step 1. 发现拔缺失值Step 2. 缺失值模式Step 3. 删除缺失值Step 4. 填补缺失值1.1 发现缺失值： NA, NAN , Inf，-Inf缺失值不仅仅是该取值为空，也有可能...

原创 分类和回归模型评价

原创 KNN入门学习

delphi做简单浏览器，注意删除和添加收藏夹。【C/S程序设计】

 C/S程序设计实验05实验目的熟悉和掌握菜单栏和工具栏。实训内容运行演示菜单栏和工具栏综合实例Example3.24（PPT：JX-CS程序设计（附一：常用组件补充）-6.ppt的第25张）。新建一个名称为project1的项目，完成如下功能。新建一个名称为mainForm的窗体，如图1所示：图1-mainForm窗体示意图主要...

今天终于把IBM的rose2007破解版 弄好了

IBM的 rose 2007 为收费软件，需要破解。 网上找了好久，终于找到一个可以下载的地址：ed2k://|file|%5BIBM%E8%BD%AF%E4%BB%B6%E7%B3%BB%E5%88%97%5D.IBM.Rational.Rose.Enterprise.v7.0-TFTISO.bin|621038544|71d09610bb53d2d905d278675b333c75...