![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
AI
痘痘有糖
这个作者很懒,什么都没留下…
展开
-
从LR损失函数优化学习梯度下降
梯度下降法由于LR的损失函数为:这样就变成了求min(Jω)其中α为步长,直到Jω不能再小时停止梯度下降法的最大问题就是会陷入局部最优,并且每次在对当前样本计算cost的时候都需要去遍历全部样本才能得到cost值,这样计算速度就会慢很多(虽然在计算的时候可以转为矩阵乘法去更新整个ω值)随机梯度下降法现在好多框架(mahout)中一般使用随机梯度下降法,它在计算co...原创 2019-12-29 22:26:10 · 693 阅读 · 0 评论 -
K-means
目录1. 定义2. 算法2.1 K的确定2.2 初始化的聚类中心2.3 距离计算2.4 质心的计算2.5 是否收敛(停止条件)3. 适用范围及缺陷1. 定义属于无监督学习。聚类分析是在数据中发现数据对象之间的关系,将数据进行分组,组内的相似性越大,组间的差别越大,则聚类效果越好。K-means 基于原型的、划分的距离技术。簇是由距离靠近的对象组成的,因此...原创 2019-12-29 15:09:58 · 174 阅读 · 0 评论 -
决策树
目录一.属性选择三.决策树的构建四.优化五.连续值和缺失值六.常见的树6.1 ID36.2 C4.56.3 CART6.4 总结一.属性选择Gain:节点复杂度。 Gain越高,说明越复杂。有两种衡量方式: a)熵 熵描述了数据的混乱程度,熵越大,混乱程度越高,也就是纯度越低;反之,熵越小,混乱程度越低,纯度越高。熵的计算公式如下所...原创 2019-12-22 20:31:05 · 332 阅读 · 0 评论 -
逻辑回归
摘要:逻辑回归主要解决分类,利用sigmoid 函数 转化为区间(0,1) 可用来语音识别,图像识别等识别方面,也可用来广告点击。1. 定义给定一些数据点,它们分别属于两个不同的类,现在要找到一个线性分类器把这些数据分成两类。如果用x表示数据点,用y表示类别(y可以取1或者-1,分别代表两个不同的类),一个线性分类器的学习目标便是要在n维的数据空间中找到一个超平面(hyper pla...原创 2019-12-15 23:08:43 · 302 阅读 · 0 评论 -
线性回归以及最小二乘法的应用
目录1. 最小二乘法1.1 定义1.2 解法2. 一元线性回归3. 多元线性回归1. 最小二乘法1.1 定义最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。有效的最小二乘法是勒让德在 1805 年发表的,基本思想就是认为测...原创 2019-12-01 23:13:46 · 974 阅读 · 0 评论 -
线性回归以及最小二乘法的应用
目录1. 最小二乘法1.1 定义1.2 解法2. 一元线性回归3. 多元线性回归1. 最小二乘法1.1 定义最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。有效的最小二乘法是勒让德在 1805 年发表的,基本思想就是认为测...原创 2019-12-01 23:11:28 · 990 阅读 · 0 评论 -
数据清理
1. 缺失值篇在做算法之前,免不了进行数据前置处理。如果置数据预处理重中之重,那么对模型的精度提升将有不可缺少的作用。数据清理中有一个重要模块为缺失值处理。主要流程如下:Step 1. 发现拔缺失值Step 2. 缺失值模式Step 3. 删除缺失值Step 4. 填补缺失值1.1 发现缺失值: NA, NAN , Inf,-Inf缺失值不仅仅是该取值为空,也有可能...原创 2019-11-24 23:21:43 · 221 阅读 · 0 评论 -
分类和回归模型评价
原创 2019-11-17 22:25:40 · 92 阅读 · 0 评论 -
KNN入门学习
原创 2019-11-10 23:46:09 · 165 阅读 · 0 评论