- 博客(14)
- 收藏
- 关注
RSS订阅原创 梯度下降法和牛顿法
一.梯度下降法：梯度下降是用于求函数最小值的算法，其步骤为：a.随机选择一个参数组合，计算损失函数。b.通过方向和补仓，对参数进行更新，找下一个能够让损失函数值更低的参数组合。c.持续迭代直至寻找到一个局部最小值。因为没有尝试所有的参数组合，所以不能保证寻找到的局部最小值就是全局最小值。梯度下降的分类：a.批量梯度下降（BGD)：在梯度下降的每一步中，我们都用到了所有的训练样本，需...
2019-11-14 20:06:42
3859
原创 常用特征工程的方法
1. 时间时间通常包含年、月、日、小时、分钟、秒钟。但是在很多的应用中，大量的信息是不需要的。比如在一个销量记录系统中，一般统计的为年、月、日的销量，很少具体到分、秒，这个实例中，因此我们仅需要提取部分维度即可。当我们在呈现时间的时候，试着保证你所提供的所有数据是你的模型所需要的。（别忘了时区，假如你的数据源来自不同的地理数据源，别忘了利用时区将数据标准化。）2. 分解类别属性在分类型数据...
2019-11-14 19:36:17
552
原创 Ensemble Learning (Bagging,boosting,Blending,Stacking)
bagging和boosting都属于集成方法(Ensemble Learning)集成方法的目标是把多个使用给定学习算法构建的基估计器的预测结果结合起来，从而获得比单个估计器更好的泛化能力/鲁棒性.
2019-11-13 19:46:34
480
原创 Support Vector Machine (支持向量机)
导读:●SVM的原理和应用场景●硬间隔最大化SVM的计算过程和算法步骤 线性可分SVM ●核函数的思想
2019-11-11 21:14:35
288
原创 向量的点积和叉积
1.点积2.叉积1.点积:一个向量在另一个向量上的投影的长度*另一个向量的长度,正负代表方向。a(x1,y1),b(x2,y2) a,b向量的点积 = x1x2+y1y2。点积代表的含义为向量a在b上的投影与b长度的乘积(反过来b在a上一样)点积大于0的时候代表投影在另一个向量上，也就是说两个向量的角度差不超90等于0的时候代表90度小于零代表角度差大于90度如下图所示,a向量与...
2019-11-11 18:46:50
7430
原创 最大似然法和最小二乘法,最大后验法之间的关系
内容导读:1.最大似然法2.最小二乘法3.最大后验法4.最大似然法和最小二乘法的统一5.最大似然法和最大后验法的关系
2019-11-10 10:10:00
775
原创 逻辑回归(Llogistics Regression)
内容导读:1.估计参数的方法2.最大似然法与最小二乘法3.参数估计的公式及推导4.估计误差的表示方法
2019-11-07 20:16:52
1104
原创 线性回归模型的正则化
为了能够更好地拟合数据的模型,我们采取了正则化的形式,通过减小参数的大小保留了数据的所有特征,之后选取了交叉验证集来帮助选择模型,选出后借用学习曲线查看拟合的模型,评估假设函数拟合程度
2019-11-06 23:53:22
1802
原创 梯度下降算法代码实现
上一期有写过关于机器学习的基础概念和梯度下降算法的基础公式和三种分类今天内容:1.梯度下降算法的矩阵算法及代码实现2.凸函数3.海森矩阵与泰勒展开式
2019-11-06 20:08:14
1093
原创 机器学习及其算法
一.机器学习的定义:为解决任务T,设计一段程序,从经验E中学习,达到性能度量值P,当且仅当有了经验E后,经过P评判,程序在处理T时的性能得到提升.二.机器学习的分类:1.有监督学习:即训练样本包含对应的标签,比如生存与否,即为标签.有监督学习又分为分类问题和回归问题:①分类问题:样本标签属于离散变量,比如判断是否为空值,答案仅有是或否两个可数选项,即为离散变量.分类问题又分为生成问...
2019-11-06 11:55:23
265
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人