- 博客(7)
- 收藏
- 关注
RSS订阅原创 spark分布式矩阵采坑记
最近在开发一版基于协同过滤算法的推荐系统，需要用到历史7天的搜索和所有历史订单数据，几十亿的数据参与运算。采用spark2.0.2版本的mllib.linalg.distributed模块。该模块包含BlockMatrix，CoordinateMatrix，IndexedRowMatrix，RowMatrix四种矩阵，各矩阵之间可通过BlockMatrix相互转化，BoockMatrix矩...
2018-06-06 20:00:33
1450
4
原创 L-BFGS剖析
机器学习中经常利用梯度下降法求最优解问题，通过大量的迭代来得到最优解，但是对于维度较多的数据，除了占用大量的内存还会很耗时，L-BFGS算法是一种在牛顿法基础上提出的一种求解函数根的算法，下面由简入深尽量用简洁的语言剖析算法的本质。一.牛顿法 解决函数求根问题 f(x)函数在x1点的导数，是该函数在x1点的切线的斜率y/x，f(x1)=f(x1)/(x1-x2) ,x1-x3=f(x...
2018-04-04 15:37:22
14613
1
原创 L1 L2正则化解读
在机器学习算法中，如果我们要寻找一个模型去尽量拟合所以训练数据，使误差最小，那么对于新的数据很可能就会出现预测准确率不高，也就是说模型的泛化能力较差，尤其在回归分类算法，比如线性回归，逻辑回归，神经网络等，由于模型尽量去拟合训练数据，对训练数据得拟合程度很高，但模型是用来做预测的，对新数据的预测能力才是评估一个模型的标准。比如两个模型 M1: 0.1x1+0.2w2+0.3w3=y M2:...
2018-04-02 15:42:48
424
原创 归一化在梯度下降中的作用
在梯度下降中多数时候原始数据若没经过特征处理，数据的各个维度是存在着量级的差别，假如线性函数Ax+By+b=C，X维度数量级是十，Y的数量级是万，那么求出的A就比B大，那么在用梯度下降求解最优解过程中，对A求偏导每次变化是和X成线性的（结果只和x相关），对B求偏导是和B成线性的（结果只与y相关），这样就造成两个维度下降速度不一致的问题，在图像上面显示就是A每次走的step很小，B的step...
2018-03-29 15:51:45
6049
1
原创 多元线性回归及其优化算法
线性回归是很多机器学习机器学习算法的基础，所谓基础决定上层建筑，学好线性回归及其各种优化技巧，能为以后学习聚类乃至神经网络奠定坚实基础。我将从线性回归解析解，梯度下降，随机梯度下降，归一化，正则化等角度较为系统的为大家阐述线性回归及其各种优化策略，并给出部分Python代码，在阅读过程中大以下两种思想会贯穿读者始终：1.很多策略都是TeadeOff的，在工作中根据自身追求的目标去合理调节。...
2018-03-19 15:38:40
27595
2
原创 深入浅出最小二乘法
最小二乘法在机器学习中被广泛使用，尤其在回归算法中，我们经常利用最小二乘法构造损失函数，但是最小二乘法是怎么来的呢？为了达到知其所以然的目的，下面从数学角度推导一下。下图是利用MSE的最小二乘法得到的一条直线：一：中心极限定理定义：简单概括：大量独立同分布随机变量的和符合标准正态分布。在最小二乘法中的误差是什么？第i个样本实际的值等于预测的值加误差，假定所有的样本都是独立的，有上下的震荡，...
2018-03-17 22:45:57
802
原创 广义似然比原理
广义似然比检验检验的是什么？参数，分布正态分布： μ=μ0？或μ<-[μ1, μ2]?概率有多大假设检验：构造统计量困难原理：根据极大似然估计构造统计量，-2lnλ服从卡方分布。似然比检验的实质是在比较有约束(待估计参数的取值范围)条件下的似然函数最大值与无约束条件下似然函数最大值。似然比定义为有约束条件下的似然函数最大值与无约束条件下似然函数最大值之比。以似然比为基础可以构造一个服从卡方分...
2018-03-09 15:24:21
16954
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人