机器学习算法
alex_陈
这个作者很懒,什么都没留下…
展开
-
数据挖掘Apriori算法
数据挖掘Apriori算法数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。挖掘的原始数据可以是结构化的,如关系数据库中的数据;也可以是半结构化的,如文本、图形和图像数据;甚至是分布在网络上的异构型数据。数据挖掘的几种主要形式:规则挖掘: 如果一个事务中含有X,则该原创 2016-07-23 14:59:33 · 1548 阅读 · 0 评论 -
MAC 中python画图中文乱码
有中文字体的情况下通过以下代码执行得到存在的中文字体from matplotlib.font_manager import FontManagerimport subprocessfm = FontManager()mat_fonts = set(f.name for f in fm.ttflist)#print(mat_fonts)output = subprocess.check_out原创 2017-12-06 17:08:54 · 3016 阅读 · 2 评论 -
3.Lasso线性模型
Lasso 是一种估计稀疏线性模型的方法.由于它倾向具有少量参数值的情况,对于给定解决方案是相关情况下,有效的减少了变量数量。 因此,Lasso及其变种是压缩感知(压缩采样)的基础。在约束条件下,它可以回复一组非零精确的权重系数(参考下文中的 CompressIve sensing(压缩感知:重建医学图像通过lasso L1))。用数学形式表达,Lasso 包含一个使用 先验作为正则化因子的原创 2016-08-25 15:44:42 · 16873 阅读 · 3 评论 -
8.正交匹配跟踪 Orthogonal Matching Pursuit (OMP)s
OrthogonalMatchingPursuit and orthogonal_mp 实现了一个用来逼近在非零系数的个数上加约束的线性模型的拟合的OMP算法(比如L0 pseudo-norm)和 Least Angle Regression最小角回归 一样,作为一个前向特征选择方法,OMP可以用一个固定非零的数来逼近最优的解向量:或者说正交匹配算法可以针对一个特殊的误差而不是原创 2016-08-26 16:19:42 · 3118 阅读 · 1 评论 -
7.LARS lasso 模型
LassoLars 是一个使用LARS算法实现的lasso模型。和基于坐标下降的实现不同的是,它产生的是精确的解,和一个函数标准系数一样是精确线性的。1.1 数学描述这个算法和逐步回归很相似,但是除了在每一步包含变量之外,估计的参数沿着每一个对应的残差的对角方向增长。(待校正)。 并不是给出一个向量结果,而是在LARS的解中包含了一个曲线,用来表示每个参数向量的L1-norm 值的原创 2016-08-26 12:00:55 · 4128 阅读 · 0 评论 -
6.最小角回归(Least Angle Regression)
最小角回归是针对高维数据的回归算法。least angle regression 的优势如下:当p>>n时计算是非常高效的。(比如当维数远大于点数)它和前向选择计算速度差不多,并且和最小二乘法复杂度一样。生成一个完整的分段线性解的路径,这交叉验证和之后的参数调整非常有效。如果两个变量的相应值总是相同的,那么他们的系数应该有近似相同的增长速率。因此 LARS的增长总是稳定的LAR原创 2016-08-26 10:19:59 · 2314 阅读 · 0 评论 -
5.Multil-task lasso(多任务lasso回归分析)
MultiTaskLasso 是一种估计多元回归系数的线性模型, y 是一个2D数组,形式为(n_samples,n_tasks). 其限制条件是和其他回归问题一样,是选择的特征,同样称为 tasks.接下来的图示比较了通过使用一个简单的Lasso或者MultiTaskLasso得到的W中非零的位置。 Lasso 估计量分散着非零值而MultiTaskLasso所有的列全部是非零的。数原创 2016-08-25 17:25:21 · 9963 阅读 · 2 评论 -
4.弹性网络( Elastic Net)
ElasticNet 是一种使用L1和L2先验作为正则化矩阵的线性回归模型.这种组合用于只有很少的权重非零的稀疏模型,比如:class:Lasso, 但是又能保持:class:Ridge 的正则化属性.我们可以使用 l1_ratio 参数来调节L1和L2的凸组合(一类特殊的线性组合)。当多个特征和另一个特征相关的时候弹性网络非常有用。Lasso 倾向于随机选择其中一个,而弹性网络更倾向于选择两原创 2016-08-25 16:45:51 · 71353 阅读 · 9 评论 -
2.Ridge Regression 岭回归
Ridge 岭回归通过对回归稀疏增加罚项来解决 普通最小二乘法 的一些问题.岭回归系数通过最小化带罚项的残差平方和上述公式中, 是控制模型复杂度的因子(可看做收缩率的大小) : 越大,收缩率越大,那么系数对于共线性的鲁棒性更强和其他线性模型一样,Ridge 调用 fit 方法,参数为X,y,并且将线性模型拟合的系数 存到成员变量 coef_ 中。原创 2016-08-24 17:32:36 · 1018 阅读 · 0 评论 -
1.广义线性模型
以下是回归相关的一系列方法,目标值y是输入变量x的线性组合。用数学表达:\hat{y}是预测值原创 2016-08-24 13:59:29 · 734 阅读 · 0 评论 -
linux安装Python2.7
第一步:下载工具yum groupinstall "Development tools"第二步:编译Python所需要的工具yum install zlib-develyum install bzip2-develyum install openssl-develyum install ncurses-develyum install sqlite-devel原创 2016-07-27 16:25:06 · 408 阅读 · 0 评论 -
4.弹性网络( Elastic Net)
ElasticNet 是一种使用L1和L2先验作为正则化矩阵的线性回归模型.这种组合用于只有很少的权重非零的稀疏模型,比如:class:Lasso, 但是又能保持:class:Ridge 的正则化属性.我们可以使用 l1_ratio 参数来调节L1和L2的凸组合(一类特殊的线性组合)。 当多个特征和另一个特征相关的时候弹性网络非常有用。Lasso 倾向于随机选择其中一个,而弹性网络更倾向于选择两个原创 2017-12-06 21:53:12 · 4105 阅读 · 0 评论