![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
zhuxiaohai68
这个作者很懒,什么都没留下…
展开
-
PCA、SVD、谱聚类
PCA、SVD与谱聚类PCASVDLDA谱聚类无向权重图相似矩阵拉普拉斯矩阵无向图切图附录1 “秩”和“特征值”附录2 协方差PCA所谓降维,就是要把n维向量X(i)投射到k维的空间(k<n),在这个k维空间里面,样本点的投影长度尽可能大,这样就能保证这个新的空间保留了原来n维空间里面尽可能多的variance。下面是公式描述:if x(i) is a point(n x 1), t...原创 2018-10-25 12:30:27 · 2015 阅读 · 0 评论 -
最优化方法
不用求导的最优化求解方法坐标轴下降法前向梯度算法对于无约束的最优化问题,可以采用最小二乘法,梯度下降,牛顿法,拟牛顿法等来求解。但是当方程无法求导的时候(lasso回归)上述方法都失效了。可以采用下面的方法坐标轴下降法前向梯度算法...原创 2018-10-25 13:31:59 · 1395 阅读 · 1 评论 -
文本向量化
文本向量化CountVectorizerTf–idf term weightingCountVectorizer最简单的例子:from sklearn.feature_extraction.text import CountVectorizerX_test = ['I sed about sed the lack','of any Actually']count_vec=CountVe...翻译 2018-10-25 13:44:28 · 2104 阅读 · 1 评论 -
决策树
决策树1. KDTREE1.1 从二叉搜索树谈起1.2 树的建立1.3 最近邻搜索2. 决策树2.1 熵与条件熵2.2 ID3(只能分类)2.3 ID4.5(只能分类)2.4 CART(能分类,也能回归)2.4.1 分类树2.4.1 回归树2.4 剪枝1. KDTREEkd树(k-dimensional树的简称),是一种分割k维数据空间的数据结构。主要应用于多维空间关键数据的搜索(如:范围搜索...原创 2018-10-25 20:38:49 · 797 阅读 · 0 评论 -
从GBDT到XGboost
从GBDT到XGboost1. GBDT1.1 GBDT用于回归问题1.2 GBDT用于二元分类问题1.3 GBDT用于多元分类问题2. XGboost附录 弱分类器---CART分类树1. GBDT假设我们前一轮迭代得到的强学习器是Ft−1(x), 损失函数是L(y,Ft−1(x)), 我们本轮迭代的目标是找到一个CART模型的弱学习器ft(x),让本轮的损失损失L(y, Ft (x))=L...原创 2018-10-26 11:27:21 · 379 阅读 · 0 评论 -
Mac mojave 10.14.3开发环境配置
Mac mojave 10.14.3开发环境配置anaconda3: python3.6pycharm:xgboost:1 翻墙2 homebrew3 编译环境4 编译xgboostanaconda3: python3.6Anaconda3-5.1.0-MacOSX-x86_64.pkgpycharm:pycharm-professional-2018.1.6.dmgxgboost:1...原创 2019-07-17 17:49:36 · 896 阅读 · 0 评论