![](https://img-blog.csdnimg.cn/20200302212920215.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
机器学习
文章平均质量分 84
machine
serenysdfg
菜鸟在成长
展开
-
牛顿法
https://zhuanlan.zhihu.com/p/46536960 (理解图会容易)https://blog.csdn.net/songbinxu/article/details/79677948拟牛顿法:DFP,BFGS拟牛顿法实际上是用了一个正定矩阵来代替Hessian矩阵的逆矩阵,这样不仅拥有较快的收敛速度,而且通过一步步迭代更新大大减少了计算开销。拟牛顿算法对于训练集不是很大的机器学习优化问题而言是一种十分高效的算法,学习率ε的确定方法完全类似于梯度下降...原创 2020-08-06 01:20:00 · 578 阅读 · 0 评论 -
聚类
原理先计算样本之间的距离。每次将距离最近的点合并到同一个类。然后,再计算类与类之间的距离,将距离最近的类合并为一个大类。不停的合并,直到合成了一个类。层次聚类算法根据层次分解的顺序分为:自下底向上和自上向下,即凝聚的层次聚类算法和分裂的层次聚类算法(agglomerative和divisive),也可以理解为自下而上法(bottom-up)和自上而下法(top-down)。自下而上法就是一开始每个个体(object)都是一个类,然后根据linkage寻找同类,最后形成一个“类”。自上而下法就是反原创 2020-08-06 00:58:40 · 291 阅读 · 0 评论 -
HMM隐马尔科夫模型
是关于时序的概念模型,描述了由一个隐藏的马尔科夫链随机产生不可观测的状态随机序列,再由各个状态生成一个观测而产生的观测随机序列的过程。隐藏的马尔科夫链随机生成的状态序列成为状态序列:每个状态生成一个观测,而由此产生的观测的随机序列,称为观测序列。序列的每一个位置又可以看作一个时刻。举个例子,假设朋友仅仅对三种活动感兴趣:公园散步,购物以及清理房间做什么事情只凭天气.你不知道天气但知道他做的事情...原创 2020-04-19 16:51:56 · 142 阅读 · 0 评论 -
《集体智慧编程》-优化算法
chapter3优化算法随机搜索#随机搜索domain是序列,costf是定义的成本函数def randomoptimize(domain,costf): best=999999999 bestr=None for i in range(0,1000): # 创建一个随机解 r=[float(random.randint(domain[i][0],domain[i...原创 2020-04-08 02:10:06 · 128 阅读 · 0 评论 -
LDA主题模型
LDA是一种主题模型,它可以将文档集 中每篇文档的主题以概率分布的形式给出,从而通过分析一些文档抽取出它们的主题(分布)出来后,便可以根据主题(分布)进行主题聚类或文本分类。同时,它是一种典型的词袋模型,即一篇文档是由一组词构成,词与词之间没有先后顺序的关系。此外,一篇文档可以包含多个主题,文档中每一个词都由其中的一个主题生成。知道理解LDA,可以分为下述5个步骤:一个函数:gam...原创 2020-04-08 01:36:56 · 797 阅读 · 1 评论 -
FM详解
FM因子分解机和矩阵分解FM介绍FM分解机是在线性回归的基础上加上了交叉特征,通过学习交叉特征的权重从而得到每个交叉特征的重要性。这个模型也经常用于点击率预估。其中,n代表样本的特征数量,x_i是第i个特征的值,w_0,w_i,w_ij是模型参数训练w_ij需要大量非零的x_i和x_j,而样本稀疏的话很难满足,太稀疏可以引进矩阵分解的技术,这也是为什么叫做分解机的原因...原创 2020-03-18 18:27:50 · 594 阅读 · 0 评论 -
推荐分解:介绍SVD、SVD++
SVD介绍SVD原理:奇异值分解方阵可以求特征矩阵思路可参考:https://www.cnblogs.com/pinard/p/6251584.html作用可以用最大的k个的奇异值描述矩阵。 所以SVD可以用于PCA降维,来做数据压缩和去噪。也可以用于推荐算法,将用户和喜好对应的矩阵做特征分解,进而得到隐含的用户需求来做推荐推荐分解svd :隐语义模型LFM将...原创 2020-03-18 17:57:47 · 755 阅读 · 0 评论 -
LDA和PCA
LDA-有监督线性判别分析LDA: 将带标签的高维样本投影到更低维度的空间中,使投影后的点按类别区分,相同类别的点将会在投影后的空间中更接近 ,类别之间 类间离散度越大越好。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-z11yQsfD-1584520772371)(C:\Users\sereny\AppData\Roaming\Typora\typora-us...原创 2020-03-18 16:39:51 · 365 阅读 · 1 评论 -
word2vec参数
word2vec训练 、一般来说word2vec的词向量方法强于glove方法,而对于word2vec,cbow方法强于skip-gramlr = 0.05 dim = 100 ws = 5 epoch = 5 minCount = 5 neg = 5 loss = 'ns' t = 1e-4一般是把训练和测试的语料都用来做word-embedding 本文使用Word2Vector实...原创 2020-03-13 14:15:30 · 870 阅读 · 1 评论 -
EM算法和最大似然估计
最大似然估计根据抽样分布确定整体分布,已经知道了结果,然后寻求使该结果出现的可能性最大的条件,以此作为估计值。抽到100个男生:我们就只需要找到一个参数 θ,其对应的似然函数L(θ) 最大,也就是说抽到这 100 个男生(的身高)概率最大。这个叫做 θ 的最大似然估计量每个样本抽到的概率p(x|0),抽到n个最大似然估计量:求最大似然函数估计值的一般步骤:...原创 2020-03-11 09:15:02 · 1134 阅读 · 0 评论 -
树模型
Adaboosthttps://zhuanlan.zhihu.com/p/59751960AdaBoost是这么考虑的,如果一个基分类器的准确率高,那么它的权重就会更高一点,反之权重就会较低。通常我们认为AdaBoost算法是模型为加法模型、损失函数为指数函数、学习算法为前向分步算法的二类分类学习方法。现在有出现了三个新名词:提升树提升树和AdaBoost之间的关系就好像编程语...原创 2020-02-28 11:50:59 · 131 阅读 · 0 评论 -
AdaBoost介绍
2AdaBoostAdaBoost 是一种监督学习的方法,同时 AdaBoost 也是一种元算法(元算法是对其他算法组合的一种方式),Boosting 算法是一种把若干个分类器整合为一个分类器的方法。Boosting 分类的结果是基于所有分类器的加权求和结果的,boosting 中的分类器的权重并不相等,每个权重代表的是其对应分类器在上一轮迭代中的成功度。AdaBoost...原创 2020-02-27 23:27:49 · 535 阅读 · 0 评论 -
决策树
目录决策树关键词决策树算法 决策树剪枝常用算法算法步骤决策树优点 决策树缺点 决策树关键词•1 属性选择的先后顺序• 2熵值• 3信息增益• 4信息增益率决策树算法 ll 决策树的创建ll 创建决策树的问题可以用递归的形式表示ll 首先选择一个属性放置在根节点,为每一个可能的属性值产生一个分支:将样本集拆分成多个子集,一个...原创 2018-11-15 09:33:17 · 209 阅读 · 0 评论 -
区块链
最近听了好多次区块链这个词,今天来学习一下区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。 所谓共识机制是区块链系统中实现不同节点之间建立信任、获取权益的数学算法书籍《区块链:定义未来金融与经济新格局》:介绍了区块链技术对未来金融与经济带来的影响区块链(Blockchain)是比特币的一个重要概念,区块链是比特币的底层技术和基础架构。本质上是一...原创 2018-11-15 21:01:20 · 284 阅读 · 0 评论 -
ROC和AUC
ROC曲线ROC分析可用于医学决策评价。自从八十年代起该方法广泛用于医学诊断性能的评价,如用于诊断放射学、实验室医学、癌症的筛选和精神病的诊断,尤其是医学影像诊断准确性的理论上,完善的诊断有TPF(真阳性率)=1,FPF(假阳性率)=0,图中表现为ROC曲线从原点垂直上升到图的左上角,然后水平到达右上角。完全无价值的诊断有TPF=FPF,是一条从原点到右上角的对角线。一般ROC 曲线位原创 2017-10-17 22:04:02 · 1388 阅读 · 1 评论