机器学习
文章平均质量分 94
煎饼证
法师
展开
-
【NLP】经典文本匹配算法
文章目录Jaccard相似度Levenshtein编辑距离SimhashTF-IDFBM25其他文本匹配主要是将两段文本进行相似度计算,以选择最匹配的内容,如搜索场景下选择相似的内容、问答场景下在问题库中匹配最相近的问题并返回对应的回答等。也可延伸用于序列形式的匹配,如地址匹配、路径序列等。本文主要整理一下经典的文本匹配/相似度计算算法,包括Jaccard相似度、Levenshtein编辑距离、Simhash、TF-IDF、BM25。Jaccard相似度参考链接:https://en.wikiped原创 2021-02-08 02:09:29 · 2730 阅读 · 0 评论 -
【统计学习方法】学习笔记-第3章-k近邻法
(知乎:https://zhuanlan.zhihu.com/p/314613894)k近邻法(k-nearest neighbor,k-NN)是一种基本分类和回归方法(这里讨论分类),对于新的实例,根据其k个最近邻的训练实例的类别,通过多数表决等方式预测。k近邻不具有显式的学习过程,是利用训练数据对特征空间进行划分,作为分类模型。k近邻法的三个基本要素——k值选择、距离度量、分类决策规则。3.1 k近邻算法【算法3.1(k近邻法)】当k=1时的特殊情况,称为最近邻算法。3.2 k近邻模原创 2020-11-27 02:09:34 · 332 阅读 · 3 评论 -
【统计学习方法】学习笔记-第2章-感知机
【统计学习方法】学习笔记-第2章-感知机感知机(perceptron)是一种二分类的线性分类模型,对应于输入空间中将实例划分为正负两类的分离超平面,属于判别模型。感知机的学习就是基于误分类的损失函数,利用梯度下降法对损失函数进行极小化,得到线性划分的分离超平面。模型:f(x)=sign(w⋅x+b)f(x)=\text{sign}(w\cdot x+b)f(x)=sign(w⋅x+b)策略:极小化损失函数L(w,b)=−∑xi∈Myi(w⋅xi+b)L(w,b)=-\sum_{x_i \in M}y原创 2020-11-23 03:17:32 · 153 阅读 · 1 评论 -
【统计学习方法】学习笔记-第1章-统计学习及监督学习概论
【知乎:https://zhuanlan.zhihu.com/p/305028771】【统计学习方法】学习笔记-第1章-统计学习及监督学习概论1.1 统计学习统计学习(statistical learning)是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测和分析的一门学科。统计学习也称为统计机器学习(statistical machine learning)赫尔伯特·西蒙(Herbert A.Simon)对“学习”的定义:如果一个系统能够通过执行某个过程改进它的性能,这就是学习统计原创 2020-11-21 23:04:47 · 268 阅读 · 0 评论 -
图因式分解GraphFactorization
Distributed Large-scale Natural Graph Factorization Graph Embedding Techniques, Applications, and Performance: A Survey综述里的描述 博客上LLE、拉普拉斯特征图的资料不少,但是Graph Factorization的很少,也可能是名字太普通了。。。只能自己...原创 2018-08-02 17:56:54 · 3019 阅读 · 1 评论 -
谱聚类
https://www.cnblogs.com/pinard/p/6221564.html谱聚类(Spectral Clustering),对数据分布适应性强,效果优秀,计算量小。概述由图论演化而来,在聚类中广泛应用。 将所有样本看做点,点之间用边连接,近的权重大,远的权重小。 通过对数据点切图实现聚类,使类间权重和小,类内权重和大。无向权重图结点的度表示与它相...原创 2018-07-27 15:44:15 · 408 阅读 · 0 评论 -
拉普拉斯矩阵/特征映射
https://www.jianshu.com/p/87057397a070 https://blog.csdn.net/v_july_v/article/details/40738211 https://blog.csdn.net/yujianmin1990/article/details/484204831.拉普拉斯矩阵(Laplacian Matrix)表示图的...原创 2018-07-26 22:42:13 · 5822 阅读 · 1 评论 -
局部线性嵌入LLE
[1]https://www.cnblogs.com/pinard/p/6266408.html [2]Graph Embedding Techniques, Applications, and Performance: A Survey 主要参考和图片来源[1]局部线性嵌入(Locally Linear Embedding,LLE),一种重要降维方法,与PCA、LDA相比...原创 2018-07-25 23:03:26 · 848 阅读 · 0 评论 -
奇异值分解SVD
主要参考https://www.cnblogs.com/pinard/p/6251584.html, https://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html奇异值分解(Singular Value Decomposition,SVD),用于降维算法的特征分解、推荐系统、NLP...原创 2018-07-25 11:57:10 · 1101 阅读 · 0 评论 -
LINE
LINE: Large-scale Information Network Embedding概述LINE是一种Graph Embedding的方法,在非NN的方法中是比较好的。LINE的提出:考虑到因式分解的方法只适用于无向图、且只考虑一阶的相似关系;而DeepWalk方法没有明确表现出维持了什么特征。所以LINE实现了可用于有向无向图、有权无权,以及维持了局部和全局结...原创 2018-08-08 18:09:48 · 351 阅读 · 0 评论 -
【论文笔记】FaceNet: A Unified Embedding for Face Recognition and Clustering
FaceNet: A Unified Embedding for Face Recognition and Clustering https://www.sentiance.com/2018/05/03/loc2vec-learning-location-embeddings-w-triplet-loss-networks/ 本篇主要是用于人脸识别的“三重损失”——triplet...原创 2018-08-21 21:37:37 · 471 阅读 · 0 评论 -
快速风格迁移
风格迁移是CV的一个应用,通过融合风格图片和内容图片,实现图片的风格变换,“人人都是艺术家” 最早在论文《A Neural Algorithm of Artistic Style》中提出,但是这种方法是用“训练”的思想来做风格迁移,每次都要单独训练,速度很慢 快速风格迁移由《Perceptual Losses for Real-Time Style Transfer Super-...原创 2018-09-05 23:18:35 · 8887 阅读 · 3 评论 -
HMM隐马尔科夫模型
对HMM做概述,主要摘抄自《统计学习方法》,概率计算为主,对学习和预测算法暂时忽略。 最后补充一些HMM在地图匹配上的应用1.HMM定义和理解隐马尔可夫模型(Hidden Markov Model),标注问题,生成模型。 定义:隐马尔可夫模型是关于时序的概率模型,描述由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列,再由各个状态生成一个观测而产生观测随机序...原创 2018-09-17 17:50:04 · 405 阅读 · 0 评论 -
Jaccard相似度
https://en.wikipedia.org/wiki/Jaccard_indexhttps://blog.csdn.net/qq_26710805/article/details/79855226杰卡德系数(Jaccard Index),也称Jaccard相似系数(Jaccard similarity coefficient),用于比较有限样本集之间的相似性与差异性。如集合间的相似性...原创 2018-09-29 01:18:52 · 3899 阅读 · 0 评论 -
【论文笔记】Structural Deep Network Embedding
Structural Deep Network Embeddinghttps://www.kdd.org/kdd2016/papers/files/rfp0191-wangAemb.pdf本文介绍图嵌入的一种方法——SDNE,用深度神经网络来做图嵌入,以下主要摘录论文以及记录一点个人理解。摘要network embedding,是为网络中的节点学习出一个低维表示的方法。目的在于在低...原创 2018-10-30 18:30:33 · 4805 阅读 · 0 评论 -
混合密度模型Mixture Density Networks
翻译并简化自:http://blog.otoro.net/2015/11/24/mixture-density-networks-with-tensorflow/?tdsourcetag=s_pctim_aiomsgnotebook地址:http://otoro.net/ml/ipynb/mixture/mixture.html简单的数据拟合(用TF)我们首先快速构建一个神经网络来拟合...翻译 2019-01-19 19:28:11 · 10430 阅读 · 4 评论 -
信息熵、交叉熵、相对熵
【直观详解】信息熵、交叉熵和相对熵熵,热力学中表征物质状态的参量之一,用符号S表示,其物理意义是体系混乱程度的度量。信息熵,描述信源的不确定度。信息熵越大,越无序,越随机,信息量(的期望)越大,要消除不确定性所需信息量越大。考虑把信息量存储下来需要多大空间/存储代价 (用存储空间表示信息熵(不确定性越高所需存储空间越大))举例:表示天气情况的P=[p1,p2,p3,p4]P...原创 2018-07-23 11:46:05 · 455 阅读 · 0 评论 -
【机器学习】异常点检测_sklearn
异常值检测方法可以用于寻找/判断outlier和样本极度不平衡二分类 sklearn提供了几种异常值检测方法 说明:2.7. Novelty and Outlier Detection 例子:Outlier detection with several methods注意Novelty和Outlier的区别OneClassSVMEllipticEnvelopeIsolation...原创 2018-04-24 17:51:39 · 6209 阅读 · 1 评论 -
【笔记】《统计学习方法》(5)决策树
简书:https://www.jianshu.com/p/eb9d50312de8第5章 决策树决策树(decision tree)是一种基本的分类与回归方法。可以认为是互斥且完备的if-then规则的集合。优点:模型具有可读性、分类速度快。通常包括三个步骤:特征选择、决策树的生成、决策树的修剪思想来源主要有ID3算法、C4.5算法、CART算法定义:分类决策树模型是一...原创 2018-03-08 20:09:08 · 381 阅读 · 0 评论 -
【笔记】《统计学习方法》(6)逻辑斯谛回归与最大熵模型
简书:https://www.jianshu.com/p/eb9d50312de8第6章 逻辑斯谛回归与最大熵模型逻辑斯谛回归(logistic regression)是经典分类方法。最大熵是概率模型学习的一个准则,推广至分类问题即为最大熵模型(maximum entropy model)。二者都属于对数线性模型逻辑斯谛分布(logistic distribution),设...原创 2018-03-10 15:14:52 · 254 阅读 · 0 评论 -
【笔记】《统计学习方法》(7)支持向量机
简书:https://www.jianshu.com/p/eb9d50312de8第7章 支持向量机支持向量机(support vector machines, SVM)是一种二类分类模型基本模型是定义在特征空间上的间隔最大的线性分类器,区别于感知机核技巧使其成为实质上的非线性分类起学习策略是间隔最大化,形式化为求解凸二次规划问题,等价于正则化的合页损失函数最小化问题...原创 2018-03-10 16:19:25 · 281 阅读 · 0 评论 -
【笔记】《统计学习方法》(8)提升方法
简书:https://www.jianshu.com/p/eb9d50312de8第8章 提升方法强可学习与弱可学习式等价的,在概率近似正确(probably approximately correct, PAC)学习的框架下提升(boosting)要解决的两个问题: (1)每一轮如何改变训练数据的权值和概率分布 (2)弱分类器如何组合成一个强分类起AdaBoost的...原创 2018-03-10 17:51:14 · 287 阅读 · 0 评论 -
【笔记】《Python大战机器学习》
简书: 简单的记录,有写于《统计学习方法》中明确的基本知识没记第1章 线性模型第2章 决策树第3章 贝叶斯分类器第4章 k近邻法第5章 数据降维第6章 聚类和EM算法第7章 支持向量机第8章 人工神经网络第9章 半监督学习第10章 集成学习第11章 数据预处理第12章 模型评估、选择与验证第1章 线性模型线性模型的形式:f(x⃗&nb...原创 2018-03-10 21:54:42 · 1020 阅读 · 0 评论 -
【面试准备——简答篇】(机器学习)
介绍LRLR和SVM的联系和区别为什么要对特征做离散化如何进行并行化介绍SVMSVM为什么采用间隔最大化?为什么要将求解SVM的原始问题转换为其对偶问题?为什么SVM要引入核函数?svm RBF核函数的具体公式?为什么SVM对缺失数据敏感?核函数选择Boosting和Bagging介绍RF介绍GBDT介绍XGBoostRF和GBDT的区别GBDT和XGB...原创 2018-03-31 21:13:43 · 769 阅读 · 0 评论 -
<机器学习>自用笔记
一、《机器学习》第一张 绪论1、机器学习所研究的主要内容,是关于在计算机上从数据中产生“模型”(model)的算法,即“学习算法”(learning algorithm)2、基本概念:数据集(data set):一组记录的集合示例(instance)/样本(sample):一条记录对事件或对象的描述属性(attribute)/特征(feature):反映事件或对象在某方面的表现或性质的事项属性值(...原创 2016-07-09 20:16:46 · 3247 阅读 · 0 评论 -
【笔记】《Python数据分析与实战挖掘》
《Python数据分析与实战挖掘》 张良均基础篇书推荐:《用python做科学计算》扩展库 简介Numpy数组支持,以及相应的高效处理函数Scipy矩阵支持,以及相应的矩阵数值计算模块Matplotlib强大的数据可视化工具、作图库Pandas强大、灵活的数据分析和探索工具StatsModels 统计建模和计量经济学,包括描述统计、统计模型估计和推断Scikit-Learn支持回归、分类、聚类等的...原创 2016-10-04 21:36:55 · 7644 阅读 · 1 评论 -
【笔记】《统计学习方法》(1)概论
本来因为在CSDN里上传图片很麻烦,所以转到简书了。结果简书居然还不支持Latex和目录TOC、、、公式比较多的只好回到CSDN了 《统计学习方法》是学习机器学习原理的“必修课”,抽出点时间把之前看的时候的标注数字化一下,供自己以后回忆用…主概念、理解和算法,不记推导 简书:https://www.jianshu.com/p/eb9d50312de8第1章 统计...原创 2018-03-07 17:08:54 · 331 阅读 · 0 评论 -
【笔记】《统计学习方法》(2)感知机
简书:https://www.jianshu.com/p/eb9d50312de8第2章 感知机(模型)感知机(perceptron)是一种线性分类模型,属于判别模型,感知机模型的假设空间是定义在特征空间中的所有线性分类模型(linear classification model)或线性分类器(linear classifier),即函数集合{f|f(x)=wx+b}{f|f...原创 2018-03-07 20:57:56 · 171 阅读 · 0 评论 -
【笔记】《统计学习方法》(3)k近邻法
简书:https://www.jianshu.com/p/eb9d50312de8第3章 k近邻法k近邻法(k-nearest neighbor, k-NN)是一种基本分类与回归方法。k近邻法的三个基本要素k值选择、距离度量、分类决策规则k近邻法算法 输入:训练数据集 T={(x1,y1),(x2,y2),...,(xN,yN)}T={(x1,y1),(x2,y2),....原创 2018-03-07 21:48:30 · 222 阅读 · 0 评论 -
【笔记】《统计学习方法》(4)朴素贝叶斯法
简书:https://www.jianshu.com/p/eb9d50312de8第4章 朴素贝叶斯法朴素贝叶斯(naive Bayes)法是基于贝叶斯定理与特征条件独立假设的分类方法。首先基于特征条件独立假设学习输入/输出的联合概率分布;然后基于此模型,对给定的输入x,利用贝叶斯定理求出后验概率最大的输出y。条件独立假设 P(X=x|Y=ck)=P(X(1)=x(1)...原创 2018-03-07 22:15:47 · 195 阅读 · 0 评论 -
MATLAB神经网络 笔记
原创 2016-07-20 17:28:16 · 392 阅读 · 0 评论