leboop-L
学习 分享
展开
-
从信息量到信息熵再到交叉熵(Cross Entropy)及TensorFlow实现细节
信息量 信息是个很抽象的概念。人们常常说信息很多,或者信息较少,但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。直到1948年,香农提出了“信息熵”的概念,才解决了对信息的量化度量问题。信息熵这个词是Shannon(香农)从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量,分子状态越混乱,熵值越高,分子状态越稳定,熵值越低。香农用信息...原创 2020-04-27 16:14:52 · 609 阅读 · 1 评论 -
长短期记忆模型(LSTM)理解
长短记忆模型是建立在RNN基础之上的,理解RNN有助于理解LSTM模型,建议读者阅读《循环神经网络(RNN)原理及BPTT算法》。LSTM模型 在介绍LSTM模型之前,我们先回顾一下RNN,网络结构如图:将网络结构中每一层都缩成一个圆来表示,就是如下这样的网络结构缩图:在t时刻,我们向网络中输入数据,将作为RNN循环层的部分输入,另外一部分输入...原创 2020-03-31 15:20:22 · 5513 阅读 · 0 评论 -
集成学习Boosting算法之AdaBoost
Boosting算法AdaBoost与Bagging算法比较原创 2020-05-11 21:27:27 · 551 阅读 · 0 评论 -
集成学习Bagging算法之随机森林(Random Forests)
目录Bootstrap抽样Bagging算法(Bootstrap Aggregating)随机森林(Random Forests) Bagging(Bootstrap Aggregating)算法是建立在一种随机抽样的基础之上的,这种随机抽样叫Boostrap Sample,自助抽样,有的地方也叫自助法。所以介绍Bagging算法之前需要介绍Bootstrap抽样。Bootstrap抽样 Bootstrap抽样是一种样本抽样方法。抽样指的是从一个样本数据集...原创 2020-05-11 12:27:12 · 939 阅读 · 0 评论 -
机器学习之EM算法原理及高斯混合模型
EM原创 2020-05-10 01:04:22 · 569 阅读 · 0 评论 -
机器学习聚类之K-means算法
目录聚类K-means算法算法复杂度K值选择K-means算法收敛性聚类 聚类属于无监督学习问题,目标是将样本分成多个类别,保证类别内样本之间相似度高,类别间样本之间差异性高,这些类被称之为簇(cluster)。聚类是分类问题,它的目标是确定每个样本归属的类别,与有监督分类算法(比如SVM支持向量机)相比,这里的样本的类别初始是不知道的,而是通过聚类确定,但是类别个数可以人工设定。假设有一个样本集,含有个样本,如下:聚类其实是将样本集划分成一些不相交的样本子...原创 2020-05-09 14:06:28 · 396 阅读 · 0 评论 -
机器学习之降维算法(PCA和LDA)
目录降维的例子主成分分析(Principal Components Analysis,PCA)线性判别分析(Linear Discriminant Analysis,LDA)降维的例子 很多时候给定的数据向量维数都很高,典型的一个例子就是自然语言处理中词的One-hot编码,编码后的向量维数和词典的大小相同,但是词典通常有十几万甚至更多的词,也就是一个词表示...原创 2020-05-08 19:34:39 · 544 阅读 · 1 评论 -
机器学习常见模型评估指标详解(持续更新)
我们以二分类问题为例,表格如下: 真实值 1 0 预测值 1 TP FP 0 FN TN 表格中,1表示正样本,0表示负样本。TP表示真阳性(True Positive),FP表示伪阳性(False Positive),FN表示伪阴性(False Negative),TN表示真阴性(True Neg...原创 2020-05-06 18:33:21 · 542 阅读 · 0 评论 -
智能聊天系统——Attention Mechanism(注意力机制)
目录什么是AttentionEncoder-DecoderLuongAttentionGlobal AttentionLocal AttentionBahdanau Attention什么是Attention selectively focusing on parts of the source sentence。Encoder-Decod...原创 2020-04-21 16:02:40 · 594 阅读 · 0 评论 -
Transformer背后的数学
Encoder 以机器翻译举例说明。假设输入序列,输出序列为,假设t时刻,Inputs为,的one-hot编码如下:,维度为n。Input Embedding 向量将作为Input Embedding输入,Input Embedding处理如下: (1)其中是权重矩阵(模型学习参数之一)。式子的维度关系如下:...原创 2020-04-19 21:51:18 · 622 阅读 · 0 评论 -
机器翻译——从RNN Encoder–Decoder到LSTM Seq2Seq(经典论文解读)
RNN Encoder–Decoder论文《Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation》简介 RNN Encoder–Decoder由两个循环神经网络(recurrent neural networks,RNN)构成,...原创 2020-04-19 12:18:57 · 877 阅读 · 0 评论 -
徒手实践深度学习完整项目(一)——图像识别(基于深度学习框架TensorFlow2.0、Keras,含构建原理、代码和部署细节)
目录CIFAR-10数据集简介项目环境项目实践项目部署CIFAR-10数据集简介 官网下载地址:《CRFAR-10数据集》 CIFAR-10数据集由Alex Krizhevsky, Vinod Nair和Geoffrey Hinton收集。如图:一共包含10 个类别的RGB 彩色图片:飞机( airplane )、汽车( aut...原创 2020-04-17 20:42:40 · 761 阅读 · 0 评论 -
拟合问题中偏差与方差分解公式证明
目录偏差(Bias)方差(Variance)模型总体误差(Error)偏差-方差分解公式偏差(Bias) 偏差是建立的模型本身导致的误差,比如错误的模型假设导致的误差,举个例子,在实际问题中,数据之间可能存在依赖关系,但是在建立模型时,我们假设数据之间是独立的,在这个错误的假设下建立的模型会导致误差。偏差是模型预测值的数学期望和真实值之间的差距: ...原创 2020-04-15 10:56:57 · 1368 阅读 · 0 评论 -
Windows安装Theano问题解决
问题一'conda' 不是内部或外部命令,也不是可运行的程序 或批处理文件。解决办法(1)检查是否已经安装Anaconda3如果没有安装,下载地址:Anaconda Individual Edition,点击Download后,如图:安装对应的版本,我这边安装的是Python 3,7 64位。如果已经安装,可能是Anaconda3的环境变量没有配置,可进入安装目录...原创 2020-04-07 17:45:51 · 606 阅读 · 0 评论 -
机器学习之梯度下降法(GD)、随机梯度下降法(SGD)和随机平均梯度下降法(SAGD)
无论是机器学习(Machine Learning),还是深度学习(Deep Learning)都为建好的模型构建一个损失函数,然后通过邱求解损失函数最小值。求解方法很多,梯度下降方法是其中一种。下面我们逐个介绍梯度下降法(GD)、随机梯度下降法(SGD)和随机平均梯度下降法(SAGD)。先来看梯度下降法的基本思想。基本原理 如果抛开具体场景,从数学抽象角度来看...原创 2020-04-07 13:22:53 · 1293 阅读 · 0 评论 -
循环神经网络(RNN)原理及BPTT算法
RNN网络结构上图就是一个最简单的RNN,图看上去密密麻麻,有点玄虚。下面细细道来。首先我们看图的左边,这个网络分为三层,输入层(紫色表示),隐藏层(绿色表示),输出层(黄色表示),其中隐藏层在RRN中也称之为循环层,为什么称之为循环后,后面再说。相邻的两层是全连接网络,比如输入层到循环层,两层中每个神经元都互相连接。数据会从输入层进入到网络中,与ANN不同的是,这里的一个样本是一个...原创 2020-03-31 11:50:30 · 1316 阅读 · 1 评论 -
AlexNet网络结构详解及TensorFlow代码实现
此文之目的,不在其他,而在加深个人对AlexNet之印象。AlexNet来自论文《ImageNet Classification with Deep Convolutional Neural Networks》。论文作者有Alex Krizhevsky,Ilya Sutskever,Geoffrey E. Hinton。有兴趣可查阅原文。AlexNet网络结构AlexNet...原创 2020-03-28 23:23:35 · 920 阅读 · 0 评论 -
机器学习之人工神经网络原理、公式推导即TensorFlow代码实践(ANN)
神经元 神经元是大脑处理信息的基本单元,以细胞体为主体,由许多向周围延伸的不规则树枝状纤维构成的神经细胞,其形状很像一棵枯树的枝干。它主要由细胞体、树突、轴突和突触组成。示意图如下:一个神经元通常具有多个树突,主要接受其他神经元传入的信号;细胞体是神经元的核心,它把各个树突传递过来的信号“加总”起来,形成一个总的刺激信号,这个总的信号会刺激与细胞体连着的轴突,当这个...原创 2020-03-27 13:26:32 · 1313 阅读 · 0 评论 -
TensorFlow梯度下降法求解线性回归模型
详细代码如下:""" 线性回归模型数学表达式: y=c1*x_1+...+cn*x_n+e (1), e是一个服从正态分布的随机变量,即 e ~ N(u,sigma^2) 符号约定: (1)假设有m个数据,第i个数据xi记为xi=(x_i1,...,x_in),对应的y值记为yi,如下: ...原创 2020-03-12 22:03:49 · 369 阅读 · 0 评论 -
模型持久化方法(pickle和PMML)
pickle方式pickle方式应用场景:在python环境中训练模型,然后使用pickle将模型持久化为一个模型文件,然后就可以在python环境加载持久化后的模型文件对新数据进行预测。1、安装pickle模块pip install pickle2、代码示例pickle_demo.py模块完成了模型的训练,持久化和模型加载代码如下:"""pickle方式模型持久...原创 2020-03-11 11:07:58 · 1744 阅读 · 0 评论 -
sklearn.linear_model之LinearRegression核心源码解析
先来从LinearRegression的使用开始,代码如下:from sklearn import linear_model as lmimport numpy as npimport osimport pandas as pddef read_data(path): """ 使用pandas读取数据 """ return pd.read_csv...原创 2020-03-10 16:47:53 · 1052 阅读 · 0 评论 -
线性回归之总离差平方和=回归平方和+残差平方和(TSS = ESS + RSS)及证明
缩写解释:1、TSS英文全称:Total Sum of Squares,中文全称:总离差平方和,或者总平方和2、ESSExplained Sum of Squares3、RSSResidual Sum of Squares...原创 2020-03-10 11:15:02 · 22556 阅读 · 0 评论 -
机器学习之线性回归极大似然估计法
请阅读《机器学习之矩阵微积分及其性质》和《机器学习之线性回归公式推导》。首先我们还是使用如下的数据: feature_1 feature_2 feature_n value 1 ... 2 ... . . . ...原创 2018-12-14 12:49:07 · 2015 阅读 · 2 评论 -
机器学习之线性回归公式推导
本文符号约定参见《机器学习之矩阵微积分及其性质》。假设有个数据,每一个数据由个特征构成,如下: feature_1 feature_2 feature_n value 1 ... 2 ... . . . ...原创 2018-12-12 23:44:07 · 708 阅读 · 0 评论 -
Spark MLlib中协同过滤之交替最小二乘法ALS原理与实践
请先阅读leboop发布的博文《Apache Mahout之协同过滤原理与实践》。 基于用户和物品的协同过滤推荐都是建立在一个用户-物品评分矩阵(user-item-score)展开的,其本质是利用现有数据填充矩阵的缺失项(missing entries),也就是预测评分。基于用户的协同过滤通过该评分矩阵来度量用户间的相似度(余弦相似度,距离相似度,皮尔森相似度...原创 2018-08-16 18:34:23 · 4851 阅读 · 10 评论 -
Spark MLlib交替最小二乘法ALS源码解析
请先阅读leboop发布的博文《Spark MLlib协同过滤之交替最小二乘法ALS原理与实践》。核心代码如下://定义ALS,参数初始化val als = new ALS().setRank(50) .setMaxIter(10) .setRegParam(0.01) .setUserCol("userId") .setItemCol(...原创 2020-04-14 08:27:41 · 490 阅读 · 0 评论 -
机器学习之支持向量机SVM(完整版)
目录1 支持向量机简介2 线性可分支持向量机2.1 什么是线性可分2.2 什么是几何间隔2.3 最大几何间隔分离超平面2.4 支持向量和最大几何间隔3 线性支持向量机3.1 支持向量4 KKT条件和对偶问题4.1 线性可分支持向量机4.2 线性支持向量机5 非线性支持向量机5.1 非线性分类问题...原创 2018-12-20 20:02:34 · 3782 阅读 · 7 评论 -
机器学习之逻辑回归原理
为了更好地理解本篇文章,建议读者优先阅读leboop整理的《机器学习之矩阵微积分及其性质》、《机器学习之线性回归公式推导》和《机器学习之线性回归极大似然估计法》。1、初始模型建立 假设获得了个数据,每一个数据由个特征构成,如下: feature_1 feature_2 feature_n value 1 ...原创 2018-12-16 23:20:42 · 382 阅读 · 0 评论 -
机器学习之支持向量机SVM(理论基础)
本文符号约定参见《 机器学习之矩阵微积分及其性质》。考虑如下一般形式的约束优化问题(constrained optimization problem): ...原创 2018-12-22 01:44:52 · 2423 阅读 · 0 评论 -
机器学习之矩阵微积分及其性质
1、矩阵符号约定(1)标量:使用普通小写字母表示,例如;(2)列向量:使用加粗的小写字母来表示,比如等;(3)行向量:使用列向量的转置表示,例如;(4)矩阵:使用加粗的大写字母表示,比如等; 使用表示矩阵的第行和第列元素,也就是,即; 使用表示矩阵的第行; ...原创 2018-12-11 22:51:29 · 1971 阅读 · 5 评论 -
机器学习之朴素贝叶斯、高斯贝叶斯、伯努利贝叶斯和多项式贝叶斯分类器原理及源码分析
目录朴素贝叶斯模型离散估计极大似然估计概念和理论推导高斯贝叶斯分类器原理应用源码分析伯努利贝叶斯分类器原理源码分析多项朴素贝叶斯分类器MAP估计(Maximum APosteriori)朴素贝叶斯模型 假设有个数据,每一个数据由个特征构成,如下: feature_1 feature_2 ......原创 2018-12-29 19:58:35 · 1369 阅读 · 0 评论 -
机器学习之决策树(ID3、C4.5、CART、剪枝)
假设有个数据,每一个数据由个特征构成,如下: feature_1 feature_2 feature_n value 1 ... 2 ... . . . . ...原创 2020-05-07 16:20:52 · 500 阅读 · 1 评论 -
机器学习之逻辑回归求解(梯度下降、随机梯度下降、随机平均梯度下降)
逻辑回归的原理请参见《机器学习之逻辑回归原理》。本篇文章对逻辑回归模型进行求解。先给出逻辑回归模型的两种形式:(形式1) ...原创 2019-01-02 18:06:04 · 2159 阅读 · 0 评论 -
Apache Mahout之协同过滤原理与实践
Apache Mahout之协同过滤原理与实践 读书时期,选课是令人怀念的,因为自由,学生可以挑选自己喜爱的课程和老师!然而,过程并不是很美好,“系统繁忙,稍后重试!”屡有发生,于是大伙开心地约定今夜不战不休。西门的七彩路,和网吧名一样,我们从门口路过,进的却是右旁的可媛。这里网页同样坚持“系统繁忙,稍后重试!”!去的人多了,也...原创 2018-08-10 12:10:35 · 1002 阅读 · 0 评论