理论学习
文章平均质量分 89
lankuohsing
自动化研究生
展开
-
Fibonacci数列的一般形式——二阶常系数齐次差分方程的解法
用待定系数法,两边同时减。根据求根公式,得到两个解。该方程称为特征方程。原创 2022-09-28 01:18:45 · 1607 阅读 · 1 评论 -
一阶线性差分方程通项公式求解
an+1=p⋅an+h(0-1)an+1=p⋅an+h(0-1)其中n是正整数;当p≠0,h=0p=0,h=0时,{an}\{a_n\}{an}是等比数列当p=1p=1p=1时,{an}\{a_n\}{an}是等差数列;特别地,当p=1,h=0p=1,h=0p=1,h=0时,{an}\{a_n\}{an。原创 2022-09-28 00:39:41 · 1357 阅读 · 0 评论 -
条件概率相关公式笔记
条件概率P(A∣B)=P(AB)P(B)P(A|B)=\frac{P(AB)}{P(B)}P(A∣B)=P(B)P(AB)P(AB)=P(A∣B)∗P(B)P(AB)=P(A|B)*P(B)P(AB)=P(A∣B)∗P(B)如果B1,B2,⋯ ,BnB_1,B_2,\cdots,B_nB1,B2,⋯,Bn是样本空间Ω\OmegaΩ的一个划分,即B1,B2,⋯ ,BnB_1,B_2,\cdots,B_nB1,B2,⋯,Bn不相容且它们的并集是Ω\OmegaΩ,则对于任意的A有:P原创 2022-04-14 00:40:48 · 1268 阅读 · 0 评论 -
集成学习之梯度提升树(GBDT)原理详解
文章目录1. 梯度提升(Gradient Boosting)的思想2. gradient boosting的通用算法流程3. 将回归树作为基学习器,得到GBDT算法3.1. 回归树介绍3.2. 将回归树应用到gradient boosting中3.3. GBDT算法流程参考https://www.cnblogs.com/massquantity/p/9174746.html1. 梯度提升(Gradient Boosting)的思想Gradient Boosting和Adaptive Boostin.原创 2021-11-17 23:59:38 · 1125 阅读 · 0 评论 -
集成学习之AdaBoost原理详解
文章目录1. AdaBoost的思想2. 数学定义和推导2.1. 决策推理过程的输出表达式定义2.2. 优化训练过程中的迭代表达式推导2.3. 由迭代过程表达式得到的几个结论2.3.1. 基学习器GM(x)G_M(x)GM(x)2.3.3. 下一轮样本权重wi(M+1)w_i^{(M+1)}wi(M+1)2.3.4. 各基学习器的系数αM\alpha_MαM3. Adaboost流程图参考:https://www.cnblogs.com/massquantity/p/9063033.html1.原创 2021-11-13 23:43:24 · 1584 阅读 · 0 评论 -
An Introduction to Text Representation
文章目录1. Definition of Text Classification Task and Its Application Scenarios2. Text Representation2.1. Word Representation2.1.1. Discrete Word Representation2.1.1.1. One-hot Encoding2.1.1.2. Frequency Encoding1. Definition of Text Classification Task and .原创 2020-12-13 23:39:11 · 257 阅读 · 0 评论 -
量化压缩论文:Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
文章目录原创 2021-09-12 12:20:27 · 540 阅读 · 0 评论 -
机器学习之特征选择(更新中)
文章目录1. 基于信息增益的方法1.1. 信息熵1.2. 条件熵1.3. 信息增益1.4. 信息增益在分类问题中的作用1. 基于信息增益的方法1.1. 信息熵假设XXX是取有限个值{x1,x2,⋯ ,xn}\{x_1,x_2,\cdots,x_n\}{x1,x2,⋯,xn}的随机变量,其概率分布为P(X=xi)=pi,i=1,2,n(1-1)P(X=x_i)=p_i, i=1,2,n\tag{1-1}P(X=xi)=pi,i=1,2,n(1-1)则速记变量XXX的熵定义为:H(X.原创 2021-08-06 22:43:45 · 440 阅读 · 0 评论 -
通俗理解信息熵
文章目录1. 信息熵的概念2. 信息熵和信息量之间的关系https://zh.wikipedia.org/wiki/%E7%86%B5_(%E4%BF%A1%E6%81%AF%E8%AE%BA)https://www.zhihu.com/question/274997106https://www.zhihu.com/question/274997106/answer/1055696026https://cs.nyu.edu/~roweis/csc310-2005/lectures.html1. .原创 2021-07-28 23:18:52 · 3505 阅读 · 0 评论 -
矩阵乘法的本质-基变换
文章目录假设a=[a1′,a2′,⋯ ,an′]T∈Rna=[a_1',a_2',\cdots,a_n']^T\in R^na=[a1′,a2′,⋯,an′]T∈Rn, b=[b1′,b2′,⋯ ,bm′]T∈Rmb=[b_1',b_2',\cdots,b_m']^T\in R^mb=[b1′,b2′,⋯,bm′]T∈Rm,它们都是实际的坐标;M=[m1,m2,⋯ ,mn]∈Rm×nM=[m_1,m_2,\cdots,m_n]\in R^{m\times n}M=[m1,m2,⋯,mn.原创 2021-05-26 23:19:10 · 578 阅读 · 0 评论 -
卷积层参数量和计算量计算公式
文章目录0. 变量定义1. 卷积层的参数量计算2. 卷积操作的计算量2.1. 乘法计算量2.2. 加法计算量参考https://www.cnblogs.com/qinduanyinghua/p/11302618.html0. 变量定义假设输入的特征图(feature map)的shape为[Height, Weight, Channel],对应的字母表示为[Hin,Win,Cin][ H_{in}, W_{in}, C_{in}][Hin,Win,Cin]; 卷积核(kernel)的shape.原创 2021-05-25 23:13:03 · 7262 阅读 · 0 评论 -
自然语言处理任务之文本分类入门详解(未完待续)
文章目录0. 文本分类简介1. 数据集介绍2. 模型选择参考链接:https://developers.google.com/machine-learning/guides/text-classification0. 文本分类简介文本分类在很多软件产品中都占据重要位置,很多智能应用都用到了文本分类模型。有的是将文本分类的结果作为输入以便进行后续其他任务,例如对话系统中的意图识别;有的是直接将文本分类结果最为任务的输出,例如垃圾邮件过滤、评论情感分类等等。无论何种场景,文本分类的准确程度都是一个很关键.原创 2020-10-21 00:17:57 · 407 阅读 · 0 评论 -
机器学习之概率图模型
文章目录0. 背景介绍1. 隐马尔科夫模型(Hidden Markov Model, HMM)1.1. HMM的数学定义1.2. HMM的实际应用问题描述1.3. 马尔科夫随机场(Markov Random Field, MRF)2. 条件随机场(Conditional Random Field, CRF)2.1. CRF的数学定义2.2. 特征函数的例子参考资料:《机器学习》——周志华https://blog.csdn.net/continueoo/article/details/7789358.原创 2020-08-26 22:47:29 · 544 阅读 · 0 评论 -
RNN,GRU,LSTM及其变种详解
文章目录1. 普通神经网络的缺点2. RNN的基本结构与数学表达参考Coursera-Sequence Modelshttps://www.coursera.org/learn/nlp-sequence-models/notebook/X20PE/building-a-recurrent-neural-network-step-by-step1. 普通神经网络的缺点对于不同的样本,输入...原创 2020-04-27 00:23:24 · 955 阅读 · 0 评论 -
假设检验之t检验详解
假设检验之t检验详解文章目录假设检验之t检验详解0. 背景故事1. 从一个例子引入t检验的思路3. t分布参考:https://blog.csdn.net/Tonywu2018/article/details/838978060. 背景故事t检验又叫学生t检验(Student‘s t test),它是由20世纪爱尔兰的一家啤酒厂-健力士酒厂的一名员工(戈斯特)采用笔名“Student”发...原创 2020-03-20 00:02:18 · 10913 阅读 · 0 评论 -
假设检验入门详解
假设检验入门详解文章目录假设检验入门详解0. 背景1. 从一个硬币的例子来引入假设检验2. P值参考:https://cosx.org/2010/11/hypotheses-testing/0. 背景在实际生产生活中,我们经常需要对一些逻辑推理进行真假判断,例如如果你打了某种疫苗P,就不会得某种流行病Q如果一个疑似病人隔离了14天还没确诊,那他就没有被感染新冠肺炎在统计学里面,...原创 2020-03-18 23:40:27 · 1012 阅读 · 0 评论 -
统计学基础之样本方差和总体方差
统计学基础之样本方差与总体方差文章目录统计学基础之样本方差与总体方差1. 方差(variance)的定义2. 样本方差3. 总体方差公式的有偏性证明4. 样本方差公式分母为n-1的推导参考资料:https://www.cnblogs.com/zzdbullet/p/10087196.html1. 方差(variance)的定义方差是用来度量随机变量和其数学期望(均值)之间的偏离程度的一个...原创 2020-03-14 00:17:36 · 23353 阅读 · 1 评论 -
nlp基础之语言模型
nlp入门基础之语言模型文章目录nlp入门基础之语言模型1. 简介2. n元语法1. 简介一段自然语言文本可以看做是一个离散时间序列s=ω1,ω2,⋯ ,ωTs=\omega_1,\omega_2,\cdots,\omega_Ts=ω1,ω2,⋯,ωT,而一个语言模型的作用是构建这个时间序列的概率分布P(s)P(s)P(s)。概率计算公式可以表示为:KaTeX parse erro...原创 2020-02-20 00:52:22 · 1254 阅读 · 0 评论 -
nlp入门之文本的特征表示方法(未完待续)
nlp入门之文本表示文章目录nlp入门之文本表示1 one-hot编码2 词袋模型(Bag of Words)3 n-gram模型4 TF-IDFhttps://zhuanlan.zhihu.com/p/42310942https://www.cnblogs.com/Luv-GEM/p/10543612.html文本表示是指将文字表示成计算机能够运算和处理的数字或向量的方法。文本表示方法...原创 2020-02-20 00:47:00 · 1895 阅读 · 0 评论 -
排序模型入门详解(未完待续)
排序模型入门详解文章目录排序模型入门详解1. 排序模型的应用场景point-wise排序模型pair-wise排序模型Ranknethttps://yq.aliyun.com/articles/181. 排序模型的应用场景当商家需要向用户提供多个商品供选择时,往往会遇到这个问题:如何将商品按照一定的顺序呈现给用户,以便使用户能够尽可能地完成购买流程?这就涉及到对商品的排序,用到的模型称排...原创 2019-10-31 00:13:52 · 5896 阅读 · 0 评论 -
隐马尔科夫模型(HMM)入门详解
隐马尔科夫模型(HMM)文章目录隐马尔科夫模型(HMM)1. HMM的数学定义1. HMM的数学定义对于i=1,2,⋯ ,ni=1,2,\cdots,ni=1,2,⋯,n时刻,HMM中有两组变量序列,用x={x1,x2,⋯ ,xn},xi∈{o1,o2,⋯ ,oM}x=\{x_1,x_2,\cdots,x_n\},x_i\in \{o_1,o_2,\cdots,o_M\}x={x1,x2...原创 2019-10-29 00:14:22 · 448 阅读 · 0 评论 -
NLP基础之词向量(Word2Vector)
NLP基础之词向量(Word2Vector)文章目录NLP基础之词向量(Word2Vector)0. 前言1. one-hot向量2. SVD分解3. Word2Vec3.1. 语言模型——n-gram3.2. Continuous Bag of Words Model(CBOW)0. 前言与图像或相比,语言是一种经过人类智力处理后的、更为抽象的数据对象,因此nlp相比cv相比有许多独特之处...原创 2019-10-28 23:02:14 · 1871 阅读 · 1 评论 -
奇异值分解(SVD)推导证明与应用
SVD分解推导证明文章目录SVD分解推导证明0. 线性代数与矩阵基础知识回顾0.1. 正交向量组0.2. 正交矩阵0.3. 正定矩阵0.4. 特征值1. 奇异值分解(Singular Value Decomposition)1.1. svd的数学描述1.2. svd的证明0. 线性代数与矩阵基础知识回顾本文讨论的范围实数空间,不涉及复数空间,因此各种术语和定理都以实空间下的名称为准,当然也...原创 2019-10-15 22:55:48 · 5273 阅读 · 2 评论 -
卷积神经网络入门
1. 计算机视觉(Computer Vision)领域介绍2. 卷积运算2.1. 一维场合2.2. 二维场合3. 卷积操作的作用和优点3.1. 参数共享和连接的稀疏性3.2. 平移不变性3.2. 边缘检测4. Padding(填充)5. Strided Convolutions(带步长的卷积)6. 对三维图片(RGB)的卷积操作7. 一层卷积层的例子8. ...原创 2018-06-28 22:30:55 · 376 阅读 · 0 评论 -
卡尔曼滤波公式详细推导过程
卡尔曼滤波公式推导原创 2017-06-02 12:24:27 · 1337 阅读 · 0 评论 -
你真的学懂了线性回归和logistic回归吗?——从指数族分布说起
文章目录1. 回顾机器学习的基本思想2. 指数族分布2.1. 指数族分布由来的推导2.2. 指数族分布的特殊情形:伯努利分布和高斯分布1. 回顾机器学习的基本思想机器学习所要实现多任务往往是:给定一组训练数据DDD,我们希望通过DDD得到我们研究的输入空间的概率分布。或者换句话讲,我们想用一个概率分布来尽可能准确地描述这组训练数据的分布。这样,我们就可以对给定的一个测试数据,找出条件概率最大...原创 2019-08-11 16:41:06 · 2200 阅读 · 4 评论 -
RNN教程
@(深度学习)[神经网络, RNN]RNN教程RNN教程Introduction to RNNIntroduction to LSTMLSTM VariantsIntroduction to RNN在传统的前馈神经网络中,我们假定所有的输入(和输出)相互之间都是独立的。因此,前馈神经网络不能记住最近的历史训练信息,于是在处理序列模型时效果不佳。循环神经网络的提出就是为了解决这个问题的(Jord原创 2018-02-02 22:08:25 · 756 阅读 · 0 评论 -
卷积神经网络基础教程
卷积神经网络基础教程卷积神经网络是指那些至少在网络的一层中使用卷积运算来替代一般的矩阵乘法运算的神经网络。卷积神经网络是一种专门用来处理具有类似网格结构的数据的神经网络,例如时间序列(可以认为是在时间轴上有规律地采样形成的一维网格)和图像数据(可以看作是二维的像素网格)。卷积运算一维场合卷积的一个重要物理意义是:一个函数(如:单位响应)在另一个函数(如:输入信号)上的加权叠加。对于线性时不变系统,如原创 2017-06-05 12:06:05 · 1353 阅读 · 0 评论 -
链表带环的问题研究及代码实现
链表带环的问题研究及代码实现[TOC] 注:如无特别说明,本文中的链表均含有附加表头结点first1. 如何判断链表是否有环?思路是让两个指针slow和fast同时从链表头出发遍历链表,fast的速度是slow的两倍(为简单起见我们可以让slow每次走一个节点,fast每次走两个节点),若slow和fast相遇,则说明有环。代码如下:bool::Linked_List_with_Loop::isL原创 2017-09-03 00:24:08 · 453 阅读 · 0 评论 -
机器学习之感知机与SVM详细推导
感知机与SVM详细推导原创 2017-07-28 01:10:50 · 2421 阅读 · 0 评论 -
机器学习之logistic回归
@(机器学习)[回归]logistic回归在《机器学习中的线性回归模型》一章中,我们学习了如何使用线性模型进行回归学习。如果要将线性模型用来分类,就要用到该章结尾介绍的广义线性模型了。 logistic回归模型采用logistic函数来将线性回归产生的预测值z=wTx+bz=\boldsymbol{w}^T\boldsymbol{x}+b转化为一个接近0或1的yy值; y=11+e−z(1)y...原创 2017-06-28 00:30:12 · 505 阅读 · 0 评论 -
机器学习之线性回归模型
@(机器学习)[回归]线性回归模型(本章内容是后续logistic回归和softmax回归的基础) 给定数据集D={(x1,y1),(x2,y2),…,(xm,ym)}D=\{(\mathbf{x}_1,y_1),(\mathbf{x}_2,y_2),\dots ,(\mathbf{x}_m,y_m)\},其中xi={xi1;xi2;…;xid}\mathbf{x}_i=\{x_{i1};x_{i原创 2017-06-27 23:20:01 · 396 阅读 · 0 评论 -
参数估计之最大似然估计入门详解
参数估计之最大似然估计(此文为后续学习softmax函数等内容提供基础) 基本思路:对于离散总体,设有样本观测值x1,x2,⋯,xnx_1,x_2,\cdots ,x_n,我们写出该观测值出现的概率,它一般依赖于某个或某些参数,用θ\theta表示,将该概率看成θ\theta的函数,用L(θ)L(\theta)表示,称为似然函数: L(θ)=P(X1=x1,⋯,Xn=xn;θ)(1)L(\the原创 2017-06-27 11:34:26 · 1420 阅读 · 0 评论 -
机器学习之softmax回归
@(机器学习)[回归]Softmax回归详解在softmax回归中,我们解决的是多分类问题(相对于logistic回归解决的二分类问题),标记yy可以取kk个不同的值。对于训练集{(x(1),y(1)),⋯,(x(m),y(m))}\{(x^{(1)},y^{(1)}),\cdots,(x^{(m)},y^{(m)})\},我们有y(1)∈{1,2,⋯,k}y^{(1)}\in \{1,2,\cdo...原创 2017-06-29 21:18:07 · 656 阅读 · 1 评论 -
从logistic回归到神经网络——理论与实践
1.logistic回归详解2.损失函数的选取2.1.最大化后验概率与极大似然估计3.梯度下降方法求解最优的参数www和bbb3.1.前向传播3.2.反向传播4.示例代码1.logistic回归详解logistic回归模型是用来解决二分类问题的,因此我们将首先在概率的框架下描述什么是分类问题。分类问题的一般描述如下图所示: 图1.1 分类问题的...原创 2018-06-06 11:59:43 · 1604 阅读 · 1 评论 -
神经网络中的优化方法
1. Mini-batch decent方法1.1. Batch vs. mini-batch1.2. Choosing mini-batch size2. 指数加权平均方法(exponentially weighted averages)2.1. Bias Correction(偏差修正)3. Gradient descent with momentum(动量梯度下降...原创 2018-06-15 22:22:31 · 703 阅读 · 0 评论 -
凸优化基础知识笔记-凸集、凸函数、凸优化问题
文章目录1. 凸集2. 凸函数2.1. 凸函数的一阶条件2.1. 凸函数例子3. 凸优化问题4. 对偶4.1. Lagrange函数与Lagrange对偶4.2. 共轭函数4.3. Lagrange对偶问题4.4. 强对偶性与Slater约束准则4.5. 最优性条件4.5.1. 互补松弛性4.5.2. KKT最优性条件4.5.3. 通过解对偶问题求解原问题5. 利用Lagrange对偶求解最优化...原创 2019-08-11 00:12:27 · 3109 阅读 · 0 评论 -
机器学习基础之线性回归详解
文章目录1. 线性回归问题的数学描述2. 最小均方算法(LMS, Least Mean Square)2.1. 只有一个样本的情况2.2. 多个样本的情况2.3. 线性回归的闭式解(解析解)3. 线性回归模型的假设1. 线性回归问题的数学描述记xxx为n维的输入特征,θ\thetaθ为参数(parameter),也叫权重(weight),假设函数为以xxx为变量的线性函数:(1-1)hθ(...原创 2019-06-14 00:40:19 · 892 阅读 · 1 评论 -
机器学习中的损失函数
文章目录0. 前言1. logit模型1.1. Odds1.2. logit模型0. 前言损失函数一般表示为L(f,f(x))L(f,f(x))L(f,f(x)),用以衡量真实值yyy和预测值f(x)f(x)f(x)之间不一致的程度。在回归为重,一般1. logit模型1.1. OddsOdds和概率都用来描述某件事情发生的可能性,区别在于概率描述的是事件A出现的次数与所有可能的结果出...原创 2019-06-03 00:35:27 · 256 阅读 · 2 评论 -
机器学习基础——决策树
文章目录1. 基本概念1.1 信息熵(Information Entropy)1.2. 基尼指数(Gini Index)1.3. 信息增益2. 决策树2.1. 基本流程2.2.1. 分支节点划分原则:纯度原则2.2.2. 构建决策树2.2.3. 剪枝2.2.4. 优缺点分析3. 随机森林1. 基本概念1.1 信息熵(Information Entropy)以下概念引用自维基百科-熵(信息论...原创 2019-05-21 23:58:50 · 247 阅读 · 0 评论