u014168855的博客

编辑距离有插入，删除，修改操作def generate_edit_one(str): """ 给定一个字符串,生成编辑距离为1的字符串列表。 """ letters = 'abcdefghijklmnopqrstuvwxyz' splits = [(str[:i], str[i:])for i in range(len(str)+1)] print(splits) inserts = [L + c + R for L, R in splits for c in letters

核心思想：求出 A, B, π --> 通过动态规划构造dp保存最优路径 --> 反向获得最佳词性序列代码如下：tag2id, id2tag = {}, {} # maps tag to id . tag2id: {"VB": 0, "NNP":1,..} , id2tag: {0: "VB", 1: "NNP"....}word2id, id2word = {}, {} # maps word to idfor line in open('traindata.txt'):

1.前向和后向概率的关系   （1）前向概率：αt(i)=P(y1,y2,⋯yt,qt=i∣λ)\alpha_{t}(i)=P\left(y_{1}, y_{2}, \cdots y_{t}, q_{t}=i | \lambda\right)αt​(i)=P(y1​,y2​,⋯yt​,qt​=i∣λ)   （2）后向概率：βt(i)=P(yt+1,yt+2,⋯ ,yT∣qt=i,λ)\beta...

1.HMM介绍   隐马尔可夫模型（HMM，Hidden Markov Model）可用于标注问题，在语音识别,NLP,生物信息，模式识别领域被证明是有效的算法。    HMM是关于时序的概率模型，描述由一个隐藏的马尔可夫链生成不可观测的状态随机序列，再由各个状态生成观测随机序列的过程。    隐马尔可夫模型随机生成的状态随机序列，称为状态序列；每个状态生成一个观测，由此生成的观测随机序列，...

1.LDA推导   (2)似然概率    一个词Wmn\mathrm{W}_{\mathrm{mn}}Wmn​初始化为一个词t的概率为p(wm,n=t∣ϑ⃗m,Φ‾)=∑k=1Kp(wm,n=t∣φ⃗k)p(zm,n=k∣ϑ⃗m)p\left(w_{m, n}=t | \vec{\vartheta}_{m}, \underline{\Phi}\right)=\sum_{k=1}^{K} p\...

1.数学知识背景：   （1）Γ\GammaΓ函数：     Γ\GammaΓ函数是阶乘在实数集上的推广Γ(x)=∫0+∞tx−1e−tdt=(x−1)!\Gamma(x)=\int_{0}^{+\infty} t^{x-1} e^{-t} d t=(x-1) !Γ(x)=∫0+∞​tx−1e−tdt=(x−1)!Γ(x)=(x−1)⋅Γ(x−1)⇒Γ(x)Γ(x−1)=x−1\Gamma(...

1.数学知识背景   (1)相对熵    设p(x),q(x)p(x), q(x)p(x),q(x)是X中取值的两个概率分布，则p对q的相对熵是D(p∥q)=∑xp(x)log⁡p(x)q(x)=Ep(x)log⁡p(x)q(x)D(p \| q)=\sum_{x} p(x) \log \frac{p(x)}{q(x)}=E_{p(x)} \log \frac{p(x)}{q(x)}D(p∥...

1.EM算法   假定有训练数据集{x(1),x(2),⋯ ,x(m)}\left\{x^{(1)}, x^{(2)}, \cdots, x^{(m)}\right\}{x(1),x(2),⋯,x(m)}   包含m个独立样本，希望从中找出该组数据得模型模型p(x,z)p(x, z)p(x,z)得参数。   取对数似然函数l(θ)=∑i=1mlog⁡p(x;θ)=∑i=1mlog⁡∑zp...

1.背景知识：   (1)Jensen不等式:若f是凸函数     基本Jensen不等式：f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)f(\theta x+(1-\theta) y) \leq \theta f(x)+(1-\theta) f(y)f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)        几何理解，函数值小于割线值。     若θ1,…,θk...

1.首先来介绍下聚类的衡量指标: （1）有类别标记   均一性：p=1k∑i=1kN(Ci==Ki)N(Ki)\mathrm{p}=\frac{1}{k} \sum_{i=1}^{k} \frac{N\left(C_{i}==K_{i}\right)}{N\left(K_{i}\right)}p=k1​∑i=1k​N(Ki​)N(Ci​==Ki​)​，一个簇只包含一个类别的样本，则满足均一性。...

1.聚类的定义   聚类是对大量未标注的数据集，按数据的内在相似性将数据分为多个类别，使类别内的数据相似度较大，而类别间的数据相似度较小。2.相似度/计算方法相似   闵可夫斯基距离/欧拉距离:dist⁡(X,Y)=(∑i=1n∣xi−yi∣p)1p\operatorname{dist}(X, Y)=\left(\sum_{i=1}^{n}\left|x_{i}-y_{i}\right|^{...

1.目标函数：   若样本数据集线性不可分，则增加松弛因子ξi≥0\xi_{i} \geq 0ξi​≥0，使函数间隔加上松弛变量大于等于1，这样，约束条件变为yi(w⋅xi+b)≥1−ξiy_{i}\left(w \cdot x_{i}+b\right) \geq 1-\xi_{i}yi​(w⋅xi​+b)≥1−ξi​   目标函数为：min⁡w,b12∥w∥2+C∑i=1Nξi\min ...

线性可分支持向量机（1）线性可分支持向量机如下图示：（2）分割超平面：   设C和D是两个不相交的凸集，则存在超平面P使得C和D分离。   两个集合的距离定义为两个集合间元素的最短距离，做集合C和D最短线段的垂直平分线。    如何定义两个集合的最优分割超平面，找到集合“边界”上的若干点，以这些点为基础计算超平面的方向，以两个集合边界上的这些点的平均作为超平面的截距。（3...

（3）Adaboost算法解释：   AdaBoost算法是模型为加法模型、损失函数为指数函数、学习算法为前向分布算法时的二类分类学习方法。   (i)前向分布算法    考虑加法模型   f(x)=∑m=1Mβmb(x;γm)f(x)=\sum_{m=1}^{M} \beta_{m} b\left(x ; \gamma_{m}\right)f(x)=m=1∑M​βm​b(...

1.提升的概念   提升是一个机器学习技术，可以用于分类和回归的问题，它每一步产生一个若预测模型（如决策树），并加权累加到总模型中；如果每一步的弱预测模型都是生成都是依据损失函数的梯度方向，称之为梯度提升。   梯度提升算法首先给定一个目标损失函数，他的定义域是所有可行的弱函数集合（基函数）；提升算法通过迭代的选择一个负梯度方向上的基函数逐渐逼近极小值，这种函数域的梯度提升观点对机器学习的很多...

1.信息熵   (1).熵    熵代表随机分布不确定程度，熵越大，不确定越大。随机变量X熵的定义如下：H(X)=−∑i=1np(xi)log p(xi)=−∫xp(x)log p(x)dxH(X)=-\sum_{i=1}^{n}p(x_i)log\,p(x_i)=-\int_{x}p(x)log\,p(x)dxH(X)=−i=1∑n​p(xi​)logp(xi​)=−∫x​p(x)lo...

1.线性回归   高斯分布   最大似然估计   最小二乘法本质2.Logistic回归(二分类)3.Softmax回归(多分类)4.技术点   梯度下降法   最大似然估计   特征选择...

1.庄家和赔率   2.Nagel-Schreckenberg交通流模型3.Pandas数据读取和处理4.Fuzzywuzzy字符串模糊查找5.特征提取主成分分析PCA6.One-hot编码