机器学习
文章平均质量分 64
Starry memory
硕士毕业算法工程师在岗
展开
-
假设检验计算
用于实验组和对照组是否有显著性差异。原创 2022-11-10 20:08:17 · 946 阅读 · 0 评论 -
神经网络的发展
神经网络诞生于人类对于大脑智能的理解。我们简要概述图神经网络的发展历程。原创 2022-11-09 22:27:11 · 877 阅读 · 0 评论 -
GBDT (Gradient Boosting Decision Tree)
背景GBDT是BT的一种改进算法。然后,Friedman提出了梯度提升树算法,关键是利用损失函数的负梯度作为提升树残差的近似值。 当使用平方损失时,负梯度就是残差。算法模型树模GBDT初始化ccc为所有标签的均值。学习完第一棵树:Υj1=argmin⏟Υ∑xi∈Rj1L(yi,f0(xi)+Υ)\Upsilon_{j 1}=\underbrace{\arg \min }_{\Upsilon} \sum_{x_{i} \in R_{j 1}} L\left(y_{i}, f_{0}\left(原创 2022-05-01 11:51:46 · 205 阅读 · 0 评论 -
残差网讲解
背景残差网被提出:He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 770-778.在另一篇文章中进行了理论分析:He K, Zhang X, Ren S, et al. Identity mappings in deep原创 2022-04-11 22:49:47 · 791 阅读 · 1 评论 -
偏差与方差
介绍偏差反应了命中程度,方差反应了离散程度。模型拟合程度越高,过拟合是低偏差,高方差。原创 2022-04-03 15:32:20 · 604 阅读 · 0 评论 -
隐马尔可夫模型问题三:求最可能的隐藏状态序列
隐马尔可夫模型问题三求解求最可能的隐藏状态序列,主要是通过动态规划求解概率最大的路径(最优路径),即通过动态规划求解马尔科夫模型的预测问题,最优路径对应一个状态序列。求解这种问题,我们一般使用马尔科夫模型。已知模型λ=(A,B,π)\lambda = (A,B,\pi )λ=(A,B,π),并且A=[0.50.20.30.30.50.20.20.30.5]A = \left[ {\begin{matrix}{0.5}&{0.2}&{0.3}\\{0.3}&{0.5}&am原创 2022-03-27 18:23:21 · 1731 阅读 · 0 评论 -
隐马尔可夫模型问题二:模型参数求解
已知隐序列状态HMM模型解决学习问题,是在已知观测序列,估计模型参数λ=[A,B,π]\lambda = [{\bf{A,B,\pi }}]λ=[A,B,π],使得P(O∣λ)P(O|\lambda )P(O∣λ)最大。一般情况下,如果已知观测序列和隐藏序列,模型参数是比较容易求解的,但是对于仅仅已知观测序列,是否能求出模型参数是本节讨论的重点,主要解决方法是使用鲍姆-韦尔奇(Baum-Welch)算法。Baum-Welch算法原理对于给定观测序列,求解模型参数。我们将不可观测的状态数据表示为隐含数原创 2022-03-27 16:14:43 · 896 阅读 · 0 评论 -
跨平台下的随机数
最近做实验,在运行20次的条件下最终实验结果在均值上还是会有浮动,有时这个浮动会相比于baseline的对比性能较大。因此,在20次的条件下仍然设定随机种子。那么设定的随机种子跨机器后是否会造成实验结果的变化呢?原创 2022-03-19 10:58:45 · 452 阅读 · 0 评论 -
隐马尔可夫模型基础介绍
具有顺序性的东西,都可以使用HMM模型。判断一个人是否去游乐园的概率。是否去游乐园是与天气有关的,例如晴天去游乐园的概率是大于雨天去游乐园的概率的。天晴状况之间是有转移概率的,我们记作为状态转移矩阵。HMM模型的三个参数:(1)初始隐藏状态概率(2)状态之间的转移概率(3)状态到观测状态的概率HMM模型解决的三个基本问题(1)给定一个观测序列,求这个观测序列的概率(前向算法,后向算法,直接求解法)。P(O∣λ)=∑IP(O,I∣λ)=∑i1,i2,⋯ ,iTπi1bi1(o1)ai1i2bi原创 2022-03-13 15:08:54 · 6682 阅读 · 2 评论 -
2020科大讯飞比赛Rank5解决方案
背景数据集是一种温度预测的数据集人多力量大(@ocean,@fish,@羞涩中略带豪放,@小傻鱼,排名不分先后)我们使用xgb, lgb, cat, sgd, svrg, ridge, lstm, prophet, net,gcn等多模型进行研究,并进行了相关实验结果。简单介绍一下:xgb, lgb, cat都是树模型。sgd是随机梯度下降,svrg是随机方差减小的梯度下降算法,ridge是岭回归。lstm和prophet是时序模型,net是神经网络, gcn是图神经网络做的模型。当然在进行上述模型训练原创 2022-02-20 16:07:19 · 858 阅读 · 1 评论 -
Improving Accuracy of Binary Neural Networks using Unbalanced Activation Distribution
背景神经网络模型的二值化被认为是在移动设备等资源受限环境中部署深度神经网络模型的一种有前途的方法。模型此处研究的是对一个激活函数做一个偏移,看最终的结果如何。平衡指的应该就是例如二值数据,1和-1的数量。实验我们进行了一些实验,以监测由于ReLU函数的性质导致的不平衡激活分布是否有助于提高准确性。建议使用可训练的激活函数,以便激活的分布可以平衡。...原创 2021-12-08 17:25:11 · 2150 阅读 · 0 评论 -
Attention Is All You Need-文章代码实现
背景Transformer在自然语言处理的应用,应用于翻译任务。Transformer采用了机器翻译中通用的encoder-decoder模型,但摒弃了以往模块内部的RNN模型,只是完全依赖注意力机制来构建模型。抛弃RNN模型的优点在于没有了时序的限制,RNN限制了数据必须按照输入的顺序处理前后有依赖性,所以在面对数据量大的时候,耗时会很长。但Transformer的self-attention机制使得其可以进行并行计算来加速https://blog.csdn.net/qq_42901761/ar原创 2021-12-07 19:50:56 · 814 阅读 · 0 评论 -
正则表达式
正则表达式使用正则表达式替换特殊字符chrome-error://chromewebdata原创 2021-11-30 16:01:29 · 42 阅读 · 0 评论 -
Pandas
pandas读.txt文件使用read_csv就行原创 2021-11-26 15:40:30 · 1205 阅读 · 1 评论 -
数据分布研究
直方图python绘制直方图原创 2021-11-19 16:56:19 · 1038 阅读 · 0 评论 -
程序文件命名规范
命名文件命名文件可以按照时间来起名字,这样有利于排查问题import timetime.strftime("%Y%m%d %H:%M:%S")原创 2021-11-17 16:34:33 · 147 阅读 · 0 评论 -
归一化讲解
归一化数据的目标,是为了让数据的分布变得更加符合期望,增强数据的表达能力。原创 2021-11-11 12:02:14 · 1131 阅读 · 0 评论 -
会议投稿截至日期
截止日期链接https://aideadlin.es/?sub=ML,CV,NLP,RO,SP,DM原创 2021-11-01 15:08:27 · 131 阅读 · 0 评论 -
损失函数整理
hθ(x)=g(θTx)h_{\theta}(x)=g\left(\theta^{T} x\right)hθ(x)=g(θTx)J(θ)=−1m∑i=1m[y(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i)))]J(\theta)=-\frac{1}{m} \sum_{i=1}^{m}\left[y^{(i)} \log \left(h_{\theta}\left(x^{(i)}\right)\right)+\left(1-y^{(i)}\right) \log \原创 2021-11-01 11:29:44 · 35 阅读 · 0 评论 -
科研公式整理
背景为了更好的对公式有一个书写原创 2021-10-19 14:30:58 · 124 阅读 · 0 评论 -
CART 分类和回归树
CART(Classification And Regression Tree):求最优的数据切分点,首先要对单列特征排一个序,然后依据排序好的特征和标签选择最优的切分点。如果为多特征时,会对特征做一个选择,依据的标准是最小化的下列式子的值,与特征没有关系,仅仅与lable是有关系的。minj,s[minc1∑xi∈R1(j,s)(yi−c1)2+minc2∑xi∈R2(j,s)(yi−c2)2]\min _{j, s}\left[\min _{c_{1}} \sum_{x_{i} \in R_原创 2021-01-08 11:21:39 · 1005 阅读 · 0 评论 -
NMF(Nonnegative matrix factorization)
给定任意的非负矩阵V∈R+n×m\mathbf{V}\in R_+^{n\times m}V∈R+n×m,然后NMF可以将V\mathbf{V}V矩阵分解为两外两个非负矩阵W∈R+n×r\mathbf{W } \in R_+^{n\times r}W∈R+n×r和H∈R+r×m\mathbf{H} \in R_+^{r\times m}H∈R+r×m的乘积。V≈WH\mathbf{V} \approx \mathbf{W}\mathbf{H}V≈WH...原创 2021-01-07 11:21:59 · 178 阅读 · 0 评论