人工智能
文章平均质量分 67
Starry memory
硕士毕业算法工程师在岗
展开
-
假设检验计算
用于实验组和对照组是否有显著性差异。原创 2022-11-10 20:08:17 · 960 阅读 · 0 评论 -
神经网络的发展
神经网络诞生于人类对于大脑智能的理解。我们简要概述图神经网络的发展历程。原创 2022-11-09 22:27:11 · 896 阅读 · 0 评论 -
word2vec
显然,这是将词编码为向量的模型。在这个模型之前,有词袋模型,但是词袋模型没有考虑语法和语序的问题。案例如下:两个句子:I like to do it.I like you.我们建立词袋[I, like, to, do, it, you]然后按照每个句子中词的出现次数,我们将不同的句子表示为两个向量。[2,2,1,1,1,0][2,2,0,0,0,1]但是显然这样做事不合理的。...原创 2020-12-28 17:22:20 · 229 阅读 · 0 评论 -
图卷积神经网络(GCN)
背景Kipf T N, Welling M. Semi-supervised classification with graph convolutional networks[J]. ICLR, 2017.模型给定一个过滤器fθ=diag(θ){f_{\bf{\theta }}} = {\rm{diag}}({\bf{\theta }})fθ=diag(θ) ,考虑信号x∈Rd{\bf{x}} \in {\mathbb{R}^d}x∈Rd ,并且θ∈Rd{\bf{\theta }} \in {\原创 2022-05-21 09:57:07 · 345 阅读 · 0 评论 -
GraphSage: Inductive representation learning on large graphs
GraphSage被提出\upcite{20}, 是一种在大图上基于归纳式子表示学习的算法。主要解决的问题可以被描述为:给定图,输入特征$\bf{X}$, 图${\mathcal G}({\mathcal V},{\mathcal E})$,在GraphSage 中包含两种操作,一种是采样操作者,另外一种是聚合操作。在采样过程中,GraphSage依据节点之间的信息连接对当前节点的邻居节点进行采样操作。在使用聚合函数操作时,使用的是多层聚合函数。通过多层聚合函数,对相邻节点的信息进行融合。在GCN中,网络训原创 2022-05-11 23:17:46 · 374 阅读 · 0 评论 -
APPNP:PREDICT THEN PROPAGATE: GRAPH NEURAL NETWORKS MEET PERSONALIZED PAGERANK
APPNP (Approximation Personalized Propagation of Neural Prediction)被应用在引文网络的节点分类任务中。在节点分类中,一般的网络方法对领域节点的考虑是不足的。APPNP利用图卷积神经网络与个性化页面排序结合, 利用PageRank传播的方式构建一种简单的模型,原创 2022-05-11 21:25:32 · 794 阅读 · 0 评论 -
Elastic Graph neural network
背景使用L1正则来做平滑,得到一个更好的效果。模型Elastic Message Passing在每一层之间做信息传递,Elastic GNNs除基本的神经网络模型以外,还需要设置三个参数KKK,λ1\lambda_1λ1,λ2\lambda_2λ2, KKK是步骤...原创 2022-05-07 10:51:41 · 335 阅读 · 1 评论 -
GBDT (Gradient Boosting Decision Tree)
背景GBDT是BT的一种改进算法。然后,Friedman提出了梯度提升树算法,关键是利用损失函数的负梯度作为提升树残差的近似值。 当使用平方损失时,负梯度就是残差。算法模型树模GBDT初始化ccc为所有标签的均值。学习完第一棵树:Υj1=argmin⏟Υ∑xi∈Rj1L(yi,f0(xi)+Υ)\Upsilon_{j 1}=\underbrace{\arg \min }_{\Upsilon} \sum_{x_{i} \in R_{j 1}} L\left(y_{i}, f_{0}\left(原创 2022-05-01 11:51:46 · 211 阅读 · 0 评论 -
BoostingTree
Boosting Tree:将原有的yiy_iyi在第一次迭代后变成了学习残差。例如第一次迭代后然后修改y\mathbf{y}y的值为残差:yi−f1(xi)y_i-f_1(x_i)yi−f1(xi)GBDT然后,Friedman提出了梯度提升树算法,关键是利用损失函数的负梯度作为提升树残差的近似值。 当使用平方损失时,负梯度就是残差。GBDT(Gradient Boosting Decision Tree):GBDT是BT的一种改进算法。树模型都是一种迭代算法,每次树分裂都是为了寻原创 2022-05-01 10:42:14 · 208 阅读 · 0 评论 -
图注意力网络(GAT)
图注意力神经网络原创 2022-04-25 15:05:04 · 3223 阅读 · 0 评论 -
DFGCN:Deep Fuzzy Graph Convolutional Networks for PolSAR Imagery Pixel-wise Classification
背景使用图神经网络做的遥感数集的节点分类。遥感数据集数据不同于一般的RGB图像。Liu H, Zhu T, Shang F, et al. Deep Fuzzy Graph Convolutional Networks for PolSAR Imagery Pixelwise Classification[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2020, 14: 504原创 2022-04-23 17:03:04 · 1978 阅读 · 0 评论 -
隐马尔可夫模型:hmmlearn库的使用
hmmlearn库的使用安装和使用hmmlearn 一共实现了三种HMM模型类,按照数据的观测状态是离散的还是连续的可以划分为两类。GaussianHMM (高斯HMM模型)和GMMHMM(混合高斯模型)是观测状态为连续的模型。 MultinomialHMM(多项式分布HMM模型)是观测状态为离散的模型。这三种算法都可以被用来估计模型的参数。Hmmlearn以前是scikit-learn项目中的一部分,现在已经是一个单独的python包,可以在安装好python的基础上,直接使用下述命令进行安装。p原创 2022-04-22 23:51:06 · 8296 阅读 · 11 评论 -
SequenceToSequence
背景SequenceToSequence模型执行翻译任务与模型讲解。SequenceToSequence 翻译执行流程步骤:英文有26个字母,中文有好多字,可以依据这个来对字进行编号,然后将英文字母和汉字转换为对应的数字。可以依据索引值来构造字典中文按照字来区分,英文按照字母来进行区分当中文句子和英文句子转为对应的数字时,然后进行one-hot编码。使用one-hot编码的目的是为了使特征表达更加合理。编码,解码SequenceToSequence中有注意力机制的存在,依据代码是可以看到原创 2022-04-17 21:12:44 · 1133 阅读 · 0 评论 -
残差网讲解
背景残差网被提出:He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 770-778.在另一篇文章中进行了理论分析:He K, Zhang X, Ren S, et al. Identity mappings in deep原创 2022-04-11 22:49:47 · 806 阅读 · 1 评论 -
CUDA的安装
背景依据不同的torch版本,可能需要不同的cuda版本,我们可以同时安装多个cuda版本,然后是使用不同的cuda版本时在配置环境中进行修改。下载链接直接下载bash 可以运行的文件,然后按照要求回车就可以。https://developer.nvidia.com/cuda-toolkit-archive环境配置export LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib64/:$LD_LIBRARY_PATHexport PATH=/usr/local/原创 2022-04-07 22:13:15 · 313 阅读 · 0 评论 -
Leetcode-字符串动态规划_子序列的数目
剑指 Offer II 097. 子序列的数目可以将这个矩阵划出来,然后动态规划方程自然而然就显示了:rabbitr100000a010000b001100b001200b000300i000030t000003\begin{matrix}{{}}{}&r&a&b&b&i&t\\r&1&0&0&0&0&0\\a&0&1&0&0&0&0\\b&0&原创 2022-04-02 20:34:31 · 214 阅读 · 0 评论 -
隐马尔可夫模型问题三:求最可能的隐藏状态序列
隐马尔可夫模型问题三求解求最可能的隐藏状态序列,主要是通过动态规划求解概率最大的路径(最优路径),即通过动态规划求解马尔科夫模型的预测问题,最优路径对应一个状态序列。求解这种问题,我们一般使用马尔科夫模型。已知模型λ=(A,B,π)\lambda = (A,B,\pi )λ=(A,B,π),并且A=[0.50.20.30.30.50.20.20.30.5]A = \left[ {\begin{matrix}{0.5}&{0.2}&{0.3}\\{0.3}&{0.5}&am原创 2022-03-27 18:23:21 · 1736 阅读 · 0 评论 -
隐马尔可夫模型问题二:模型参数求解
已知隐序列状态HMM模型解决学习问题,是在已知观测序列,估计模型参数λ=[A,B,π]\lambda = [{\bf{A,B,\pi }}]λ=[A,B,π],使得P(O∣λ)P(O|\lambda )P(O∣λ)最大。一般情况下,如果已知观测序列和隐藏序列,模型参数是比较容易求解的,但是对于仅仅已知观测序列,是否能求出模型参数是本节讨论的重点,主要解决方法是使用鲍姆-韦尔奇(Baum-Welch)算法。Baum-Welch算法原理对于给定观测序列,求解模型参数。我们将不可观测的状态数据表示为隐含数原创 2022-03-27 16:14:43 · 901 阅读 · 0 评论 -
隐马尔可夫模型问题一:求模型观测序列的概率
背景隐马尔可夫模型关注的三个问题中,第一个是求模型观测序列的概率。暴力求解已知HMM模型的参数λ=[A,B,π]\lambda = [{\bf{A,B,\pi }}]λ=[A,B,π], A{\bf{A}}A是隐藏状态转移概率矩阵,B{\bf{B}}B是观测状态概率矩阵。对于隐藏状态的初始概率分布记作π{\bf{\pi }}π。已知观测序列O={o1,o2,⋯ ,oi,⋯ ,oM}O = \{ {o_1},{o_2}, \cdots ,{o_i}, \cdots ,{o_M}\}O={o1,o2原创 2022-03-20 15:02:28 · 1963 阅读 · 0 评论 -
跨平台下的随机数
最近做实验,在运行20次的条件下最终实验结果在均值上还是会有浮动,有时这个浮动会相比于baseline的对比性能较大。因此,在20次的条件下仍然设定随机种子。那么设定的随机种子跨机器后是否会造成实验结果的变化呢?原创 2022-03-19 10:58:45 · 456 阅读 · 0 评论 -
隐马尔可夫模型基础介绍
具有顺序性的东西,都可以使用HMM模型。判断一个人是否去游乐园的概率。是否去游乐园是与天气有关的,例如晴天去游乐园的概率是大于雨天去游乐园的概率的。天晴状况之间是有转移概率的,我们记作为状态转移矩阵。HMM模型的三个参数:(1)初始隐藏状态概率(2)状态之间的转移概率(3)状态到观测状态的概率HMM模型解决的三个基本问题(1)给定一个观测序列,求这个观测序列的概率(前向算法,后向算法,直接求解法)。P(O∣λ)=∑IP(O,I∣λ)=∑i1,i2,⋯ ,iTπi1bi1(o1)ai1i2bi原创 2022-03-13 15:08:54 · 6697 阅读 · 2 评论 -
2020科大讯飞比赛Rank5解决方案
背景数据集是一种温度预测的数据集人多力量大(@ocean,@fish,@羞涩中略带豪放,@小傻鱼,排名不分先后)我们使用xgb, lgb, cat, sgd, svrg, ridge, lstm, prophet, net,gcn等多模型进行研究,并进行了相关实验结果。简单介绍一下:xgb, lgb, cat都是树模型。sgd是随机梯度下降,svrg是随机方差减小的梯度下降算法,ridge是岭回归。lstm和prophet是时序模型,net是神经网络, gcn是图神经网络做的模型。当然在进行上述模型训练原创 2022-02-20 16:07:19 · 867 阅读 · 1 评论 -
Improving Accuracy of Binary Neural Networks using Unbalanced Activation Distribution
背景神经网络模型的二值化被认为是在移动设备等资源受限环境中部署深度神经网络模型的一种有前途的方法。模型此处研究的是对一个激活函数做一个偏移,看最终的结果如何。平衡指的应该就是例如二值数据,1和-1的数量。实验我们进行了一些实验,以监测由于ReLU函数的性质导致的不平衡激活分布是否有助于提高准确性。建议使用可训练的激活函数,以便激活的分布可以平衡。...原创 2021-12-08 17:25:11 · 2153 阅读 · 0 评论 -
Attention Is All You Need-文章代码实现
背景Transformer在自然语言处理的应用,应用于翻译任务。Transformer采用了机器翻译中通用的encoder-decoder模型,但摒弃了以往模块内部的RNN模型,只是完全依赖注意力机制来构建模型。抛弃RNN模型的优点在于没有了时序的限制,RNN限制了数据必须按照输入的顺序处理前后有依赖性,所以在面对数据量大的时候,耗时会很长。但Transformer的self-attention机制使得其可以进行并行计算来加速https://blog.csdn.net/qq_42901761/ar原创 2021-12-07 19:50:56 · 832 阅读 · 0 评论 -
正则表达式
正则表达式使用正则表达式替换特殊字符chrome-error://chromewebdata原创 2021-11-30 16:01:29 · 42 阅读 · 0 评论 -
Pandas
pandas读.txt文件使用read_csv就行原创 2021-11-26 15:40:30 · 1227 阅读 · 1 评论 -
数据分布研究
直方图python绘制直方图原创 2021-11-19 16:56:19 · 1039 阅读 · 0 评论 -
程序文件命名规范
命名文件命名文件可以按照时间来起名字,这样有利于排查问题import timetime.strftime("%Y%m%d %H:%M:%S")原创 2021-11-17 16:34:33 · 148 阅读 · 0 评论 -
归一化讲解
归一化数据的目标,是为了让数据的分布变得更加符合期望,增强数据的表达能力。原创 2021-11-11 12:02:14 · 1141 阅读 · 0 评论 -
实用性工具嗯
合并pdfhttps://www.ilovepdf.com/原创 2021-01-16 16:18:37 · 168 阅读 · 0 评论 -
会议投稿截至日期
截止日期链接https://aideadlin.es/?sub=ML,CV,NLP,RO,SP,DM原创 2021-11-01 15:08:27 · 132 阅读 · 0 评论 -
损失函数整理
hθ(x)=g(θTx)h_{\theta}(x)=g\left(\theta^{T} x\right)hθ(x)=g(θTx)J(θ)=−1m∑i=1m[y(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i)))]J(\theta)=-\frac{1}{m} \sum_{i=1}^{m}\left[y^{(i)} \log \left(h_{\theta}\left(x^{(i)}\right)\right)+\left(1-y^{(i)}\right) \log \原创 2021-11-01 11:29:44 · 35 阅读 · 0 评论 -
DeepWalk
RandomWalk随机游走一项有名的应用即为谷歌的PageRank算法,DeepWalkDeepWalk是将RandomWalk和Word2Vec结合的思想。该算法主要分为随机游走和生成表示向量两个部分。首先利用随机游走算法(Random walk)从图中提取一些顶点序列;然后借助自然语言处理的思路,将生成的定点序列看作由单词组成的句子,所有的序列可以看作一个大的语料库(corpus),最有利用自然语言处理工具word2vec将每一个顶点表示为一个维度为d的向量。...原创 2021-10-25 16:52:57 · 51 阅读 · 0 评论 -
科研公式整理
背景为了更好的对公式有一个书写原创 2021-10-19 14:30:58 · 125 阅读 · 0 评论 -
大数据ff
搭建集群:两个NameNode和三个DataNode原创 2021-03-05 21:22:21 · 49 阅读 · 0 评论 -
KDD比赛
比赛链接:原创 2021-03-05 10:48:53 · 130 阅读 · 0 评论 -
机器学习f
过拟合过拟合的解决方法:https://www.cnblogs.com/jiangxinyang/p/9281107.html原创 2021-03-02 10:26:27 · 46 阅读 · 0 评论 -
Torch
数据加载torch.load()原创 2021-02-04 11:22:33 · 18644 阅读 · 0 评论 -
SQL数据库
排序ORDER BYORDER BY 语句默认按照升序对记录进行排序。如果您希望按照降序对记录进行排序,可以使用 DESC 关键字。限制limit子句用于限制查询结果返回的数量。用法:【select * from tableName limit i,n 】参数:tableName : 为数据表;i : 为查询结果的索引值(默认从0开始);n : 为查询结果返回的数量设置值SET N:=N-1; (注意后面的封号一定要有)CREATE FUNCTION getNthHighest原创 2021-02-03 10:53:35 · 51 阅读 · 0 评论 -
图网络中的图与特征的融合
卷积网络,例如2D卷积: 上图中的右图是通过卷积核得到的结果,代码如下:import matplotlib.pyplot as pltimport pylabimport cv2import numpy as npimg = plt.imread("1.jpg") plt.imshow(img) ...原创 2020-02-16 16:56:51 · 1482 阅读 · 0 评论