![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 57
Starry memory
硕士毕业算法工程师在岗
展开
-
神经网络的发展
神经网络诞生于人类对于大脑智能的理解。我们简要概述图神经网络的发展历程。原创 2022-11-09 22:27:11 · 851 阅读 · 0 评论 -
Improving Accuracy of Binary Neural Networks using Unbalanced Activation Distribution
背景神经网络模型的二值化被认为是在移动设备等资源受限环境中部署深度神经网络模型的一种有前途的方法。模型此处研究的是对一个激活函数做一个偏移,看最终的结果如何。平衡指的应该就是例如二值数据,1和-1的数量。实验我们进行了一些实验,以监测由于ReLU函数的性质导致的不平衡激活分布是否有助于提高准确性。建议使用可训练的激活函数,以便激活的分布可以平衡。...原创 2021-12-08 17:25:11 · 2143 阅读 · 0 评论 -
Attention Is All You Need-文章代码实现
背景Transformer在自然语言处理的应用,应用于翻译任务。Transformer采用了机器翻译中通用的encoder-decoder模型,但摒弃了以往模块内部的RNN模型,只是完全依赖注意力机制来构建模型。抛弃RNN模型的优点在于没有了时序的限制,RNN限制了数据必须按照输入的顺序处理前后有依赖性,所以在面对数据量大的时候,耗时会很长。但Transformer的self-attention机制使得其可以进行并行计算来加速https://blog.csdn.net/qq_42901761/ar原创 2021-12-07 19:50:56 · 773 阅读 · 0 评论 -
正则表达式
正则表达式使用正则表达式替换特殊字符chrome-error://chromewebdata原创 2021-11-30 16:01:29 · 35 阅读 · 0 评论 -
数据分布研究
直方图python绘制直方图原创 2021-11-19 16:56:19 · 1030 阅读 · 0 评论 -
归一化讲解
归一化数据的目标,是为了让数据的分布变得更加符合期望,增强数据的表达能力。原创 2021-11-11 12:02:14 · 1113 阅读 · 0 评论 -
会议投稿截至日期
截止日期链接https://aideadlin.es/?sub=ML,CV,NLP,RO,SP,DM原创 2021-11-01 15:08:27 · 114 阅读 · 0 评论 -
损失函数整理
hθ(x)=g(θTx)h_{\theta}(x)=g\left(\theta^{T} x\right)hθ(x)=g(θTx)J(θ)=−1m∑i=1m[y(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i)))]J(\theta)=-\frac{1}{m} \sum_{i=1}^{m}\left[y^{(i)} \log \left(h_{\theta}\left(x^{(i)}\right)\right)+\left(1-y^{(i)}\right) \log \原创 2021-11-01 11:29:44 · 26 阅读 · 0 评论 -
DeepWalk
RandomWalk随机游走一项有名的应用即为谷歌的PageRank算法,DeepWalkDeepWalk是将RandomWalk和Word2Vec结合的思想。该算法主要分为随机游走和生成表示向量两个部分。首先利用随机游走算法(Random walk)从图中提取一些顶点序列;然后借助自然语言处理的思路,将生成的定点序列看作由单词组成的句子,所有的序列可以看作一个大的语料库(corpus),最有利用自然语言处理工具word2vec将每一个顶点表示为一个维度为d的向量。...原创 2021-10-25 16:52:57 · 39 阅读 · 0 评论 -
科研公式整理
背景为了更好的对公式有一个书写原创 2021-10-19 14:30:58 · 112 阅读 · 0 评论 -
python环境配置
创建虚拟环境conda常用的命令:conda list 查看安装了哪些包(进入哪个虚拟环境,就查看哪个虚拟环境的包)。conda env list 或 conda info -e 查看当前存在哪些虚拟环境conda update conda 检查更新当前condaconda create -n xxx python=3.6 注意这个版本号一定要加上,不然就错了激活虚拟环境:Linux: source activate your_env_name(虚拟环境名称)激活虚拟环境:Window原创 2021-09-23 11:24:32 · 119 阅读 · 0 评论 -
RNN,LSTM, GRU
这张图片来自一个博客,找不到链接了,这里没有引用原创 2021-03-04 10:46:33 · 60 阅读 · 0 评论 -
Keras
####LSTM函数解析如果return_sequences=True:返回形如(samples,timesteps,output_dim)的3D张量否则,返回形如(samples,output_dim)的2D张量https://www.cnblogs.com/wzdLY/p/10071262.html原创 2021-03-04 10:30:17 · 150 阅读 · 1 评论 -
深度学习ff
one-hot编码为什么要使用one-hot编码https://blog.csdn.net/binlin199012/article/details/107341462/原创 2021-03-03 11:58:01 · 53 阅读 · 0 评论 -
注意力机制
https://blog.csdn.net/weixin_42398658/article/details/90804173https://www.cnblogs.com/Luv-GEM/p/10712256.html原创 2021-01-08 11:29:27 · 144 阅读 · 0 评论 -
KL散度ff
信息熵是一个非常重要的概念,可以表达数据信息量的大小。https://blog.csdn.net/weixinhum/article/details/85064685公式表示为:DKL(p∥q)=∑i=1N[p(xi)logp(xi)−p(xi)logq(xi)]D_{K L}(p \| q)=\sum_{i=1}^{N}\left[p\left(x_{i}\right) \log p\left(x_{i}\right)-p\left(x_{i}\right) \log q\left(x_{原创 2021-01-08 09:24:46 · 91 阅读 · 0 评论