机器学习
进击的小绵羊
这个作者很懒,什么都没留下…
展开
-
自回归语言模型(Autoregressive LM)& 自编码语言模型(Autoencoder LM)
自回归语言模型(Autoregressive LM)简单的说,Autoregressive 就是根据上文预测下文或者根据下文预测上文,典型的代表:GPT ,其他代表ELMO等。缺点:只能利用上文或者下文的信息,不能同时利用上文和下文的信息自编码语言模型(Autoencoder LM)Autoencoder 是根据上下文语境来进行预测,典型的代表:BERT。缺点:输入时引入[Mask]标记,导致Train阶段和Fine-tuning阶段不一致的问题。...原创 2021-09-09 09:14:26 · 2355 阅读 · 0 评论 -
如何区分Recurrent Neural Network(循环神经网络)和Recursive Neural Network(递归神经网络)
Recurrent networks (Elman, 1990) are designed to model sequences, while recursive networks (Goller & Küchler, 1996) are generalizations of recurrent networks that can handle trees.—Yoav Goldberg 《A Primer on Neural Network Models for Natural Language.原创 2021-08-16 11:17:22 · 598 阅读 · 0 评论 -
iterations、epochs & batch_size 那点事
Batch_Size:representing the number of consecutive elements of this dataset to combine in a single batch.表示每次需要训练数据的个数。epochs:An epoch is an iteration over the entire `x` and `y` data provided.表示数据集需要被训练的次数。设:数据集总数为Totaliterations:一次epoch需要迭.原创 2021-03-09 20:04:24 · 162 阅读 · 0 评论 -
深度学习里的ablation experiment?
术语解释:“消融研究”通常用于神经网络,尤其是复杂的神经网络,如R-CNN。我们的想法是通过删除部分网络并研究网络的性能来了解网络。通俗的理解:你朋友说你今天的样子很帅,你想知道发型、上衣和裤子分别起了多大的作用,于是你换了几个发型,你朋友说还是挺帅的,你又换了件上衣,你朋友说不帅了,看来这件衣服还挺重要的。...原创 2021-01-19 10:06:36 · 390 阅读 · 0 评论 -
CNN中的Receptive Field
通俗的说,感受野就是输入图像对这一层输出的神经元的影响有多大。形象的说,就是你的曾曾曾曾曾爷爷对他的后代们有多少影响这么一个概念。所以影响大不一定好,也许会带来用不着的糟粕。影响小也会阻碍后代学习传统知识。第一层的Receptive Field为Kernel Size第二层开始计算公式:RF = Kernel Size + Stride * (pre_RF - 1),其中RF当前层的Receptive Field,pre_RF是前一层Receptive Field,Kernel Size为...原创 2021-01-17 16:31:39 · 192 阅读 · 0 评论 -
end-to-end training
stage-wise manner:传统的图像识别问题往往通过分治法将其分解为预处理,特征提取和选择,分类器设计等若干步骤。分治法的动机是将图像识别的母问题分解为简单、可控且清晰的若干小的子问题。不过分步解决子问题时,尽管可以在子问题上得到最优解,但子问题上的最优解并不意味着就能得到全局问题的最后解。end-to-end training:深度学习提供了一种端到端的学习范式,整个学习的流程并不进行人为的子问题划分,而是完全交给深度学习模型直接学习从原始数据到期望输出的映射。 ...原创 2021-01-17 14:17:40 · 578 阅读 · 0 评论 -
关于迁移学习(Transfer Learning)&&Pre-trained Convolutional Neural Network那点事
Why?在生活中,大部分数据或任务是存在相关性的,所以通过迁移学习可以将已经学到的模型参数(也可理解为模型学到的知识)通过某种方式来分享给新模型从而加快并优化模型的学习效率,而不用像大多数网络那样从零学习,毕竟日常从零开始训练网络花销太大。什么是微调(Fine Tuned)?如何选择?...原创 2021-01-13 23:11:57 · 361 阅读 · 0 评论 -
下载顶刊的期刊的那点事
链接: DBLP操作如下图,点击【browse】选择【journals】,接着可以按照首字母检索,例如【TPAMI】,点击进去【1981-2021】都在里面了计算机各个领域的顶会和顶刊领域 顶会 顶刊 计算机视觉 CVPR: International Conference on Computer Vision and Pattern Recognition TPAMI: IEEE Trans on Pattern Analysis and Machine..原创 2021-01-10 23:07:57 · 488 阅读 · 0 评论 -
关于expand_dims()那点事
常用作用:向单个元素添加外部“批处理”维度。 对齐轴以进行广播。 向标量张量添加内部向量长度轴。实例:如果您有一个形状为“[height, width, channels]”的图像:(注:channels为通道个数)image = tf.zeros([10,10,3])(注:在深度学习中,轴,指的就是张量的层级,一般通过参数axis/dim来设定。) >>> tf.expand_dims(image, axis=1).shape.as_list()..原创 2021-01-09 11:49:48 · 666 阅读 · 0 评论 -
RuntimeError: `loss` passed to Optimizer.compute_gradients should be a funct
问题描述:在使用tensorflow时,RuntimeError: `loss` passed to Optimizer.compute_gradients should be a funct原来代码:train = tf.train.GradientDescentOptimizer(0.01).minimize(cost)改正代码:train = tf.compat.v1.train.GradientDescentOptimizer(0.01).minimize(cost)..原创 2020-12-17 10:06:30 · 2680 阅读 · 0 评论 -
机器学习——python之matplotlib的使用——①
1.安装matplotlib 库pip install matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple//2.折线图2.1折线图的绘制from matplotlib import pyplot as plt# x轴的位置x = range(1, 8) # y轴的位置y = [17, 17, 18, 15, 11, 11, 13]# 传入x和y, 通过plot画折线图plt.plot(x, y) # 显示plt.原创 2020-09-15 22:25:22 · 307 阅读 · 0 评论