梆子井欢喜坨的博客

目录1. 任务描述2. 数据预处理3. 建立模型4. 关键算法：Adagrad5. 完整代码1. 任务描述根据某地一年内18项空气质量有关的检测指标，在24小时的变化数据，使用线性回归预测PM2.5（也是指标之一）的变化。数据如图所示训练集：每个月前20天的完整数据测试集：从剩下的资料中（10 * 12天）中抽出240 * 10小时的数据作为测试每条数据中，前9小时的观测数据作为feature，共9 * 18 = 162个参数，第10小时的PM2.5作为answer2. 数据预处理指标RF

1. 背景知识2. 作业描述3. 数据预处理4. 建立模型5. logistic回归完整代码6. 生成模型完整代码

目录1. 神经网络（neural networks）简介2. 反向传播算法3. 推广到矩阵形式1. 神经网络（neural networks）简介2. 反向传播算法3. 推广到矩阵形式

目录1. 背景知识1.1 CNN(卷积神经网络)结构介绍1.2 卷积层1.3 Pooling池化层1.4 经过一次卷积与池化的结果1.5 Flatten1.6 注意Filter的维度1.7 补充：1x1卷积1.8 CNN学到了什么2. 作业描述3. 数据预处理4. 在train set 上训练，参考val set上的结果调参5. 在总的训练集上训练1. 背景知识1.1 CNN(卷积神经网络)结构介绍整体结构图如下所示：输入数据（如一张图片）会经过许多卷积运算和Pooling池化层，最后拉平为一维再

目录

目录1. Semi-supervised Learning for Generative Model2. Low-density Separation Assumption3. Smoothness Assumption4. Better Representation为什么需要半监督学习？因为打好标签的数据严重不足。对未打标签数据的分布做了一些先验假设。1. Semi-supervised Learning for Generative Model假设图中绿色的点为unlabeled data

目录1. 背景知识1.1 RNN(循环神经网络)结构介绍2. 作业描述3. 数据预处理1. 背景知识1.1 RNN(循环神经网络)结构介绍2. 作业描述3. 数据预处理

对应课程笔记:Conditional Generation by RNN&Attention

目录

例如输入一个十个点（用x,y坐标表示）的序列希望神经网络能输出包围剩下点的，组成边界的点序列。考虑采用Encoder-Decoder的结构进行这样的训练结果是不work的。这个问题的输入点数是不确定的，而Decoder部分输出节点数无法调整。用attention进行改造，让NN动态决定输出的set的大小。不用 softmax 层，而使用 argmax 筛选输出。(x0x_0x0​,y0y_0y0​)代表ENDPoint Network适合用在Summarization任务中从in

可以认为Recurrent Structure是Recursive Structure的一种子集。以情感分析任务为例一个递归的结构是这样的，隐藏层h的维度要和输入x相同。从语法结构上进行解释：“very”要和“good”放在一起，再被“not”否定。希望“very”和“good”经过函数f(会是一个复杂的NN)得到的结果，意思为“very good”这个network要处理一些复杂的情况，如知道"not"会反转另一个输入的语义知道"very"会强调另一个输入的语义一次训练过程如下

目录简单总结：背景注意力机制简单总结：带有“Self-attention”机制的seq2seq模型背景在处理序列问题时RNN难以并行CNN可以并行，但是要堆很多层注意力机制全面替代了RNN，输出序列基于整个输入序列为什么要除 根号d？论文有注解通过矩阵运算，可以进行并行操作...

本篇应该与之前的笔记：word embedding配合使用在上篇笔记中，是要求同一个单词（one-hot编码）在不同位置输入，要得到同样的词向量。即不管对应的 word 出现在哪个句子中的哪个位置, 它在向量空间中的 representations 不变。（In typical word embedding, each word type has an embedding）但考虑到同一个词汇，在不同的语境可能有不同的意思。如图中的bank，出现在不同的句子中，上下文不同，词义也不同。说明一下，这

1. 隐马尔可夫（HMM）1.1 词性标注(part-of-speech tagging,POS tagging)李老师的课程由词性标注问题引出隐马尔可夫模型。词性标注指的是在一串的字词中标注每一个所属的词性，是输入是序列，输出也是序列的结构化学习问题。这里就有一个问题，同样的单词可能有不同的词性。比如在下面的例子中，第一个“saw”是动词，第二个“saw”是名词1.2 隐马尔可夫模型(Hidden Markov Model,HMM)利用隐马尔可夫模型完成词性标注有两步：第一步是基于语法生