【Python】问题小记录 前言在使用Map对str批量数据转换只收，直接使用np.argmax得到的索引值是有问题的。问题可简化为如下代码。先记录，等空了探究。np.argmax([0, 1, 2, 3, 4])结果：4a = "1 2 3 4 5"np.argmax(map(float, a))结果：0...
【自然语言处理】谣言检测小结 前言博主最近研究了下Ma Jing博士的谣言检测。现将她的一些文章进行一些总结。内容第一篇《Detect Rumors Using Time Series of Social Context Information on Microblogging Websites》由于谣言检测模型只是对用户信息，模式传播和文本内容进行建模，忽略了时间的变化这一信息。作者提出了一种DSTS模型。第二篇《...
【自然语言处理】使用Tensorflow-Bert进行分类任务时输出每个Train Epoch的信息 前言最近任务需要用到Bert，一个头疼的地方是官方代码只有在跑完指定的epoch次数之后才进行评估。可是基于任务的要求，需要输出每轮的评估信息（比如Acc, Loss）。相似的需求类似：How to get a total training set loss for an epoch using Tensorflow Estimator api方法由于Bert在Tensorflow使用了E...
【自然语言处理】tf.contrib.seq2seq.GreedyEmbeddingHelper源码解析 前言本文衔接TrainingHelper，也可以衔接BasicDecoder。先说明一下，GreedyEmbeddingHelper主要作用是接收开始符，然后生成指定长度大小的句子。正文GreedyEmbeddingHelper代码传送门class GreedyEmbeddingHelper(Helper): """A helper for use during inference....
【自然语言处理】tf.contrib.seq2seq.TrainingHelper源码解析 前言本文衔接tf.contrib.seq2seq.dynamic_decode源码分析以及tf.contrib.seq2seq.BasicDecoder源码解析。除了TrainingHelper后面还会介绍到GreedyEmbeddingHelper
【自然语言处理】聊聊注意力机制(Attention Mechanism)的发展 前言其实，关于注意力机制的文章真的有很多，而且写得相当精彩（毕竟过去这么多年了），那这篇侧重于简单的一个介绍，使大家对注意力机制有个初步了解。正文首先这件事还要从序列到序列模型（Seq2seq Model）开始说起，最早的序列到序列模型是一个CNN+LSTM。简单来说就是把CNN把编码端映射成一个固定向量，然后用LSTM一步步解码。接着一个自然的想法是使用LSTM，因为LSTM的处理序列...
【自然语言处理】聊聊曝光误差（Exposure Bias）怎么被解决的 前言曝光误差（exposure bias）简单来讲是因为文本生成在训练和推断时的不一致造成的。不一致体现在推断和训练时使用的输入不同，在训练时输入是真实样本，但是在推断时用的却是上一个词的输出。解决方案1.使用scheduled-sampling，简单的做法就是在训练阶段使用的输入以p的概率选择真实样本，以1-p的概率选择上一个词的输出。而这个概率p是随着训练次数的增加衰减，可以使用指数函数...
【自然语言处理】tf.contrib.seq2seq.BasicDecoder源码解析 前言tf.contrib.seq2seq.dynamic_decode源码分析本文衔接上文。首先tf.contrib.seq2seq.dynamic_decode主要作用是接收一个Decoder类，然后依据Encoder进行解码，实现序列的生成（映射）。其中，这个函数主要的一个思想是一步一步地调用Decoder的step函数（该函数接收当前的输入和隐层状态会生成下一个词），实现最后的一句话的...
【自然语言处理】tf.contrib.seq2seq.dynamic_decode源码分析 前段时间因为自己的任务，看了好久的seq2seq的源码，了解了它的内部机制。现分享一波源码解析给大家以共勉。首先tf.contrib.seq2seq.dynamic_decode主要作用是接收一个Decoder类，然后依据Encoder进行解码，实现序列的生成（映射）。其中，这个函数主要的一个思想是一步一步地调用Decoder的step函数（该函数接收当前的输入和隐层状态会生成下一个词），实现最后的一句话的生成。该函数类似tf.nn.dynamic_rnn。
【自然语言处理】SeqGAN的探索（踩坑）记录 SeqGAN是2017年[《SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient》](https://arxiv.org/pdf/1609.05473.pdf)这篇论文提出的模型，使用了强化学习的策略梯度解决了之前GAN只能应用在生成器输出为连续值的问题（文本中词与词之间的表示是离散的）。属于比较开创的工作，之后的许多工作都是在这篇文章的基础进行的。今天主要是想研究SeqGAN这么久以来的一个踩坑记录的总结，主要是要讨论关于蒙特
【自然语言处理】神经文本生成综述 前言首先本文主要是对《 Neural Text Generation: Past, Present and Beyond 》这篇论文的总结，该论文是上海交通大学团队写的，查阅过数次，觉得写得很棒，在此总结一下，以此共勉。要点这篇的文章关注点在于神经网络的文本生成。极大似然估计首先，最开始的是用神经网络语言模型(NNLM)。以及的后来的RNNLM（基于RNN循环神经网络）。P(xt∣st...
【统计学习方法】 支持向量机(SVM) Python实现 支持向量机，一个理论先于实践的产物，由Corinna Cortes和Vapnik等在1995年首次提出的，取得了非常好的效果。 SVM分为线性可分（又可分硬间隔与软间隔）和线性不可分的问题，线性不可分可通过核函数进行映射到空间里，从而线性可分。线性可分支持向量机模型：f(x)=sign(w⋅x+b)f(x)=sign(w⋅x+b)f\left( x \right) = sign\le...
【统计学习方法】 逻辑斯谛回归(Logistic Regression) Python实现 代码可在Github上下载:[代码下载](https://github.com/FlameCharmander/MachineLearning)今天看了一下《统计学习方法》里的逻辑斯谛回归，结合下《机器学习实战》里面的代码，很精炼。公式如下：模型：> $P(Y=1|x)=\frac {exp(w\cdot x+b)}{1+exp(w\cdot x+b)}$> $P(Y=0|x)=1-P(Y=1|x)=\frac {1}{1+exp(w\cdot x+b)}$策略：对数损失函数算法：梯度下降算法
《统计学习方法》 决策树 ID3和C4.5 生成算法 Python实现 在博主刚接触编程的时候，曾经想过一个如何实现聊天机器人，当时最直接的想法是打算用if-else来做（事实上真用VB实现了一个简单的以自嗨）。而今天的决策树就是可以视为一种if-else的集合。而决策树的可以用来分类也可以用来完成回归任务。本部分介绍的决策树实现了ID3和C4.5算法。两者算法差别在于一个使用了信息增益一个使用了信息增益比。
【自然语言处理】基于双向LSTM(Bi-LSTM)文本分类的Tensorflow实现 Github：Github下载地址RNN在自然语言处理的文本处理上取得了很大的成功。双向LSTM可以捕获上下文的内容，从而使得分类效果更佳。在本文的这次分类中，本文使用了IMDB电影评价的数据集，最终的模型可以将正面情感和负面情感通过双向LSTM给分类出来。
【深度学习】基于GAN生成对抗网络的Python实现 前言此文参考原文Github代码本文Github代码GAN是2014年提出的一个框架。简单来说，这个框架有一个生成器和一个判别器，生成器生成数据（假币），判别器判别数据真假（判别假币），基于这种max-min极大极小值博弈算法，最终生成器生成的数据（假币）会使判别器分辨不出，也就是说D(p_data)和D(p_gen_data)均在0.5左右。基于这一框架生成器得到了出色的生成效果引起了许多...
【自然语言处理】LSTM文本生成Python(纯Numpy)实现 前言RNN存在着梯度消失的问题，Hochreiter & Schmidhuber (1997)在1997年提出了LSTM（Long Short-Term Memory）长短期记忆单元来解决这个问题，现在自然语言处理的大部分任务都用到了LSTM，例如机器翻译，文本生成，，同理还有GRU。数据集数据集跟上一篇博客RNN文本生成使用的一样，都是古诗的语料库，这里不再赘述。...
【自然语言处理】RNN文本生成Python(纯Numpy)实现 前言由于RNN具有记忆功能，之前文章有介绍RNN来实现二进制相加，并取得了比较好的效果。那这次本文使用RNN来进行古诗生成。数据集数据集就是我们的古诗了，每行都是一首古诗，并且以格式”题目：古诗”。 首先需要创建一个词典，词典可以是每个字的词频高的前6000字作为词典，然后用one-hot来表示词向量。def getVocab(filename='poetry.txt'):...
【机器学习】Softmax回归 Python实现 前言常常会遇到需要多分类的问题，比如手写体识别，你需要识别手写的数字是几（0~9），比如文本生成，你需要知道生成的是哪个字，都需要进行多分类。那么我们最常用的多分类函数就是softmax了。接下来本文将会实现一个softmax来进行手写体识别。数据集本次的数据集分为训练集：文件名为”trainingDigits”和测试集：文件名为”testDigits”，每个文件夹里面有txt文件若干...
【统计学习方法】隐马尔可夫模型(HMM) Python实现 前言隐马尔可夫模型在自然语言处理等各领域中，经常被用来处理标注问题。 隐马尔可夫模型由初始状态概率向量ππ\pi 、状态转移概率矩阵A和观测概率矩阵B决定。其中ππ\pi和A决定状态序列，B决定观测序列。 λ=(A,B,π)λ=(A,B,π)\lambda=(A,B,\pi) A=[aij]N×NA=[aij]N×N{\rm{A = }}{\left[ {{a_{ij}}}...
关注
