红豆的博客

原创 各种网络结构

high-way network(高速网络)Residual Network（残差网络）残差连接textcnn双向的LSTM注意力机制self-attentioncrfbatch normalization

原创 PyTorch实现一个简单的二分类网络模型

import torch from torch.autograd import Variable import torch.nn.functional as F import matplotlib.pyplot as plt n_data = torch.ones(100,2) x0 = torch.normal(2*n_data, 1)y0 = torch.zeros(100) x1 = torch.normal(-2*n_data, 1) y1 = torch.ones(100)x

原创 PyTorch简单入门实战--一个简单的回归模型

PyTorch简单入门实战

原创 GPU相关

一、Nividia系列Tesla M40Tesla P100Tesla T4Tesla V100二、CUDA三、CUDA-tensorflow版本四、如何查看系统有几个GPU五、nvidia-smi命令nvidia-smi+-----------------------------------------------------------------------------+| NVIDIA-SMI 440.64.00 Driver Version...

原创 keras的三种模型实现与区别

前言一、keras提供了三种定义模型的方式1. 序列式(Sequential) API2. 函数式(Functional) API3.子类(Subclassing) API二、三种模型的区别

原创 tensorflow模型保存与部署

**

原创 命名实体识别NER：LSTM+CRF

xx

原创 有监督的关系抽取任务之PCNN

PCNN的实现过程：1）数据预处理：首先对数据进行位置编码，按句子中各个词离entity的距离进行编码。 例如：“As we known，Steve Jobswas the co-founder ofApple Incwhich is a great company in America.” 由于句子中有两个entity，所以这条句子就会产生两个和句子长度相同的编码。 pos_1:[-4,-3,-2,-1,0,1,2,3......] ,其中0就是Steve Jobs的位置。 pos_2:[...

原创 知识图谱

引言

原创 任务式对话系统

***0.原理1.有哪些知识点2. 有什么开源工具、如何实现

原创 tensorflow学习笔记

一、builder(tf.saved_model)a. builder = tf.saved_model.builder.SavedModelBuilderb.tf.saved_model.utils.build_tensor_infoc.tf.saved_model.signature_def_utils.build_signature_defd.tf.groupe....

原创 NLP复习

一、数据预处理：正则表达式去除标点停用词去去除没有用的词提取词干字母大写转小写按照单词创建词表二、embedding:word2vectf-idfCountVectorizer...三、建模：textCNNtextRNNbi-bistmbi-lstm-attentionfasttext四、模型过拟合了怎么处理1）加入L2正则2）early stoppin...

原创 RNN、LSTM、GRU、多层LSTM、Bi-LSTM

有些时候，主要考虑的是哪些输入，有时候，考虑的是（输入，输出）之间的模型；一、RNNf,g 就是普通的激活函数，可能是tanh；二、LSTM 此时，Ht~f(Xt, Ct-1, ht-1)在这里引入了一个新的变量Ct-1，它是什么意思呢？这里的f如何确定呢三、多层RNN/LSTM多层RNN中，第一层的输入是Ht1~ (Xt, Ht-1)，后面层的输入不再...

原创 KERAS和tensroflow实现Attention机制

一、Keras实现Attentionfrom keras import backend as Kfrom keras.engine.topology import Layerclass Position_Embedding_Attention(Layer): def __init__(self, size=None, mode='sum', **kwargs): ...

原创 真正有气质的淑女具备6大特点

真正有气质的淑女，从不炫耀她所拥有的一切，她不告诉人她读过多少书，去过什么地方，有多少件衣服，买过什么珠宝，因为她没有自卑感。1.高情商情调高，谈吐方面不易中伤别人，同时也能够很好管理自己的情绪，面对任何问题都能头脑清醒，理性对待，从不无理取闹。与人相处时懂得察言观色，不伤人自尊，外柔内刚，有自己的出事原则，但也不会斤斤计较。2. 独立有主见特别是经济上的独立尤为重要，自己喜欢...

原创 tensorflow调参方法及深度学习调参经验

***

原创 BERT预训练模型

一、模型结构二、模型的与训练方法2.1 完形填空式的预测1）预训练输入2）输出2.2 上下句关系的预测三、模型下游任务进行fine tuning...

原创 注意力Attention机制

从池化的视角理解注意力机制：注意力机制是一种对输入（键项和值项）分配偏好（注意力权重）的通用池化方法。通用池化：注意力机制通常是含参数的，但是也可以带来非参数模型非参数回归最大池化 max(vi)， 平均池化 sum(1/n*vi)是不带参数的带注意力池化的LSTM层次注意力池化（查询项：q，键项：k，值项：v）...

原创 循环神经网络模型系列总结

一、RNN1.1 模型结构：1.2 多层RNN通过num_layers设置循环神经网络隐含层的层数，例如2。对于一个多层循环神经网络，当前时刻隐含层的输入来自同一时刻输入层(如果有)或上一层隐含层的输出。每一层的隐含状态只沿着同一层传递。把单层循环神经网络中隐含层的每个单元当做一个函数f，这个函数在t时刻的输入是Xt, Ht-1，输出是Ht:Ht = f(Xt, Ht-...

原创 charCNN、textCNN、BI-lstm、textRNN

一、charCNN1. 要解决什么问题2.模型结构与设计思想（为什么这样设计）二、textCNN1. 要解决什么问题2.模型结构与设计思想（为什么这样设计）三、BI-LSTM1. 要解决什么问题2.模型结构与设计思想（为什么这样设计）3. 参考资料https://zhuanlan.zhihu.com/p/47802053...

原创 NLP面试题

1. 手写一个tfidf2. 对HMM,CRF的理解，CRF的损失函数是什么，维特比算法的过程3. word2vec的CBOW与skipgram模型及两种训练方式（负采样\层级softmax），两种训练方式的区别和应用场景；4. word2vec和fasttext的区别，训练word2vec有哪些重要参数；5. LSTM的单元结构图和6个公式要记住；6. 有几种Attentio...

原创 LDA与PLSA模型

一、什么是LDA二、什么是PLSA模型三、什么是生成式模型与判别式模型

原创 jieba分词原理

采用什么原理如何实现

原创 条件随机场CRF

一、是什么问题，背景是什么二、如何解决，解决的思路，原理2.1CRF的特征函数从特征到概率2.2CRF权重学习2.3 公式的含义三、CRF和HMM的关系四、CRF分词和脉络流程...

原创 seq2seq模型构建过程 API

encoder步骤：Encoder：input_sequences ----> (RNN) ----> C(Cell State)decoder步骤：Decoder：C + 结合时刻i的target ----> (RNN) ----> 预测时刻i+1的target重点：训练过程decoder部分的输入是target预测过程区别：decoder的输入是上一时刻的输...

原创 聊天机器人模型

1. 基于检索技术的模型2. 基于生成式模型3. 混合模式

原创 NLP的四大类任务

具体包括：

原创 tensorflow API 参数记录

一、x_train处理流程：文本->jieba分词->->去除停用词->learn.preprocessing.VocabularyProcessor（将句子中的词用数字id映射）-->word_embedding;1)cnn模型之前的word_embedding输入处理：word_vectors = tf.contrib.layers.embed_seque...

原创 transformer模型

一、模型提出的背景，现有模型的不足原来的RNN模型中，通过输入一个序列，再输出一个序列，序列的输出是有先后顺序的，说明RNN不能被并行化；RNN不能并行，CNN可以，但是CNN不能捕捉长句子的上下文，于是有了self-attention。二、模型改进的核心点在哪里transformer与bi-rnn有同样的能力，每一个输出都看过整个输入序列但是，输出的序列是同时计算的；关键...

原创 数据结构面试题

1.给定一个数组，它的第 i 个元素是一支给定股票第 i 天的价格。 如果你最多只允许完成一笔交易（即买入和卖出一支股票），设计一个算法来计算你所能获取的最大利润。2. 金字塔最小路径之和：给定一个金字塔形状的二维数组，找出自顶向下的最小路径和。每一步只能移动到下一行中相邻的结点上。1. 冒泡排序算法（排序算法）、手写快排，讲原理，最好、最坏时间复杂度、空间复杂度2 写一个...

原创 面试被问到的题目

1. 电商：1）有序、无序数据如何预处理2）如何观察数据，为了干什么3）如果性能无法提升，该如何调整模型呢？4）如何进行特征选择？5）一个完整的工作流是怎样的2. 金融风控：1）除了网格搜索，还有哪些调参方法？2）如果性能无法提升，该如何调整模型呢？3）RF和xgboost哪个更容易过拟合4）RF和xgboost哪个运算速度更快5）xgboost如何防止过...

原创 python冒泡排序算法原理与实现

一、冒泡排序算法原理这个算法的名字由来是因为越小的元素会经过交换慢慢“浮”到数列的顶端。核心思想是：通过双层循环遍历，每次比较两个数，如果他们顺序错误（大于或者小于），那么就把他们位置交换。二、代码实现def bubble_sort(b): if(len(b)<2): return b for i in range(0, len(b)): ...

原创 python快排算法原理与实践

一、快排算法原理快排算法采用了分而治之的策略。它的基本思想是：通过一趟排序将要排序的数据分割成独立的两部分，其中一部分的所有数据都比另外一部分所有数据都要小，然后再按照此方法对这两部分数据分别进行快速排序，整个排序过程可以递归进行，以此达到整个数据变成有序序列。步骤：1）在数列之中，选择一个元素作为“基准”(pivot)，或者叫比较值；2）数列中所有元素都和这个基准值进行比较，如果...

原创 逻辑回归模型公式推导

原创 常见面试题--机器学习篇

传统的机器学习算法：SVM,LR,softmax，决策树，随机森林，GBDT，xgboost，adaboost，bp神经网络、朴素贝叶斯这些都必须自己手推一次或者多次；深度学习方面：CNN、RNN、LSTM、常用激活函数（tanh、relu等）、adam优化函数、梯度消失原理或者结构应该能手画出来。nlp方面：强烈建议tf-idf、textrank、Word2vec、注意力机制、trans...

原创 马尔科夫模型

一、马尔科夫模型处理的是什么问题，什么思路来解决二、隐马尔科夫模型三、隐马尔科夫链三大问题1）Recognition(识别问题，也叫做序列问题)：知道骰子有几种（隐含状态数量），每种骰子是什么（转换概率），根据掷骰子出的结果（可见状态链），我想知道每次掷出来的都是哪种骰子（隐含状态链）2）Evaluation(验证问题，或者评估问题)：还是知道骰子有几种（隐含...

原创 概率图模型与贝叶斯网络

一、什么是概率图模型把图论+概率论结合起来，具体来说二、贝叶斯网络

原创 一条typical的文本预处理流程

raw_text ----> Tokenize(分词) ---> Lemma/Stemming -----> stopwords -----> word_list

原创 stopwords

停用词对于语义分析没有用处，要去除，例如the，a...

原创 词性标注

同一个词，是否需要变换为stemming例如 went，是go的过去式v.，还是温特n.根据词性，可以决定是否需要把wentstemming为go