Icarus_的学习笔记

一、seq2seq模型1.概念（1）seq2seq是一个Encoder-Decoder结构的网络，它的输入是一个序列，输出也是一个序列。（2）Encoder中将一个可变长度的信号序列变为固定长度的向量表达，Decoder将这个固定长度的向量变成可变长度的目标的信号序列。（3）这个结构最重要的地方在于输入序列和输出序列的长度是可变的。（4）可以用于翻译，聊天机器人、句法分析、文本摘要等。2.encoder过程（1）取得输入的文本，进行embedding，生成向量（2）传入到LST

一、环境搭建sys (python系统库）pickle（将特有的类型与python的数据类型进行转换的库）re （正则表达式库）tqdm（可扩展的进度条）activate nlp，pip install tqdm --upgrade二、聊天机器人语料处理流程介绍1、语料收集：聊天记录、电影对话、台词片段2、语料清洗：清洗的内容：多余的空格，不正规的符号，多余的字符、英文清洗的方法：正则化，切分，好坏语句判断3、句子向量的编码化：原始的文本不能直接训练..

一、语料的获取与处理1、什么是语料库？语料：即语言材料。语料是语言学研究的内容。语料是构成语料库的基本单元。语料库：存放的是在语言实际使用中真实出现过的语言材料，是以计算机为载体承载语言知识的基础资源。真实语料需要经过加工（分析、处理），才能成为有用的资源。2、语料库的种类异质的：语料有多种分类同质的：语料同类系统的：如聊天机器人专用的：如保险推销聊天机器人3、语料的获取途径1、开放性语料数据集：（1）中科院自动化所的中英文新闻语料库（2）搜狗的中文新闻语料库（3）人

一、什么是NLP1、自然语言处理（英语：natural language processing，缩写作 NLP ）此领域探讨如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的语言。这里的自然语言，一般包括两种。一种是指我们这说话的声音，也就说语音，另外一种是指文字。比如说我们写一篇文章，或者说跟客服进行聊天，那它属于文字。实际上就是指让电脑来理解人类的语言，因为无论是用文字也好还是用语音也好，它都属于人类的语言。2、自然语言处理的主要范畴1、文本分析，给你一段文章你要分析出相关

一、NLP基础1、常用的神经网络模型在做深度学习或者是人工智能相关的任务中。一般来讲，我们常用的网络模型有三种，第一种卷积神经网络。实际上也是前馈神经网络的一种，它主要包括这个点。地上。那么一般来讲呢，我们是拿这个准地心的网络来做一些跟图像相关的一些事情，比如说我们来做一个图像上市，比如说有一个说给一张老张片。1.1 卷积神经网络(Convolutional Neural Network,CNN) 是一种前馈神经网络， 它包括卷积层(convolutional layer) 和池化层(poo

1、TensorFlow框架介绍TensorFlow是什么◆谷歌基于DistBelief进行研发的第二代人工智能学习系统◆用于语音识别或图像识别等多项机器学习和深度学习领域◆将复杂的数据结构传输至人工智能神经网中进行分析和处理·支持CNN、RNN和LSTM算法，是目前在lmage，Speech和NLP最流行的深度神经网络模型2、TensorFlow系统框架从图中可以看到有三大部分组成，第一部分是一个前端框架，Front End。第二部分，就是中间的这个capi。第三部分是一个后.