自然语言处理(NLP)菜鸟学习笔记
文章平均质量分 79
关于自然语言处理的某菜鸟学习路上记录的一些笔记,有不妥希望各位大佬多担待
_我走路带风
To save time is to lengthen life.
展开
-
自然语言菜鸟学习笔记(八):激活函数
目录前言为什么要激活函数?几种激活函数SigmoidTanhReLULeaky-ReLUELU激活函数的选择前言学自然语言的时候,也不知道咋回事,就是头冷。为什么要激活函数?比如说对于一个神经网络,我们不用激活函数是一个什么样纸?那么我们可以假想激活函数是 f(x) = x,因为没有用激活函数嘛,也就是 y = x一个线性的存在,神经网络的结构是...原创 2019-07-15 20:12:04 · 471 阅读 · 0 评论 -
自然语言菜鸟学习笔记(七):RNN(循环神经网络)及变体(LSTM、GRU)理解与实现(TensorFlow)
目录前言RNN(循环神经网络)为什么要用循环神经网络(RNN)?循环神经网络(RNN)可以处理什么类型的任务?多对一问题一对多问题多对多问题循环神经网络结构单层网络情况正向传播反向传播存在问题优化方案多层网络情况双向网络结构LSTM(Long Short Term Memory)长短期记忆网络LSTM与RNN的不同选择性机制的...原创 2019-07-15 14:00:19 · 4380 阅读 · 2 评论 -
自然语言菜鸟学习笔记(六):CNN(卷积神经网络)理解与实现(TensorFlow)
目录卷积神经网络结构图为什么从神经网络到卷积神经网络?卷积解决上述问题:卷积过程卷积多通道处理池化全连接层使用TensorFlow框架简单实现CNN(手写数字识别)卷积神经网络结构图上图就是一个典型的卷积神经网络,卷积神经网络 = 卷积 + 池化 + 全连接为什么从神经网络到卷积神经网络?普通的神经网络,最经典的那种神经网络模型图也就是多个输...原创 2019-04-23 15:04:42 · 1372 阅读 · 0 评论 -
自然语言菜鸟学习笔记(五):对神经元、神经网络的简单理解
神经元:神经元是神经网络的一部分。是神经网络的最小结构,经过一定的设置后就能构成逻辑回归模型从单个神经元来看:首先先从真实的神经元的图片来看:下图就是一个最基本的神经元,一个输出,多个输入可以看到和上面的生理上的图片还蛮像的可以看到中间的圆圈有两个步骤,一个步骤是权重和x相乘, 另外一个是做一个非线性,也就是激活函数,激活函数应用到上面去后,...原创 2019-04-21 19:08:44 · 802 阅读 · 1 评论 -
自然语言菜鸟学习笔记(四):马尔可夫理论&隐马尔可夫模型理论及实现
我们今天通过隐马尔可夫对中文的词进行标注词性标注汉语由于缺乏语法形态变化,词的应用非常灵活,词类兼类现象特别多,也特别复杂,因此需要词性标注 这里先介绍两个概念显状态直接可以被观测到的状态,例如单词隐状态通过间接观测到的状态,例如词性 OK,首先介绍隐马尔可夫模型之前我们要先来研究一下显马尔科夫模型:马尔科夫模型:马尔可夫模型描述了一类重...原创 2018-11-27 21:23:09 · 1561 阅读 · 2 评论 -
自然语言菜鸟学习笔记(二)
词法分析1.语言的分类传统语言学根据词的形态结构把语言分为三大类:分析型语言 黏着性语言 曲折型语言1.1分析型语言词基本没有专门表示语法意义的附加成分形态变化少语法关系靠词序、虚词来表示如:汉语、藏语1.2黏着型语言词内有专门表示语法意义的附加成分,一 个附加成分表达一种语法意义,一种意义 也基本上由一个附加成分来表达词根或词干跟附加成分的结合...原创 2018-11-06 20:34:46 · 583 阅读 · 1 评论 -
自然语言处理菜鸟学习笔记(一)
数学基础 1.概率论基础:• 统计自然语言处理的目标是对自然语言领域的 数据进行统计推理;• 统计推理通常由两个步骤来完成:首先,提取 依照某些未知概率分布所产生的数据,然后对 这些数据分布进行某些推理.1.1样本空间通常把随机试验的每一个可能结果称为一个样 本点,样本点的全体称为样本空间 用Ω表示,例:投掷一枚硬币的实验中,只有两个输出:正面,反 面,样本空间为: Ω...原创 2018-11-06 16:08:38 · 591 阅读 · 0 评论 -
TensorFlow基础学习 四(实现简单线性回归)
使用TensorFlow实现简单的线性回归 构造前提数据1.首先随机生成一个训练集并且自己设定一个我们最终要靠近的那条完美的线(在实际训练中是没有的,现在人为设定):# create data# 随机生成一个1*100的向量,并且其中每一个随机值的范围都在[0,1)x_data = np.random.rand(100).astype(np.float32)# 这是自己随意...原创 2018-08-03 16:58:18 · 274 阅读 · 0 评论 -
TensorFlow基础学习 三(变量、fetch、feed)
定义变量并进行相加和赋值操作:# 定义一个变量, 初始值为 0.state = tf.Variable(0, name="counter")# 创建一个 op, 作用是让 state 增加 1# 定义常量oneone = tf.constant(1)# new_value的值为state和one的值相加new_value = tf.add(state, one)# 将最终的n...原创 2018-08-03 15:24:40 · 564 阅读 · 0 评论 -
TensorFlow基础学习 二(张量)
综述TensorFlow使用张量来表示数据并且在各个节点之间进行运算 阶(Ranks)TensorFlow系统中,张量的维数来被描述为阶。下面的张量(使用Python中list定义的)就是2阶. t = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]可以认为一个二阶张量就是我们平常所说的矩阵,一阶张量可以认为是一个向量。对于一个二阶张量你可以用语...原创 2018-08-03 14:38:59 · 584 阅读 · 0 评论 -
TensorFlow基础学习(Session启动图)
综述TensorFlow 是一个编程系统, 使用图来表示计算任务. 图中的节点被称之为 op (operation 的缩写). 一个 op 获得 0 个或多个 Tensor, 执行计算, 产生 0 个或多个 Tensor. 每个 Tensor 是一个类型化的多维数组. 例如, 你可以将一小组图像集表示为一个四维浮点数数组, 这四个维度分别是 [batch, height, width, cha...原创 2018-08-03 10:28:44 · 566 阅读 · 0 评论