人工智能
村雨遥
CSDN 博客专家,专注但不仅限于 Java 技术领域的分享。
展开
-
深度学习笔记
TensorFlowTensorFlow不仅是一个实现机器学习算法的接口,也是一种框架,也可用于线性回归、逻辑回归、随机森林等算法;TensorFlow使用数据流图来规划计算流程,每个运算操作作为一个节点node,节点之间的连接称为边,边中流动的数据称为张量,故而得名TensorFlow,预算操作可以有自己的属性,但必须被预先设置,或者能在创建计算图时被推断出来;TensorFl...原创 2018-08-05 13:16:56 · 505 阅读 · 0 评论 -
NLTK 基础知识总结
什么事实NLTKNLTK,全称Natural Language Toolkit,自然语言处理工具包,是NLP研究领域常用的一个Python库,由宾夕法尼亚大学的Steven Bird和Edward Loper在Python的基础上开发的一个模块,至今已有超过十万行的代码。这是一个开源项目,包含数据集、Python模块、教程等;怎样安装详情可以参见我的另一篇博客NLP的开发环境搭建,通...原创 2018-09-29 11:35:58 · 25127 阅读 · 0 评论 -
自然语言处理 NLP(1)
自然语言处理自然语言:指一种随着社会发展而自然演化的语言,即人们日常交流所使用的语言;自然语言处理:通过技术手段,使用计算机对自然语言进行各种操作的一个学科;自然语言处理研究的内容词意消歧;指代理解;自动生成语言;机器翻译;人机对话系统;文本含义识别;...原创 2018-09-30 16:13:27 · 793 阅读 · 0 评论 -
自然语言处理 NLP(2)
词性标注标注语料库;各词性标注及其含义自动标注器;默认标注器;正则表达式标注器;查询标注器;N-gram标注器;一元标注器;分离训练和测试数据;一般的N-gram的标注;组合标注器;标注生词;储存标注器;性能限制;跨句子边界标注;隐马尔科夫标注器;生成模式;确定模式;非确定模式;隐藏模式;隐马尔科夫模型H...原创 2018-10-02 11:37:27 · 533 阅读 · 0 评论 -
自然语言处理 NLP(3)
样本点中的关键度量指标:距离定义:常用距离:欧氏距离,euclidean–通常意义下的距离;马氏距离,manhattan–考虑到变量间的相关性,且与变量单位无关;余弦距离,cosine–衡量变量相似性;TF-IDF矩阵TF-IDF:TF(词频)和IDF(倒文档频率)的乘积,其中TF表示某个关键词出现的频率,IDF为所有文档数目除以包含该词语的文档数目的对数值...原创 2018-10-03 10:31:27 · 376 阅读 · 0 评论 -
自然语言处理 NLP(4)
实体识别实体识别–分块类型:名词短语分块;标记模式分块;正则表达式分块;分块的表示方法:标记和树状图;分块器评估;命名实体识别;命名实体定义:指特定类型的个体,是一些确切的名词短语,如组织、人、日期等;命名实体识别定义:指通过识别文字中所提及的命名实体,然后确定NE的边界和类型;命名实体关系提取;文法分析文法定义:文法用途:1、性能超越n-grams;2、...原创 2018-10-03 21:35:50 · 723 阅读 · 0 评论 -
机器学习的几种学习方式
监督学习定义:监督学习(Supervised Learning)是一种利用已知类别的样本调整分类器的参数,从而达到所需性能的的学习方式,这种方式既有数据也有标签,;分类回归分析(Regression Analysis):其数据集是给定一个函数和它的一些坐标点,然后通过回归分析的算法,从而估计原函数的模型,最后求出一个最符合这些已知数据集的函数解析式。然后我们根据这个解析式就能够预估其他未...原创 2018-10-29 18:10:47 · 2253 阅读 · 0 评论 -
NLP 基础之分词、向量化、词性标注
基于HMM(隐马尔可夫模型)的分词方法基本部分状态值序列B:Begin;M:Middle;E:End;S:Single;观察值序列待切分的词;初始化概率BMES这四种状态在第一个字的概率分布情况;状态转移矩阵HMM中,假设当前状态只与上一状态相关,则此关系可用转移矩阵表示;条件概率矩阵HMM中,观察值只取决与当前状态值(假设条件),条件概率矩阵主要建模在BMES下各个...原创 2018-12-07 10:54:57 · 1701 阅读 · 0 评论 -
多层感知机
多层感知机隐藏层多层感知机在单层神经网络的基础上引入一到多个隐藏层(hidden layer),位于输入层和输入层之间,其中的隐藏层和输出层都是全连接层,神经网络图如下:虽然神经网络引入了隐藏层,但依然等价于一个单层神经网络,这是因为全连接层只是对数据做仿射变换(affine transformation),而多个仿射变换的叠加仍然是一个仿射变换;激活函数为解决上述问题,故引入非线性变...原创 2019-04-20 13:57:09 · 1030 阅读 · 0 评论 -
NLP 基础知识大集合
大纲NLP基础概念NLP的发展与应用NLP常用术语以及扩展介绍---1.1 什么是NLP基本分类自然语言生成(Natural Language Generation,NLG) 指从结构化数据中以读取的方式自动生成文本,主要包括三个阶段: - 文本规划:完成结构化数据中的基础内容规划; - 语句规划:从结构化数据中组合语句来表达信...原创 2019-09-02 16:50:59 · 473 阅读 · 0 评论 -
Word Embedding
如何表示词义流程文本文件->分词后的序列->词表示的向量(词嵌入)->解决具体任务的算法;用离散符号表示词传统NLP中,我们将词表示为一个个的离散符号,如:sun、hotel、fruit……,我们可以用one−hotone-hotone−hot方式将词代表为向量形式,如:sun=[0,1,0,0,0,0,0,0,0,0]sun=[0,1,0,0,0,0,0,0,...原创 2019-08-22 20:39:15 · 679 阅读 · 0 评论 -
NLP 自然语言处理的开发环境搭建
NLP的开发环境搭建主要分为以下几步:Python安装NLTK系统安装Python3.5下载安装下载链接:https://www.python.org/downloads/release/python-354/安装步骤: 双击下载好的python3.5的安装包,如下图; 选择默认安装还是自定义安装,一般默认安装就好,直接跳到步骤5,自定义的接着看步骤3,PS:Add...原创 2018-07-11 08:51:23 · 8731 阅读 · 0 评论 -
Anaconda 简单使用手册
安装部分准备工作下载各平台对应的安装包,各平台安装包下载链接如下:WindowsmacOsLinux安装过程安装过程在此不给出具体过程,可参照官方给出教程,各平台对应教程如下:Windows中Anaconda安装教程macOS中Anaconda安装教程Linux中Anconda安装教程常用命令查看安装版本conda --version查看帮助信息co...原创 2018-12-24 22:41:10 · 768 阅读 · 0 评论