2018年05月_CopperDong

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创精通Python自然语言处理 3 ：形态学

形态学可以定义为使用语素对单词的构成进行研究，语素是具有意义的最小语言单位。1、形态学简介语素有两种类型：词根和词缀（后缀、前缀、中缀和环缀）。词根可以独立存在，词缀不能以自由的形式存在。2、理解词干提取器通过去除单词中的词缀以获取词干的过程。为了提高信息检索的准确性，搜索引擎大多会使用词干提取来获取词干并将器存储为索引词。搜索引擎使用具有相同含义的同义词，这可能是一种被...

2018-05-28 23:56:44 1045

原创精通Python自然语言处理 2 ：统计语言建模

代码https://github.com/PacktPublishing/Mastering-Natural-Language-Processing-with-Python1、理解单词频率词的搭配可以被定义为倾向于并存的两个或多个标识符的集合。如The United States Unigram（一元语法）代表单一标识符：以下为Alpino语料库生成unigramsimport nlt...

2018-05-28 21:04:43 851

原创精通Python自然语言处理 1 ：字符串操作

1、切分将文本分割成更小的并被称作标识符的模块的过程。sent_tokenize函数使用了NLTK包的一个叫PunktSentenceTokenizer类的实例。基于那些可以标记句子开始和结束的字母和标记符号，这个歌实例已经被训练用于对不同的欧洲语言执行切分。...

2018-05-28 17:00:26 1053 3

原创深入理解TensorFlow架构设计与实现原理 3 ：基础概念

1、编程范式：数据流图声明式编程与命令式编程的对比讨论数据流图： tensorflow 1.2.02、数据载体：张量张量：Tensor 稀疏张量：SparseTensor类，以键值对的形式表示高维稀疏数据，它包含indices、values和dense_shape这3个属性。3、模型载体：操作计算节点：Operation类定义在tensorflow/python/fr...

2018-05-28 15:25:13 2657

https://blog.csdn.net/liuchonge/article/details/78809555上篇文章我们介绍了DRL用于对话系统的应用，看完论文我们会发现，其是在一个Seq-to-Seq模型的基础上进行重新训练进而得到效果的提升，那么自然我们会想到如何使用Seq-to-Seq模型构造基础的对话系统呢，接下来我会使用几篇文章来一步步介绍使用Seq-to-Seq构造对话系统过程中所...

2018-05-27 16:15:53 331

转载 RNN代码解读之char-RNN with TensorFlow(model.py)

此工程解读链接(建议按顺序阅读)： RNN代码解读之char-RNN with TensorFlow(model.py) RNN代码解读之char-RNN with TensorFlow(train.py) RNN代码解读之char-RNN with TensorFlow(util.py) RNN代码解读之char-RNN with TensorFlow(sample.py)最近一直在学习RNN的...

2018-05-27 16:11:10 836

转载深度学习--Tensorflow初体验

为了方便，这里使用Docker方式安装Tensorflow。在学习阶段，更推荐使用才云科技的镜像： docker pull cargo.caicloud.io/tensorflow/tensorflow:0.12.0下载镜像完成后，启动：docker run -it -d -p 8888:8888 -p 6006:6006 cargo.caicloud.io/tensorflow/tensorfl...

2018-05-27 10:46:23 392

转载 Tensorflow实现RNN（LSTM）手写数字识别

import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data# 载入数据mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)# 输入图片是28n_input = 28max_time = 28lstm_siz...

2018-05-27 09:24:04 502

转载 RNN-循环神经网络和LSTM_01基础

一、介绍1、什么是RNN传统的神经网络是层与层之间是全连接的，但是每层之间的神经元是没有连接的（其实是假设各个数据之间是独立的）这种结构不善于处理序列化的问题。比如要预测句子中的下一个单词是什么，这往往与前面的单词有很大的关联，因为句子里面的单词并不是独立的。RNN 的结构说明当前的的输出与前面的输出也有关，即隐层之间的节点不再是无连接的，而是有连接的基本的结构如图，可以看到有个循环的结构，将其展...

2018-05-27 00:46:29 482

原创面向机器智能的TensorFlow实战8：序列分类

序列分类的任务是为整个输入序列预测一个类别标签。在许多领域中，包括基因和金融领域，这样的问题都极为常见。NLP中的一个突出例子是情绪分析。使用国际电影数据库的影评数据集，该数据集的目标值是二元的---正面的和负面的。将逐个单词地查看每条评论。依据最后的那个单词的活性值，将训练一个用于预测整条评论的情绪的分类器。由于是按照端到端的方式训练模型，RNN将从单词中收集那些对于...

2018-05-26 22:22:39 395

原创面向机器智能的TensorFlow实战7：词向量嵌入

本节将实现一个能够学习词向量的模型。对于NLP任务，这是一种表示词的强大方式。作为语义关联问题的一个解决方案，依据共生关系表示单词的思路由来已久。这种方法的基本思路是，遍历一个大规模文本语料库，针对每个单词，统计其在一定距离范围内的周围词汇。然后，用附近词汇的规范化数量表示每个词语。这种方法背后的思想是在类似语境中使用的词语在语义上也是相似的。这样便可运用PCA或类似的方法对出现向...

2018-05-26 18:44:43 900

原创面向机器智能的TensorFlow实战6：循环神经网络与自然语言处理

本章将探讨序列模型（sequential model），可对序列输入进行分类或标记，生成文本序列或将一个序列转换为另一个序列。RNN提供了一些构件，可以很好地切入全连接层和卷积层的工具集。1、RNN简介许多真实问题本质上都是序列化的。2006年提出的一种LSTM。RNN能够很好地完成许多领域的序列任务，如语音识别、语音合成、手写连体字识别、时间序列预测、图像标题生成以及端...

2018-05-26 11:32:53 561 1

原创面向机器智能的TensorFlow实战5：目标识别与分类

本节用于训练CNN模型的数据集为Stanford的Dogs Dataset是ImageNet的一个子集卷积层（tf.nn.conv2d）、非线性变换层（tf.nn.relu）、池化层（tf.nn.max_pool）及全连接层（tf.nn.matmul） TensorFlow的输入流水线拥有一种为使用一个批数据中的多幅图像而设计的专门格式。2、卷积卷积核（kernel）也称为权值...

2018-05-26 00:29:26 968

原创面向机器智能的TensorFlow实战4：机器学习基础

代码 https://github.com/backstopmedia/tensorflowbook.git1、监督学习简介数据流图的高层、通用训练闭环：一种常用的方法是将原始数据集一分为二，将70%的样本用于训练，30%用于评估。2、保存训练检查点防止突然断电3、线性回归目标是找到一个与这些数据最为吻合的线性函数 y(x1, x2, ... , xk) = w1*x1 + w2...

2018-05-25 19:44:20 513

原创面向机器智能的TensorFlow实战2：TensorFlow基础

1、数据流图简介两个基础构件：节点和边构建第一个TensorFlow数据流图：>>> import tensorflow as tf>>> a = tf.constant(5, name="input_a")>>> b = tf.constant(3, name="input_b")>>

2018-05-24 22:37:10 353

原创面向机器智能的TensorFlow实战1：安装

https://www.tensorflow.org/versions/master/get_started/os_setup.html1、选择安装环境三种环境：一般而言，如果准备在单机上安装和使用TensorFlow，建议采用Virtualenv或Conda，能够以较小的代价解决依赖冲突问题，且易于设置。如果准备将TensorFlow代码部署到一台或多台服务器上，则值得床架一个Docker容器镜...

2018-05-24 16:22:23 330

转载 Ubuntu boot分区文件误删,系统无法启动_恢复

boot 启动分区文件误删恢复：1先制作启动盘2进入try ubuntu 模式3.恢复grub sudo -i mount /dev/sda2 /mnt （系统根目录所在的分区） mount /dev/sda1 /mnt/boot (如果boot是单独分区必须加入此操作) apt-get update apt-get install grub grub-ins...

2018-05-24 15:34:20 2423 1

转载通过 Grub 来引导启动 UBUNTU

老样子，先分享一篇文章——用 EasyBCD 硬盘安装 Ubuntu（适用于Windows 7/8）http://forum.ubuntu.org.cn/viewtopic.php?t=392854本文适用人群：对GRUB没有基础，但是遇到与博主相同问题，同时希望对GRUB有所了解的朋友处理了两种情况，先对情况进行说明： 1、UBUNTU升级后，不能正常进入，通过GRUB命令行引导进入UBU...

2018-05-24 15:33:06 2759

原创 Python爬虫开发与项目实战 4: HTML解析大法

Firebug工具的使用、正则表达式和Beautiful soup4.1 初识Firebug XPath和CSS查找路径表达式4.2 正则表达式多练习4.3 强大的BeautifulSoup 从HTML或XML文件中提取数据的Python库 sudo apt-get install Python-bs4 BS支持Python标准库中的HTML解析器，还支持一些第三方的解...

2018-05-15 22:13:17 482