数据分析-可视化-wordcloud词云

我们使用已经合并在一起的拉勾网数百个职位招聘详情文件来进行这个练习。百度云下载文件 密码:bvb8 读取文件 读取并打印出前面100个字符 text='' with open('./lagou-job1000-ai-details.txt','r') as f: text=f.re...

2019-04-10 22:04:14

阅读数 109

评论数 0

自然语言处理之jieba分词

英文分词可以使用空格,中文就不同了,一些分词的原理后面再来说,先说下python中常用的jieba这个工具。 首先要注意自己在做练习时不要使用jieba.Py命名文件,否则会出现 jieba has no attribute named cut …等这些,如果删除了自己创建的jieba.py还...

2019-04-10 22:03:53

阅读数 71

评论数 0

词云wordcloud入门示例

整体简介: 词云图,也叫文字云,是对文本中出现频率较高的“关键词”予以视觉化的展现,词云图过滤掉大量的低频低质的文本信息,使得浏览者只要一眼扫过文本就可领略文本的主旨。 基于Python的词云生成类库,很好用,而且功能强大。在做统计分析的时候有着很好的应用,比较推荐。 github:htt...

2019-04-10 22:03:35

阅读数 66

评论数 1

snownlp文本情感分析使用

snownlp为python版的文本分析工具,ubuntu安装snownlp命令为:pip install snownlp。 利用snownlp可以进行分词、词性标注、文本摘要提取、文本情感分析等,下面贴出snownlp分词、词性标注、情感分析代码如下: from snownlp import...

2019-04-05 17:55:27

阅读数 370

评论数 0

什么是词向量?

什么是词向量? 我们组实训选择的主题是与自然语言识别相关的,那么就不得不学习和了解一下自然语言识别中非常重要和基础的。于是我对于自己对词向量的学习进行了以下的总结。 简而言之,词向量技术是将词转化成为稠密向量,并且对于相似的词,其对应的词向量也相近。 一、词的表示 在自然语言处理任务中,首先需要考...

2019-04-05 17:31:54

阅读数 180

评论数 0

深度学习:激活函数的比较和优缺点,sigmoid,tanh,relu

1、什么是激活函数 2、为什么要用 3、都有什么激活函数 4、sigmoid,Relu,softmax 1. 什么是激活函数 如下图,在神经元中,输入的 inputs 通过加权,求和后,还被作用了一个函数,这个函数就是激活函数 Activation Function。 2....

2019-04-05 14:19:47

阅读数 65

评论数 0

用Python做自然语言处理必知的八个工具【转载】

Python以其清晰简洁的语法、易用和可扩展性以及丰富庞大的库深受广大开发者喜爱。其内置的非常强大的机器学习代码库和数学库,使Python理所当然成为自然语言处理的开发利器。 那么使用Python进行自然语言处理,要是不知道这8个工具就真的Out了。 NLTK NLT...

2019-04-01 21:57:35

阅读数 26

评论数 0

GPU与CPU比较,GPU为什么更适合深度学习?

一、CPU与GPU对比 CPU是一个有多种功能的优秀领导者。它的优点在于调度、管理、协调能力强,计算能力则位于其次。而GPU相当于一个接受CPU调度的“拥有大量计算能力”的员工。 下图是处理器内部结构图: DRAM即动态随机存取存储器,是常见的系统内存。 Cache存储器:电脑中作高速缓冲...

2019-03-28 21:47:20

阅读数 308

评论数 0

特征提取方法: one-hot 和 TF-IDF

one-hot 和 TF-IDF是目前最为常见的用于提取文本特征的方法,本文主要介绍两种方法的思想以及优缺点。 1. one-hot 1.1 one-hot编码   什么是one-hot编码?one-hot编码,又称独热编码、一位有效编码。其方法是使用N位状态寄存器来对N个状态进行编码,每个...

2019-03-28 20:24:33

阅读数 69

评论数 0

15分钟入门NLP神器—Gensim

前 言 作为自然语言处理爱好者,大家都应该听说过或使用过大名鼎鼎的Gensim吧,这是一款具备多种功能的神器。 Gensim是一款开源的第三方Python工具包,用于从原始的非结构化的文本中,无监督地学习到文本隐层的主题向量表达。 它支持包括TF-IDF,LSA,LDA,和word2vec在内...

2019-03-23 15:30:35

阅读数 149

评论数 0

一文搞懂HMM(隐马尔可夫模型)

什么是熵(Entropy) 简单来说,熵是表示物质系统状态的一种度量,用它老表征系统的无序程度。熵越大,系统越无序,意味着系统结构和运动的不确定和无规则;反之,,熵越小,系统越有序,意味着具有确定和有规则的运动状态。熵的中文意思是热量被温度除的商。负熵是物质系统有序化,组织化,复杂化状态的一种度...

2019-03-22 11:52:46

阅读数 33

评论数 0

scikit-learn和tensorflow的区别

1、功能不同 Scikit-learn(sklearn)的定位是通用机器学习库,而TensorFlow(tf)的定位主要是深度学习库。一个显而易见的不同:tf并未提供sklearn那种强大的特征工程,如维度压缩、特征选择等。究其根本,我认为是因为机器学习模型的两种不同的处理数据的方式: 传统机...

2019-02-24 19:12:36

阅读数 151

评论数 0

人工智能、机器学习和深度学习之间的区别和联系

有人说,人工智能(AI)是未来,人工智能是科幻,人工智能也是我们日常生活中的一部分。这些评价可以说都是正确的,就看你指的是哪一种人工智能。 今年早些时候,Google DeepMind的AlphaGo打败了韩国的围棋大师李世乭九段。在媒体描述DeepMind胜利的时候,将人工智能(AI)、机器学...

2019-02-24 18:04:04

阅读数 191

评论数 0

tf.nn.moments( ) 的用法

def moments(     x,     axes,     shift=None,  # pylint: disable=unused-argument     name=None,     keep_dims=False) x: 形如:[batch_size, height, widt...

2019-02-21 19:44:14

阅读数 133

评论数 0

LSTM 两个激励函数区别sigmoid 和tanh

1),sigmoid 用在了各种gate上,产生0~1之间的值,这个一般只有sigmoid最直接了。 2),tanh 用在了状态和输出上,是对数据的处理,这个用其他激活函数或许也可以。 1. sigmoid激活函数 sigmoid将一个实数输入映射到[0,1]范围内,如下图(左)所示。使用sigm...

2019-02-21 19:21:31

阅读数 285

评论数 0

tf.add()

tf.add() 将参数相加  传参: tf.add(     x,     y,     name=None ) 1 2 3 4 5 使用案例: import tensorflow as tf x = tf.constant(2) y = tf.constant(1) sess = tf....

2019-02-21 16:26:27

阅读数 50

评论数 0

快速理解tf.Session()

Session 是 Tensorflow 为了控制,和输出文件的执行的语句. 运行 session.run() 可以获得你要得知的运算结果, 或者是你所要运算的部分.   import tensorflow as tf   # create two matrixes   matrix1 = t...

2019-02-21 16:24:13

阅读数 61

评论数 0

tensorflow中 tf.reduce_mean函数

tf.reduce_mean 函数用于计算张量tensor沿着指定的数轴(tensor的某一维度)上的的平均值,主要用作降维或者计算tensor(图像)的平均值。 reduce_mean(input_tensor,                 axis=None,              ...

2019-02-21 15:54:11

阅读数 55

评论数 0

tf.transpose函数的用法

tf.transpose(input, [dimension_1, dimenaion_2,..,dimension_n]):这个函数主要适用于交换输入张量的不同维度用的,如果输入张量是二维,就相当是转置。dimension_n是整数,如果张量是三维,就是用0,1,2来表示。这个列表里的每个数对应...

2019-02-21 15:52:43

阅读数 39

评论数 0

TENSORFLOW1.0运行之前版本代码报错解决

1. tf.merge_all_summaries() 改为:summary_op = tf.summary.merge_all() 2,tf.train.SummaryWriter,     改为:tf.summary.FileWriter 3,tf.histogram_summary(),...

2019-02-19 18:00:19

阅读数 55

评论数 0

提示
确定要删除当前文章?
取消 删除