Tensorflow
I天辉I
专注于Python相关的量化投资
展开
-
tf.transpose函数的用法
tf.transpose(input, [dimension_1, dimenaion_2,..,dimension_n]):这个函数主要适用于交换输入张量的不同维度用的,如果输入张量是二维,就相当是转置。dimension_n是整数,如果张量是三维,就是用0,1,2来表示。这个列表里的每个数对应相应的维度。如果是[2,1,0],就把输入张量的第三维度和第一维度交换。例如:import t...转载 2019-02-21 15:52:43 · 226 阅读 · 0 评论 -
15分钟入门NLP神器—Gensim
前 言作为自然语言处理爱好者,大家都应该听说过或使用过大名鼎鼎的Gensim吧,这是一款具备多种功能的神器。Gensim是一款开源的第三方Python工具包,用于从原始的非结构化的文本中,无监督地学习到文本隐层的主题向量表达。它支持包括TF-IDF,LSA,LDA,和word2vec在内的多种主题模型算法,支持流式训练,并提供了诸如相似度计算,信息检索等一些常用任务的API接口...转载 2019-03-23 15:30:35 · 395 阅读 · 0 评论 -
深度学习:激活函数的比较和优缺点,sigmoid,tanh,relu
1、什么是激活函数2、为什么要用3、都有什么激活函数4、sigmoid,Relu,softmax1. 什么是激活函数如下图,在神经元中,输入的 inputs 通过加权,求和后,还被作用了一个函数,这个函数就是激活函数 Activation Function。2. 为什么要用如果不用激励函数,每一层输出都是上层输入的线性函数,无论神经网络有多少层,输出都是...转载 2019-04-05 14:19:47 · 1085 阅读 · 0 评论 -
什么是词向量?
什么是词向量?我们组实训选择的主题是与自然语言识别相关的,那么就不得不学习和了解一下自然语言识别中非常重要和基础的。于是我对于自己对词向量的学习进行了以下的总结。简而言之,词向量技术是将词转化成为稠密向量,并且对于相似的词,其对应的词向量也相近。一、词的表示在自然语言处理任务中,首先需要考虑词如何在计算机中表示。通常,有两种表示方式:one-hot representation和distr...转载 2019-04-05 17:31:54 · 1696 阅读 · 0 评论 -
snownlp文本情感分析使用
snownlp为python版的文本分析工具,ubuntu安装snownlp命令为:pip install snownlp。利用snownlp可以进行分词、词性标注、文本摘要提取、文本情感分析等,下面贴出snownlp分词、词性标注、情感分析代码如下:from snownlp import SnowNLPs = SnowNLP(u'这个东西真心很赞')key=s.words #...转载 2019-04-05 17:55:27 · 2859 阅读 · 0 评论 -
用Python做自然语言处理必知的八个工具【转载】
Python以其清晰简洁的语法、易用和可扩展性以及丰富庞大的库深受广大开发者喜爱。其内置的非常强大的机器学习代码库和数学库,使Python理所当然成为自然语言处理的开发利器。那么使用Python进行自然语言处理,要是不知道这8个工具就真的Out了。NLTKNLTK是使用Python处理语言数据的领先平台。它为像WordNet这样的词汇资源提供了简便易用...转载 2019-04-01 21:57:35 · 320 阅读 · 0 评论 -
特征提取方法: one-hot 和 TF-IDF
one-hot 和 TF-IDF是目前最为常见的用于提取文本特征的方法,本文主要介绍两种方法的思想以及优缺点。1. one-hot1.1 one-hot编码 什么是one-hot编码?one-hot编码,又称独热编码、一位有效编码。其方法是使用N位状态寄存器来对N个状态进行编码,每个状态都有它独立的寄存器位,并且在任意时候,其中只有一位有效。举个例子,假设我们有四个样本(行),每个样...转载 2019-03-28 20:24:33 · 270 阅读 · 0 评论 -
GPU与CPU比较,GPU为什么更适合深度学习?
一、CPU与GPU对比CPU是一个有多种功能的优秀领导者。它的优点在于调度、管理、协调能力强,计算能力则位于其次。而GPU相当于一个接受CPU调度的“拥有大量计算能力”的员工。下图是处理器内部结构图:DRAM即动态随机存取存储器,是常见的系统内存。Cache存储器:电脑中作高速缓冲存储器,是位于CPU和主存储器DRAM之间,规模较小,但速度很高的存储器。算术逻辑单元ALU是能实...转载 2019-03-28 21:47:20 · 7033 阅读 · 2 评论 -
词云wordcloud入门示例
整体简介:词云图,也叫文字云,是对文本中出现频率较高的“关键词”予以视觉化的展现,词云图过滤掉大量的低频低质的文本信息,使得浏览者只要一眼扫过文本就可领略文本的主旨。基于Python的词云生成类库,很好用,而且功能强大。在做统计分析的时候有着很好的应用,比较推荐。github:https://github.com/amueller/word_cloud官方地址:https://...转载 2019-04-10 22:03:35 · 531 阅读 · 1 评论 -
自然语言处理之jieba分词
英文分词可以使用空格,中文就不同了,一些分词的原理后面再来说,先说下python中常用的jieba这个工具。首先要注意自己在做练习时不要使用jieba.Py命名文件,否则会出现jieba has no attribute named cut …等这些,如果删除了自己创建的jieba.py还有错误是因为没有删除jieba.pyc文件。(1)基本分词函数和用法 首先介绍下分词的三种模...转载 2019-04-10 22:03:53 · 3359 阅读 · 0 评论 -
一文搞懂HMM(隐马尔可夫模型)
什么是熵(Entropy)简单来说,熵是表示物质系统状态的一种度量,用它老表征系统的无序程度。熵越大,系统越无序,意味着系统结构和运动的不确定和无规则;反之,,熵越小,系统越有序,意味着具有确定和有规则的运动状态。熵的中文意思是热量被温度除的商。负熵是物质系统有序化,组织化,复杂化状态的一种度量。熵最早来原于物理学. 德国物理学家鲁道夫·克劳修斯首次提出熵的概念,用来表示任何一种能量在空间...转载 2019-03-22 11:52:46 · 254 阅读 · 0 评论 -
TENSORFLOW1.0运行之前版本代码报错解决
1. tf.merge_all_summaries() 改为:summary_op = tf.summary.merge_all()2,tf.train.SummaryWriter, 改为:tf.summary.FileWriter3,tf.histogram_summary(), 改为:tf.summary.histogram(),4,tf.scalar_summary() ...原创 2019-02-19 18:00:19 · 261 阅读 · 0 评论 -
tensorflow中 tf.reduce_mean函数
tf.reduce_mean 函数用于计算张量tensor沿着指定的数轴(tensor的某一维度)上的的平均值,主要用作降维或者计算tensor(图像)的平均值。reduce_mean(input_tensor, axis=None, keep_dims=False, name=None, ...转载 2019-02-21 15:54:11 · 251 阅读 · 0 评论 -
快速理解tf.Session()
Session 是 Tensorflow 为了控制,和输出文件的执行的语句. 运行 session.run() 可以获得你要得知的运算结果, 或者是你所要运算的部分. import tensorflow as tf # create two matrixes matrix1 = tf.constant([[3,3]])matrix2 = tf.constant([[2], ...转载 2019-02-21 16:24:13 · 756 阅读 · 0 评论 -
tf.add()
tf.add() 将参数相加 传参:tf.add( x, y, name=None)12345使用案例:import tensorflow as tfx = tf.constant(2)y = tf.constant(1)sess = tf.Session()print(sess.run(tf.add(x, y)))#3 ...转载 2019-02-21 16:26:27 · 724 阅读 · 0 评论 -
LSTM 两个激励函数区别sigmoid 和tanh
1),sigmoid 用在了各种gate上,产生0~1之间的值,这个一般只有sigmoid最直接了。2),tanh 用在了状态和输出上,是对数据的处理,这个用其他激活函数或许也可以。1. sigmoid激活函数sigmoid将一个实数输入映射到[0,1]范围内,如下图(左)所示。使用sigmoid作为激活函数存在以下几个问题:梯度饱和。当函数激活值接近于0或者1时,函数的梯度接近于0。在...转载 2019-02-21 19:21:31 · 5538 阅读 · 0 评论 -
tf.nn.moments( ) 的用法
def moments( x, axes, shift=None, # pylint: disable=unused-argument name=None, keep_dims=False)x: 形如:[batch_size, height, width, kernels]axes: 求解的维度,如 [1,2,3]keep_dims: 是否保持...转载 2019-02-21 19:44:14 · 393 阅读 · 0 评论 -
Windows7 安装TensorFlow(本人试了好多方法后的成果)
本人机器为64位win7首先安装python,版本一定要注意,TennsorFlow要使用 Python3.0 系列版本不能使用2.0系列版本,但是TensorFlow 的安装包目前windows版本还不支持 Python 3.6 。该图是查看TensorFlow目前支持的安装包结果(链接为https://pypi.python.org/pypi/tensorflow/1.1.0rc2...转载 2019-02-18 19:28:30 · 1037 阅读 · 0 评论 -
人工智能、机器学习和深度学习之间的区别和联系
有人说,人工智能(AI)是未来,人工智能是科幻,人工智能也是我们日常生活中的一部分。这些评价可以说都是正确的,就看你指的是哪一种人工智能。今年早些时候,Google DeepMind的AlphaGo打败了韩国的围棋大师李世乭九段。在媒体描述DeepMind胜利的时候,将人工智能(AI)、机器学习(machine learning)和深度学习(deep learning)都用上了。这三者在Alp...转载 2019-02-24 18:04:04 · 483 阅读 · 0 评论 -
scikit-learn和tensorflow的区别
1、功能不同Scikit-learn(sklearn)的定位是通用机器学习库,而TensorFlow(tf)的定位主要是深度学习库。一个显而易见的不同:tf并未提供sklearn那种强大的特征工程,如维度压缩、特征选择等。究其根本,我认为是因为机器学习模型的两种不同的处理数据的方式:传统机器学习:利用特征工程(feature engineering),人为对数据进行提炼清洗 深度学习:利...转载 2019-02-24 19:12:36 · 547 阅读 · 0 评论 -
python + tensorflow tensorboard HTTP://0.0.0.0:6006 无法访问 解决方法
刚开始接触tensorboard时,在网页上怎么都不能可视化。各种教程都说要切换到\logs目录下运行tensorboard –logdir=logs,后来tensorboard –logdir=logs –debug查看了运行日志,才发现需要在\logs的上一层运行tensorboard –logdir=logs生成的tmp临时文件在C:\tmp\tensorflow\mnist\logs\...转载 2019-02-19 16:48:57 · 684 阅读 · 0 评论 -
数据分析-可视化-wordcloud词云
我们使用已经合并在一起的拉勾网数百个职位招聘详情文件来进行这个练习。百度云下载文件 密码:bvb8读取文件读取并打印出前面100个字符text=''with open('./lagou-job1000-ai-details.txt','r') as f: text=f.read() f.close()print(text[:100])输出职位描述:岗位职责:...转载 2019-04-10 22:04:14 · 1513 阅读 · 0 评论