2018年09月_小时不识月123

12月 10月 09月 06月

原创 tensorflow指定版本的安装及升级到最新版

安装anaconda，然后用python的pip可以安装特定版本的tensorflow，如：pip install tensorflow-gpu==1.4.0升级到最新：GPU版本：pip install --upgrade tensorflow-gpuCPU版本：pip install--upgrade tensorflow如何查看当前tensorflow版本：python.........

2018-09-29 14:54:57 100654 10

原创 “刘知远实验室”的关系抽取实验复现

今天开始调试下面这份脚本：Neural Relation Extraction(NRE)遇到的问题：

2018-09-27 17:04:05 7419 6

原创 hbase--如何开启hbase的thrift？

python用happybase连hbase取数时，需要开启thrift，开启方法：在xshell登录到hbase的主节点；用jps命令查看是否开启；如果没有，则开启thrift:`hbase thrift start关掉xshell界面时，thrift服务会自动断开。...

2018-09-26 17:13:26 5817

原创 spark dataframe笔记 -- dataframe行转列

把dataframe一行内容变成多行。脚本：#!/usr/bin/python# -*- coding: utf-8 -*-"""@author:@contact:@time:"""from __future__ import print_functionfrom pyspark.sql import SparkSessionimport os, timefrom pysp...

2018-09-25 14:10:58 6038

原创 Windows系统，Anaconda2（python2）和Anaconda3（python3）如何共存？

我的笔记本（Windows）上一直都装了anaconda2，但我在笔记本上配置tensorflow时，鉴于win的系统，tensorflow只支持python3，所以这里便遇到了python2和python3共存的问题，如下链接提供了一个非常简单的解决办法：Windows下Anaconda2（python2）和Anaconda3（python3）如何共存？ps:Anaconda2-4.3.1...

2018-09-25 11:53:55 1631

原创笔记本里有多个Python版本，如何把包安装在某一个python目录下？

比如我们想把包装在Anaconda2目录下：查看目录（C:…\Anaconda2\Scripts）下是否含有pip.exe；如果含有，cmd到目录（C:…\Anaconda2\Scripts）下，执行：pip install package_name即可。...

2018-09-25 11:44:10 1693

原创 pyspark案例

pyspark本地环境配置教程配置成功后，可以通过spark dataframe笔记练习pyspark的用法，不过最好是通过spark官网练习语法使用。下面写个小案例，供自己以后查阅：#!/usr/bin/python# -*- coding: utf-8 -*-"""@author:@contact:@time:"""from __future__ import print_fu......

2018-09-25 11:33:08 6169 5

原创如何向hdfs上传文件？

比如向hdfs上传停用词文件（stopwords.txt）:登录hdfs的namenode节点，查看上面的文件夹；新建一个文件夹，放置停用词资源；查看是否建成功；把停用词文件上传到服务器本地；把停用词上传到hdfs上；查看是否上传成功；查看文件的详细内容；hadoop fs –lshadoop fs -mkdir /aaahadoop fs -ls /mkdir a...

2018-09-25 10:26:19 10165

原创如何离线在spark集群上装numpy ?

假如集群上已经装了python,现在需要在集群上离线装numpy，那么需要在各个节点上都安装numpy库。准备好相关包；pip-9.0.1.tar.gz numpy-1.13.3-cp27-cp27mu-manylinux1_x86_64.whl在服务器上新建一个文件夹，通过ftp把相关包上传到文件夹；cd到文件夹所在所在路径，解压 pip-9.0.1.tar.gz；tar ...

2018-09-25 10:00:11 1117

原创用spark-submit提交任务给集群时涉及的参数

用spark-submit提交任务给集群时涉及的参数：用bin/spark-submit提交，查看spark-submit用法bin/spark-submit --helpUsage:spark-submit [options] <app jar | python file> [app arguments]如local模式时： #将程序运行在local mode,启动2个T...

2018-09-21 17:29:30 912

原创 linux命令集合

2018-09-21 17:02:28 394

原创如何设置定时任务（spark-submit,crontab）？

设置定时任务，让脚本定时执行，在Linux中，spark-submit提交任务时，可使用crontab来实现。1. 假设已经安装了crontab；2. 创建sh文件，存放需要执行的spark-submit命令，如：（1）切换到脚本所在的路径；（2）spark-submit的路径要写全；（3）master地址，我这里随便写的；（4）要执行的脚本名；（5）如果是在windows系统上写...

2018-09-20 16:56:42 6914

原创 hbase语句汇总、sql sever语句汇总、mysql语句汇总

hbasehbase客户端：dbvis-multi.exe用db时不会写Hbase语句，有些语句怕自己忘记，记录在下面：查某个字段值取特定值时的记录select * from &quot;table&quot; where &quot;time&quot;='201709'统计频数select &quot;aa&quot;,count(&quot;aa&quo

2018-09-20 15:53:16 1236

原创 spark报错集合，python报错集合，tensorflow报错集合

spark.sql.crossJoin.enabled for Spark 2.x解决办法：在脚本里加入如下一行spark.conf.set(“spark.sql.crossJoin.enabled”, True)资料参考：资料参考

2018-09-19 15:26:03 1151

原创 pyspark本地环境配置教程

我算是侥幸吧，我环境配置很顺利，我好朋友的也配置成功了。步骤如下：下载spark，我用的是2.0.2spark官网按照下面链接安装（里面有一步java jdk没写，我也记不住了，有报错再查报错吧）spark安装装好后就按照官网文档使用，官网为：spark官网使用文档...

2018-09-19 14:43:42 2735

原创 spark dataframe笔记 -- 对dataframe一列值保留4位小数

脚本如下：#!/usr/bin/python# -*- coding: utf-8 -*-"""@author:@contact:@time:@context:对dataframe一列值保留4位小数"""from __future__ import print_functionfrom pyspark.sql import SparkSessionimport os, tim......

2018-09-19 11:29:06 17207

原创 spark dataframe笔记 -- 按照dataframe某一列的数值排序，并增加一列索引（2）降序排

脚本：#!/usr/bin/python# -*- coding: utf-8 -*-"""@author:@contact:@time:@context:按照dataframe某一列的数值排序，并增加一列索引（2）降序排"""from __future__ import print_functionfrom pyspark.sql import SparkSessionim...

2018-09-19 11:06:12 6129

原创 spark dataframe笔记 -- 按照dataframe某一列的数值排序，并增加一列索引（1）升序排

脚本如下：#!/usr/bin/python# -*- coding: utf-8 -*-&amp;amp;quot;&amp;amp;quot;&amp;amp;quot;@author:@contact:@time:@context:按照dataframe某一列的数值排序，并增加一列索引（1）升序排&amp;amp;quot;&amp;amp;quot;&amp;amp;quo

2018-09-19 10:43:27 4180 2

原创 spark dataframe笔记 -- inner join,内连接,含有字段内容相同的列合并

脚本如下：#!/usr/bin/python# -*- coding: utf-8 -*-&quot;&quot;&quot;@author:@contact:@time:@context:inner join,内连接，含有字段内容相同的列合并&quot;&quot;&quot;from __future__ import print_functionfrom pyspar

2018-09-19 10:30:27 7053