【Spark+NLP】24、整理一些自己会用到的指令+操作

1、tfos框架操作：

 git克隆： git clone https://github.com/wjlx/tfos.git

搭建环境：根据requirement.txt 搭建

安装框架： cd /home/lin/tfos     (必须先移动进来，不然报错)        

                   python3 setup.py install

卸载：  sudo pip3 uninstall tfos

 

2、修改numpy版本：

卸载： pip3 uninstall numpy

安装： pip3 install numpy==1.16.4

 

3、HDFS上传文件：

新建文件夹：hdfs dfs -mkdir /data/weather

上传文件：   hdfs dfs -put /home/x_train /data/weather  (再依次上传y_train x_test  y_test)

查看效果：   hdfs dfs -ls /data  （也可localhost:50070去网址里看效果）

 

4、安装git

感谢https://www.cnblogs.com/blange/p/11446253.html

①、获取github最新的Git安装包下载链接，进入Linux服务器，执行下载，命令为： wget https://github.com/git/git/archive/v2.17.0.tar.gz ；

②、压缩包解压，命令为： tar -zxvf v2.17.0.tar.gz ；

③、安装编译源码所需依赖，命令为： yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel gcc perl-ExtUtils-MakeMaker 耐心等待安装，出现提示输入y即可；

④、安装依赖时，yum自动安装了Git，需要卸载旧版本Git，命令为： yum remove git 出现提示输入y即可；

⑤、进入解压后的文件夹，命令 cd git-2.17.0 ，然后执行编译，命令为 make prefix=/usr/local/git all 耐心等待编译即可；

（第五步是可能会报错utf8.c:463: undefined reference to `libiconv'  ）