python代码提交到spark集群并设定定时任务

一、启动thrift

因为用到了happybase，需要先在服务器上上启动thrift服务，
关闭终端thrift继续运行命令如下：

nohup hbase thrift -p 9090 start

二、linux从本地安装python库

以thriftpy为例

解压 tar zxvf thriftpy-0.3.9.tar.gz

回到当前目录 cd thriftpy-0.3.9

编译 python setup.py build

安装 python setup.py install

然而报错表示权限不够，切换到root账户命名为sudo su
重新执行上述操作。

对于集群上其他机器

在一台机器上将所有需要用到的库都装好后，这里默认安装在/usr/local/lib/python2.7/dist-packages文件夹里，其他机器可以直接将dist-packages文件夹复制到相应位置，即可直接import装好的python库

下面代码实现将10.1.140.11:/usr/local/lib/python2.7/dist-packages 目录或文件 复制到本地（目前操作的节点机器上）/home/hadoop/AA-packages，并将原dist-packages重新命名为AA-packages

scp -r hadoop@10.1.140.11:/usr/local/lib/python2.7/dist-packages