一、Anconda安装
1、下载Anaconda的安装程序Anaconda3-5.1.0-Linux-x86_64.sh;安装中遇到yes/no,一直选择yes即可;
[root@192 tools]# bash Anaconda3-5.1.0-Linux-x86_64.sh
2、配置环境变量
安装Anaconda默认会把环境变量配置到/root/.bashrc,需要source一下;
[root@192 tools]# source /root/.bashrc
3、测试检查版本,是否安装成功。
[root@192 tools]# conda --version
conda 4.4.10
二、datafaker安装
安装datafaker需要提前准备的包有:
1、SQLAlchemy 1.3.8
2、configparser 5.2.0
3、Faker 2.0.2
4、sqlparse 0.3.0
5、text-unidecode 1.3
6、PyHamcrest-2.0.3
7、importlib_metadata-4.10.0
8、typing_extensions-4.0.1
9、zipp-1.0.0
将上述安装包安装完毕,进行datafaker安装,即安装成功,可用如下命令检查:
[root@localhost tools]# datafaker --version
0.7.6
三、各数据库包安装
数据库 | python包 | 备注 |
mysql/tidb | mysql-python/mysqlclient | windows+python3请使用mysqlclient |
oracle | cx-Oracle | 同时需要下载orale相关库 |
postgresql/redshift | psycopg2 | 根据sqlachemy选择对应包 |
Hbase | happybase,thrift | |
es | elasticsearch | |
hive | pyhive | |
kafka | kafka-python |
1、hive
先安装future 0.18.1,再安装PyHive 0.6.3即可
2、es
直接安装对应的python包即可
3、Hbase
先安装thriftpy-0.3.8,再安装对应的python包
4、kafka
直接安装对应的python包即可