datafaker教程的安装报错踩坑笔记

安装前环境的准备：

一、python3.4的安装（自行百度）
注意：安装完后要按照对应版本呢的python3.4-devel
sudo yum -y install python3.4-devel

二、pip3的安装
1、安装epel-release
sudo yum -y install epel-release
2、安装python-pip
sudo yum -y install python-pip
3、升级pip
sudo pip install --upgrade pip 如果报错，则
pip3 install --upgrade pip
4、检查pip版本
pip --version
5、配置pip3镜像源
注意：如果pip 出现 bad interpreter: No such file or directory
访问：https://www.jianshu.com/p/3c1cf230bf60 解决

Datafaker的安装：
1、安装datafaker并更新到最新版本
pip3 install datafaker
pip3 install datafaker --upgrade

mysql的测试：
2、python3,则安装pymysql
pip3 install pymysql
3、在datafaker目录（默认/usr/local/lib/python3.6/site-packages）下__init__.py中添加以下两行
import pymysql
pymysql.install_as_MySQLdb()
4、在mysql创建好表
5、编写datafaker的文件（meta.txt）
6、最后执行datafaker命令
datafaker rdb mysql+mysqldb://用户名:密码@localhost:3600/库名?charset=utf8 表名 条数 --控制台打印 --meta 文件路径 --字段分隔符 , 
例如：datafaker rdb mysql+mysqldb://root:root@localhost:3600/test?charset=utf8 stu 10 --outprint --meta meta.txt --outspliter ,

hbase的测试注意项：
create 'ns1.test-table','Cf'
1、安装对应的依赖包
pip3 install happybase thrift

2、敲黑板，重点！！！一定一定要指定workers参数为1，因为datafaker线程代码方面写得还是有问题的，假如你插入数据100W条，那么不指定workers为1，那么只有10W条左右，标准命令：

pypy -m `datafaker hbase localhost:9090 表名 1000000 --meta hbase.txt --workers 1`

kafka-topics.sh --zookeeper bigdata-data2:24002 --create --topic hello --partitions 2  --replication-factor 2

hive的测试注意项：
sudo pip3 install sasl thrift-sasl thrift PyHive==0.6.3
sudo yum install cyrus-sasl-plain  cyrus-sasl-devel  cyrus-sasl-gssapi

datafaker详细的安装使用教程：
参照文档：https://blog.csdn.net/A15517340610/article/details/105623103

看完链接文章，再结合我这篇血的教训踩坑笔记看，问题就能水到渠成解决