mongodb java 分表_mongodb拆库分表脚本

脚本功能：

1. 将指定的报告文件按照指定的字段、切库切表策略切分

2. 将切分后的文件并发导入到对应的Mongodb中

3. 生成日志文件和done标识文件

使用手册：

-h    打印帮助信息,并退出";

-f     需要切分的数据文件";

-g    清理昨日或历史全部数据： 1 昨日数据  2 历史全部数据";

-k     拆分字段在文件中列数，从1开始";

-o    需要切分的数据文件格式 tsv或csv ";

-d    切分的库数目";

-t     切分的表数目";

-m   切分后，需要入库的mongodb未拆分库名，比如拆分前cpc, 拆分后cpc_01";

-c    切分后，需要入库的mongodb未拆分库名，比如拆分前cpc, 拆分后cpc_0102";

-a    入库fieldFile";

-p    配置文件",

使用步骤：

1. 在配置文件中设置日志、切割后数据临时路径$LOG_HOME 和 $DATA_SPLIT_HOME目录，如果不存在，则手动创建；

在配置文件中设置目标Mongodb参数信息，用来作为导入数据的目标库；

在配置文件中设置Mongodb程序的主目录$MONGO;

2. 按照具体的参数意义，仿照下面的格式执行脚本：

举例：./mongo-split-importer.sh -f /data/shell/test.ata -g 1 -o tsv -k 3 -d 3 -t 3 -m idea -c idea -p ../conf/demeter_conf_qa.sh -a ../conf/idea-head-file

-f 切分目标文件   -o 文件格式 tsv    -k 切割字段，第三个  -d 切割成3个库 -t 每个库3个表

-m 导入的mongodb未拆分名称idea -c 导入的mongodb未拆分表名idea -p 环境配置文件 -a 导入目标表的fieldFile文件 -g 清理昨日数据

mongo-split-importer.sh执行脚本：

demeter_conf_cpc_qa.sh 脚本：

xuri-cpc-head-file

host：