shell脚本批量上传数据到阿里云的odps

需求：将一个硬盘中的3000+个数据文件上传到odps上

1、安装odps客户端并进行相关的配置
配置文件在odpsclient/conf/odps_config.ini
project_name=
access_id=
access_key=
end_point=
tunnel_endpoint=
2、单一文件的上传
进入到客户端bin目录下，启动./odpscmd,然后运行如下命令；
tunnel upload 文件路径/文件 项目名.表名 -dbr true -mbr 100000 threads 10;

–dbr：是否忽略脏数据（多列，少列，列数据类型不匹配等情况）。 值为 true 时，将全部不符合表定义的数据忽略。 值为 false 时，若遇到脏数据，则给出错误提示信息，目标表内的原始数据不会被污染。
-mbr：默认情况下，当上传的脏数据超过 1000 条时，上传动作终止。通过此参数，可以调整可容忍的脏数据量。
-threads：指定 threads 的数量，默认为 1。

3、shell脚本实现批量文件的上传

for file in /test/tmpcsv/
do
./odpscmd -e