shell：将数据库的表内容拉到文件中

最新推荐文章于 2021-04-29 13:36:57 发布

KingBoxing

最新推荐文章于 2021-04-29 13:36:57 发布

阅读量1k

点赞数

分类专栏： shell

本文链接：https://blog.csdn.net/aaa1117a8w5s6d/article/details/27098043

版权

shell 专栏收录该内容

14 篇文章 0 订阅

订阅专栏

现在做一个功能，需要将mysql数据库中的数据读出到一个文件中，然后放到hdfs下进行hadoop运算。

set -x
rm -rf result/enterprise*.txt
while IFS=: read oldName newName
do
        echo "SELECT e.id,e.NAME,e.cityid,e.mainCategory,ifnull(e.category,''),ifnull(e.tag,''),ifnull(e.netKeywords,''),e.certification,e.phoneLevel,p.phone FROM enterprise_${newName} e,phone_${newName} p WHERE     e.id = p.enterprise_id and e.maincategory is not null ;" | mysql -N --default-character-set=utf8  -h172.16.1.81 -P3308 -uadmin -ptonggangdasha enterprise  > result/enterprise_${newName}.txt 
#mysql -N -h172.16.1.81 -P3308 -uadmin -ptonggangdasha enterprise<<eof_a 
#SELECT e.id,e.NAME,e.cityid,e.mainCategory,e.category,e.tag,e.netKeywords,e.certification,e.phoneLevel,p.phone FROM enterprise_${newName} e,phone_${newName} p WHERE  e.id = p.enterprise_id into outfile '/tmp/enterprise_${newName}.txt' fields terminated by '|' ;
#\q;
#eof_a
done < enterprise.table


hadoop fs -rm -r  /user/hdfs/source/db/enterprise/
hadoop fs -mkdir /user/hdfs/source/db/enterprise/
hadoop fs -put result/enterprise*.txt /user/hdfs/source/db/enterprise/

用shell的方式可以很方便的将数据库的内容输出到文件。