![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
sqoop
CottonDuke
这个作者很懒,什么都没留下…
展开
-
sqoop mysql 抽到hive
#默认抽昨天的数据,如果传入日期,则抽取传入日期那天的数据dt=`date -d "1 days ago" +"%Y%m%d"`if [ $# -eq 1 ];thendt=`date -d "$1" +"%Y%m%d"`fiecho $dtHIVE_DB_NAME=bdpaMYSQL_HOST="10.202.12.12"原创 2017-10-12 15:38:22 · 470 阅读 · 0 评论 -
sqoop 安装
1下载sqoop安装包2解压3修改conf/sqoop-env.shexport HADOOP_COMMON_HOME=/app/hadoop-2.7.3export HADOOP_MAPRED_HOME=/app/hadoop-2.7.3/share/hadoop/mapreduceexport HIVE_HOME=/app/apache-hive-2.1.1原创 2017-05-23 16:59:05 · 345 阅读 · 0 评论 -
sqoop基础知识以及sqoop抽到mysql
脚本 hdfs抽到mysql 在从mysql等关系型数据库中导入数据到hdfs后会发现原来在mysql中为NULL的字段, 到hive后NULL值都变成了字段串'null'。在导入的时候加上以下两个参数就可以解决:--null-string '\N' --null-non-string '\N' 这是因为, 在hive里面。NULL用N来原创 2017-03-06 11:32:58 · 1199 阅读 · 0 评论