sqoop
CottonDuke
这个作者很懒,什么都没留下…
展开
-
sqoop mysql 抽到hive
#默认抽昨天的数据,如果传入日期,则抽取传入日期那天的数据 dt=`date -d "1 days ago" +"%Y%m%d"` if [ $# -eq 1 ];then dt=`date -d "$1" +"%Y%m%d"` fi echo $dt HIVE_DB_NAME=bdpa MYSQL_HOST="10.202.12.12"原创 2017-10-12 15:38:22 · 480 阅读 · 0 评论 -
sqoop 安装
1下载sqoop安装包 2解压 3修改conf/sqoop-env.sh export HADOOP_COMMON_HOME=/app/hadoop-2.7.3 export HADOOP_MAPRED_HOME=/app/hadoop-2.7.3/share/hadoop/mapreduce export HIVE_HOME=/app/apache-hive-2.1.1原创 2017-05-23 16:59:05 · 356 阅读 · 0 评论 -
sqoop基础知识以及sqoop抽到mysql
脚本 hdfs抽到mysql 在从mysql等关系型数据库中导入数据到hdfs后会发现原来在mysql中为NULL的字段, 到hive后NULL值都变成了字段串'null'。 在导入的时候加上以下两个参数就可以解决: --null-string '\N' --null-non-string '\N' 这是因为, 在hive里面。NULL用N来原创 2017-03-06 11:32:58 · 1213 阅读 · 0 评论