![](https://img-blog.csdnimg.cn/20210906164842436.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Sqoop
sqoop
郝少
爱出者爱返,福往者福来。
展开
-
sqoop使用过程中遇到的坑
一、mysql和hive互相当导入时遇到的注意:为了避免其他问题最好先将hive配置文件下的hive-site.xml复制到sqoop配置文件夹下并保持一致;1、错误一19/06/05 10:03:38 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.19/06/05 10:03:38 ERROR tool.原创 2020-06-29 18:05:35 · 2319 阅读 · 1 评论 -
sqoop之mysql数据导入hive
1、查看mysql表数据mysql> select * from stu;+----------+------+----------+| name | age | address |+----------+------+----------+| zhangsan | 20 | henan || lisi | 20 | hebei || wangwu | 20 | beijing || liuqi | 20 | shando原创 2020-06-29 17:57:01 · 448 阅读 · 0 评论 -
sqoop之hive数据导入mysql
1、查询hive表中的student数据及信息hive> select * from student;OK001 xiaohong 002002 xiaolan 002001 xiaohong 003002 xiaolan 003Time taken: 0.114 seconds, Fetched: 4 row(s)hive> desc formatted student;OK# col_name data_type co原创 2020-06-29 17:32:14 · 564 阅读 · 1 评论 -
sqoop的安装及简单使用
一、说明1、sqoop是sql to hadoop的缩写。2、连接传统关系型数据库和Hadoop的桥梁,把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS、HBase 和 Hive) 中; 把数据从 Hadoop 系统里抽取并导出到关系型数据库中;3、利用MapReduce,批处理方式进行数据传输4、sqoop有两个版本,sqoop1(1.4.x)和sqoop2(1.99.x);因为官方并不建议在生产环境中使用sqoop2,所以这里使用的是sqoop1;5、sqoop1底层原创 2020-06-29 10:52:37 · 1323 阅读 · 0 评论