关闭

Sqoop

标签: sqoop
176人阅读 评论(0) 收藏 举报
分类:

Sqoop在Hadoop(Hive)与传统的数据库(mysql)间进行数据的传递

1)列出mysql数据库中的所有数据库

sqoop list-databases --connect jdbc:mysql://localhost:3306/ -username root -password 123456

2)连接mysql并列出test数据库中的表
sqoop list-tables –connect jdbc:mysql://localhost:3306/test –username root –password 123456
命令中的test为mysql数据库中的test数据库名称 username password分别为mysql数据库的用户密码

导入hive
sqoop import -connect jdbc:mysql://ip:3306/covers -username root -password 123456 -table sys_api_info_value -target-dir /user/hive/warehouse/covers -hive-import

如果报错,可以查看MySQL是否启动
连接MySQL
mysql -h localhost -P3306 -u root –p
查看MySQL是否启动
ps aux|grep mysqld

导入到hive指定的数据库中(不可以使用127.0.0.1)
sqoop import -connect jdbc:mysql://ip:3306/covers -username root -password 123456 -table sys_auth_info –hive-import –hive-table covers.sys_auth_info

导入到hdfs中:
sqoop import -connect jdbc:mysql://ip:3306/covers -username root -password 123456 -table sys_auth_info -target-dir ‘/user/hive/warehouse/my1’ -m 1

hdfs导出到MySQL,需要库里有对应的表
create table sys_auth_info(id int(11) primary key, c_user_id int(11),c_data datetime, m_user_id int(11), m_date datetime,name varchar(100),identification varchar(100),type int(1),remark text,url varchar(255),status int(1),sort_num int(11),level int(1),parent_id int(11),role_type int(1));

sqoop export –connect jdbc:mysql://ip:3306/test –username root –password 123456 –export-dir ‘/user/hive/warehouse/my1’ –table sys_auth_info -m 1 –fields-terminated-by ‘,’

导出的时候,要使用ip,不能使用localhost

java.io.IOException: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure
sqoop export --connect jdbc:mysql://ip:3306/nginx -username root -password 123456 --export-dir /letv/bigdata/spark-2.0.0/spark-warehouse/nginx.db/lunbo --table lunbo 

不指定时路径在默认或者hadoop fs -ls /user/root/

导入所有的表
sqoop import-all-tables -connect jdbc:mysql://ip:3306/covers -username root -password 123456 -hive-import

sqoop 搭建

同时也是解决这个的方案

 java.lang.ClassNotFoundException: org.apache.hadoop.mapreduce.Job
export HADOOP_MAPRED_HOME=${HADOOP_HOME}
export HADOOP_COMMON_HOME=${HADOOP_HOME}
export HADOOP_HDFS_HOME=${HADOOP_HOME}

参考:
sqoop搭建
http://www.cnblogs.com/gw811/p/4630774.html
sqoop教程:
http://blog.csdn.net/myrainblues/article/details/43673129
http://www.cnblogs.com/edisonchou/p/4440216.html
http://shiyanjun.cn/archives/624.html
http://blog.csdn.net/tswisdom/article/details/41458951
hive到mysql
http://blog.csdn.net/jiedushi/article/details/6663177
http://blog.163.com/zhangjie_0303/blog/static/99082706201402231422375/

0
0

猜你在找
【直播】机器学习&数据挖掘7周实训--韦玮
【套餐】系统集成项目管理工程师顺利通关--徐朋
【直播】3小时掌握Docker最佳实战-徐西宁
【套餐】机器学习系列套餐(算法+实战)--唐宇迪
【直播】计算机视觉原理及实战--屈教授
【套餐】微信订阅号+服务号Java版 v2.0--翟东平
【直播】机器学习之矩阵--黄博士
【套餐】微信订阅号+服务号Java版 v2.0--翟东平
【直播】机器学习之凸优化--马博士
【套餐】Javascript 设计模式实战--曾亮
查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:17446次
    • 积分:802
    • 等级:
    • 排名:千里之外
    • 原创:51篇
    • 转载:76篇
    • 译文:0篇
    • 评论:0条
    文章分类
    阅读排行
    评论排行