![](https://img-blog.csdnimg.cn/866faffe240142a0bfc0d48924123425.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
——Sqoop
Sqoop作业的实质,其实是将导入或导出命令翻译成Mapreduce程序来实现。
脸ル粉嘟嘟
BigDate.我命由我!
展开
-
使用Sqoop将MySQL与HDFS数据导入导出
一、拷贝mysql数据表到hdfs上1.确保mysql可以远程连接, 防火墙等已关闭或开端口, hadoop已启动, hdfs可访问(没有处于安全模式,如果处于点击这里)2.确保hdfs上不存在目标文件夹, sqoop会自动生成文件夹, 若已存在则报错,要么加上--delete-target-dir3.命令如下, 参数自行修改, mysql所在IP为192.168.203.7, 用户名密码...原创 2018-10-18 13:33:41 · 493 阅读 · 0 评论 -
CentOS6环境下安装sqoop详细步骤以及测试成功
1.下载sqoopwget http://mirror.bit.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz2.解压-安装tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gzmv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop-1.4....原创 2018-10-18 12:55:50 · 753 阅读 · 0 评论 -
sqoop安装并配置连接数据库
1.下载sqoopwget http://mirror.bit.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz2解压-安装tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz3在/etc/profile下配置sqoop的环境变量Vi /etc/profile...原创 2018-10-15 19:41:45 · 1006 阅读 · 0 评论 -
用sqoop将mysql的数据导入到hive表中的两种方式(亲测)
1:先将mysql一张表的数据用sqoop导入到hdfs中准备一张表需求 将 bbs_product 表中的前100条数据导 导出来 只要id brand_id和 name 这3个字段数据存在 hdfs 目录 /user/xuyou/sqoop/imp_bbs_product_sannpy_ 下bin/sqoop import \--connect jdbc:mysql:/...转载 2019-02-13 14:21:09 · 4372 阅读 · 0 评论