CentOS环境下安装Sqoop导入数据到HDFS

最新推荐文章于 2022-09-05 17:23:39 发布
最新推荐文章于 2022-09-05 17:23:39 发布
阅读量404 收藏
点赞数
分类专栏： Linux

一、准备工作

1.Hadoop安装(上一篇有介绍，不解释)
2.下载,解压Sqoop（不解释，因为我Hadoop用的是2.3所以Sqoop使用sqoop-1.99.3-bin-hadoop200 ）

二、基本配置

1.环境配置

sudo vi /etc/profile

[html]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. #set sqoop Environment  
  2. export SQOOP_HOME=/home/dev/sqoop  
  3. export HADOOP_COMMON_HOME=/home/dev/hadoop  
  4. export HADOOP_MAPRED_HOME=/home/dev/hadoop  
  5. export PATH=${SQOOP_HOME}/bin:$PATH</pre>  
2.修改包名路径

vi ${SQOOP_HOME}/server/conf/catalina.properties

[html]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../server/lib/*.jar,/home/dev/hadoop/share/hadoop/common/*.jar,/home/dev/hadoop/share/hadoop/common/lib/*.jar,/home/dev/hadoop/share/hadoop/yarn/*.jar,/home/dev/hadoop/share/hadoop/hdfs/*.jar,/home/dev/hadoop/share/hadoop/mapreduce/*.jar  
3.修改Hadoop配置文件路径

vi ${SQOOP_HOME}/server/conf/sqoop.properties

[html]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/home/dev/hadoop/etc/hadoop  
4.下载jar包mysql-connector-5.1.8.jar到 ${SQOOP_HOME}/server/lib

5.将Jar包路径加入HDFS

[html]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. ./bin/hadoop fs -mkdir -p /home/dev/sqoop/server/  
  2. ./bin/hadoop fs -put -p /home/dev/sqoop/server/lib /home/dev/sqoop/server/  
  3.   
  4. ./bin/hadoop fs -mkdir -p /home/dev/sqoop/server/webapps/sqoop/WEB-INF/  
  5. ./bin/hadoop fs -put -p /home/dev/sqoop/server/webapps/sqoop/WEB-INF/lib  /home/dev/sqoop/server/webapps/sqoop/WEB-INF/  
  6.   
  7. ./bin/hadoop fs -mkdir -p /home/dev/hadoop/share/hadoop/common/  
  8. ./bin/hadoop fs -put -p /home/dev/hadoop/share/hadoop/common/lib  /home/dev/hadoop/share/hadoop/common/  

三、使用方法

1.首先启动自带的Web服务

[html]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. [dev@master sqoop]$ sqoop.sh server start  
  2. Sqoop home directory: /home/dev/sqoop  
  3. Setting SQOOP_HTTP_PORT:     12000  
  4. Setting SQOOP_ADMIN_PORT:     12001  
  5. Using   CATALINA_OPTS:         
  6. Adding to CATALINA_OPTS:    -Dsqoop.http.port=12000 -Dsqoop.admin.port=12001  
  7. Using CATALINA_BASE:   /home/dev/sqoop/server  
  8. Using CATALINA_HOME:   /home/dev/sqoop/server  
  9. Using CATALINA_TMPDIR: /home/dev/sqoop/server/temp  
  10. Using JRE_HOME:        /usr/local/jdk  
  11. Using CLASSPATH:       /home/dev/sqoop/server/bin/bootstrap.jar  

注：若出现log4j相关的错误，可以把${SQOOP_HOME}/server/conf/sqoop.properties中log4j相关的注释掉

2.然后进入客户端进行操作

[html]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. [dev@master sqoop]$ sqoop.sh client  
  2. Sqoop home directory: /home/dev/sqoop  
  3. Sqoop Shell: Type 'help' or '\h' for help.  
  4.   
  5. sqoop:000>   
3.接下来就Sqoop的命令使用，输入help可以查询具体使用方法

a.设置服务

[html]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. sqoop:000> set server --host master --port 12000 --webapp sqoop  
  2. Server is set successfully  
b.查看版本信息
[html]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. sqoop:000> show version --all  
  2. client version:  
  3.   Sqoop 1.99.3 revision 2404393160301df16a94716a3034e31b03e27b0b   
  4.   Compiled by mengweid on Fri Oct 18 14:15:53 EDT 2013  
  5. server version:  
  6.   Sqoop 1.99.3 revision 2404393160301df16a94716a3034e31b03e27b0b   
  7.   Compiled by mengweid on Fri Oct 18 14:15:53 EDT 2013  
  8. Protocol version:  
  9.   [1]  
  10. sqoop:000>   
c.创建数据库连接
[html]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. sqoop:000> create connection --cid 1  
  2. Creating connection for connector with id 1  
  3. Please fill following values to create new connection object  
  4. Name: Mysql-H216  
  5.   
  6. Connection configuration  
  7.   
  8. JDBC Driver Class: com.mysql.jdbc.Driver  
  9. JDBC Connection String: jdbc:mysql://172.16.10.216:3306/mic_db_out?characterEncoding=UTF-8  
  10. Username: admin  
  11. Password: *****  
  12. JDBC Connection Properties:   
  13. There are currently 0 values in the map:  
  14. entry#   
  15.   
  16. Security related configuration options  
  17.   
  18. Max connections: 100  
  19. New connection was successfully created with validation status FINE and persistent id 1  
d.创建导入任务
[html]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. sqoop:000> create job --xid 1 --type import  
  2. Creating job for connection with id 1  
  3. Please fill following values to create new job object  
  4. Name: HeartBeat  
  5.   
  6. Database configuration  
  7.   
  8. Schema name: mic_db_out  
  9. Table name: t_heart_beat  
  10. Table SQL statement:   
  11. Table column names:   
  12. Partition column name:   
  13. Nulls in partition column:   
  14. Boundary query:   
  15.   
  16. Output configuration  
  17.   
  18. Storage type:   
  19.   0 : HDFS  
  20. Choose: 0  
  21. Output format:   
  22.   0 : TEXT_FILE  
  23.   1 : SEQUENCE_FILE  
  24. Choose: 0  
  25. Compression format:   
  26.   0 : NONE  
  27.   1 : DEFAULT  
  28.   2 : DEFLATE  
  29.   3 : GZIP  
  30.   4 : BZIP2  
  31.   5 : LZO  
  32.   6 : LZ4  
  33.   7 : SNAPPY  
  34. Choose: 0  
  35. Output directory: /mysql/h216/t_heart_beat  
  36.   
  37. Throttling resources  
  38.   
  39. Extractors:   
  40. Loaders:   
  41. New job was successfully created with validation status FINE  and persistent id 1  
  42. sqoop:000>   

d.然后就可以导入数据了

[html]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. sqoop:000> start job --jid 1  
  2. Submission details  
  3. Job ID: 1  
  4. Server URL: http://localhost:12000/sqoop/  
  5. Created by: dev  
  6. Creation date: 2014-04-19 18:54:25 CST  
  7. Lastly updated by: dev  
  8. External ID: job_local1638775039_0002  
  9. 2014-04-19 18:54:50 CST: UNKNOWN   
e.进入Hadoop中查看数据
[html]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. [dev@master hadoop]$ ./bin/hadoop fs -ls /mysql/h216/t_heart_beat  
  2. Found 11 items  
  3. -rw-r--r--   2 dev supergroup          0 2014-04-19 18:54 /mysql/h216/t_heart_beat/_SUCCESS  
  4. -rw-r--r--   2 dev supergroup     666901 2014-04-19 18:54 /mysql/h216/t_heart_beat/part-m-00000  
  5. -rw-r--r--   2 dev supergroup     664052 2014-04-19 18:54 /mysql/h216/t_heart_beat/part-m-00001  
  6. -rw-r--r--   2 dev supergroup     663652 2014-04-19 18:54 /mysql/h216/t_heart_beat/part-m-00002  
  7. -rw-r--r--   2 dev supergroup     663113 2014-04-19 18:54 /mysql/h216/t_heart_beat/part-m-00003  
  8. -rw-r--r--   2 dev supergroup     669380 2014-04-19 18:54 /mysql/h216/t_heart_beat/part-m-00004  
  9. -rw-r--r--   2 dev supergroup     664585 2014-04-19 18:54 /mysql/h216/t_heart_beat/part-m-00005  
  10. -rw-r--r--   2 dev supergroup     657891 2014-04-19 18:54 /mysql/h216/t_heart_beat/part-m-00006  
  11. -rw-r--r--   2 dev supergroup     662798 2014-04-19 18:54 /mysql/h216/t_heart_beat/part-m-00007  
  12. -rw-r--r--   2 dev supergroup     660777 2014-04-19 18:54 /mysql/h216/t_heart_beat/part-m-00008  
  13. -rw-r--r--   2 dev supergroup     641260 2014-04-19 18:54 /mysql/h216/t_heart_beat/part-m-00009  
  14. [dev@master hadoop]$   


OK，导入成功

Alvin_Lam
关注
专栏目录
Sqoop导入导出MySQL与HDFS数据
学习笔记
06-13 2884
1. CentOS7环境下安装sqoop 下载地址, 这里选择1.4.7版本sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz http://archive.apache.org/dist/sqoop/1.4.7/ 传输到linux中,解压缩 修改系统环境变量/etc/profile, 添加sqoop/bin, 同时确保export HADOOP_HOME 进入sqoo...
sqoop数据导入的常见问题及小结
vinsuan93的专栏
04-23 2318
本文首先是讲述sqoop的如何进行数据的导入和导出及其注意点，然后列举了sqoop和mysql在数据导入导出过程中的一些常见错误。
利用Sqoop将数据从数据库导入到HDFS
轻轻草原
09-21 223
基本使用 如下面这个shell脚本： #Oracle的连接字符串，其中包含了Oracle的地址，SID，和端口号 CONNECTURL=jdbc:oracle:thin:@20.135.60.21:1521:DWRAC2 #使用的用户名 ORACLENAME=kkaa #使用的密码 ORACLEPASSWORD=kkaa123 #需要从Oracle中导入的表名 oralceT...
在CentOS7下利用sqoop组件把mysql数据传入hdfs中
weixin_56115549的博客
09-05 812
主页,在后面找到Browse Directory就可以看到hdfs对应的数据库下的目录文件,同时也可以下载.import从mysql的webs表中导入数据到hdfs中,创建表,指定目录是webs。利用hdfs命令查看webs对应目录下的数据文件part-m-00000的前二十行。把mysql的驱动包导入sqoop的lib目录下。把sqoop安装包解压到servers目录下。找到sqoop-env.sh文件添加这些内容。#HIVE是要自己取下载包来安装的。进入sqoop安装包所在位置。
四十、centos安装sqoop（使用Sqoop完成MySQL和HDFS之间的数据互导）
11-01 1351
环境准备： centos 7 centos 可以上网 hadoop正常运行，hive正常运行 参考： Hadoop伪分布式的搭建详情https://blog.csdn.net/m0_54925305/article/details/118650350?spm=1001.2014.3001.5502Hadoop完全分布式的搭建详情https://blog.csdn.net/m0_54925305/article/details/118851554?spm=1001.2014.3001.5502cen
sqoop-1.99.3 安装配置
pengweid专栏
04-12 605
1.安装准备工作：   已经装好的hadoop环境是hadoop 2.2.0   下载的sqoop安装包（注意是hadoop200）   http://www.us.apache.org/dist/sqoop/1.99.3/sqoop-1.99.3-bin-hadoop200.tar.gz   2.解压文件到工作目录:   hadoop@hadoopMaster:$ sudo tar -
Sqoop介绍、安装部署及MySql与HDFS数据之间的导入导出
OnTheRoad的博客
04-10 1万+
本博客的学习目标：了解Sqoop是什么，能做什么以及架构能够进行Sqoop环境部署      MySql&lt;=&gt;HDFS数据的导入导出准备工作：Hadoop伪分布式集群环境：https://blog.csdn.net/qq_32297447/article/details/79734894CentOS7下安装配置Mysql：https://blog.csdn.net/qq_3229744...
记一次centos7 下安装sqoop2 server全过程（步骤详细！！！）
01-16 693
文章目录下载解压缩配置环境变量修改sqoop 配置启动sqoop Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL,Oracle,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 对于某些NoSQL数据库它也提供了连接器。Sqoop，类似于其他ETL工具，使用元数据模型来判断...
sqoop mysql导入hive报错_使用sqoop从mysql导入数据到hive
weixin_39866881的博客
01-20 804
前言这篇文章主要是用sqoop从mysql导入数据到hive时遇到的坑的总结。环境：系统：Centos 6.5Hadoop：Apache，2.7.3Mysql：5.1.73JDK：1.8Sqoop：1.4.7Hadoop以伪分布式模式运行。一、使用的导入命令参照里面的方法，在mysql建了表，填充了数据，然后按照自己的情况输入了命令：sqoop import --connect jdbc:mysq...
Sqoop导入mysql数据到HDFS
蜗牛往上爬
08-11 2220
Sqoop导入mysql数据到HDFS 打算把mysql中爬虫爬到的数据导入到HDFS中供后续学习kylin以及研究使用，以前导数据经常会自己写一段java脚本去导入，这次打算用sqoop试一试效果 首先看了下mysql的数据量，不到900万条数据，不多不少 从官网下载好sqoop进行安装 http://sqoop.apache.org/docs/1.99.7/admin/Inst...
问题解决sqoop:Error: /usr/lib/hadoop does not exist! Please set $HADOOP_COMMON_HOME to the root of your
Bamboo_shui的博客
08-13 7195
sqoop执行命令报错： Error: /usr/lib/hadoop does not exist! Please set $HADOOP_COMMON_HOME to the root of your Hadoop installation. 根据错误提示缺少的hadoop安装路径配置，需修改sqoop配置文件。 解决： 1.进入sqoop下的conf配置文件目录， 复制 sqoo...
Linux安装Sqoop(CentOS7+Sqoop1.4.6+Hadoop2.8.0+Hive2.1.1)
热门推荐
pucao_cug的专栏
05-14 1万+
sqoop安装\Linux安装Sqoop(CentOS7+Sqoop1.4.6) 版本号：CetOS7 Sqoop1.4.6 Hadoop2.8.0 Hive2.1.1
在使用 sqoop 导出数据到 mysql 报出下面的错
weixin_42926783的博客
12-18 4000
在使用 sqoop 导出数据到 mysql 报出下面的错 [root@master sqoop]# /usr/local/sqoop/bin/sqoop-export --connect jdbc:mysql://master:3306/number_count --username root --table r_number_count --update-key 'number,day,hour...
Sqoop2从Mysql导入Hdfs (hadoop-2.7.1,Sqoop 1.99.6)
weixin_33850015的博客
10-21 142
2019独角兽企业重金招聘Python工程师标准>>> ...
利用SQOOP将数据从数据库导入到HDFS
似水流年
02-24 1670
#Oracle的连接字符串，其中包含了Oracle的地址，SID,和端口号     CONNECTURL=jdbc:oracle:thin:@20.135.60.21:1521:DWRAC2     #使用的用户名     ORACLENAME=kkaa     #使用的密码     ORACLEPASSWORD=kkaa123     #需要从Oracle中导入的表名     or
基于java的无人超市管理系统开题报告.docx
最新发布
09-25
基于java的无人超市管理系统开题报告.docx
YOLOv10目标检测算法介绍及其应用案例分析
09-25
本文首先概述了YOLOv10的基本架构和特点，并介绍了其针对检测精度和速度方面的改进。接着通过对两种特定目标（交通标志与行人）检测任务的应用，阐述了如何使用YOLOv10进行数据准备、模型训练、模型评估以及最后的效果展示。对于从事计算机视觉领域工作的相关人员来说是一份有用的参考资料。 适用人群：计算机视觉从业者以及对此领域感兴趣的研究人员。 使用场景及目标：帮助专业人士掌握YOLOv10的工作流程并在具体项目实施中运用该算法。 其他说明：强调理论联系实际操作，在案例研究中既涵盖了图像又包括视频形式下的物体识别。
【航迹规划】基于matlab A_star算法多智能体群体路径规划【含Matlab源码 8010期】.mp4
09-25
Matlab领域上传的视频均有对应的完整代码，皆可运行，亲测可用，适合小白； 1、代码压缩包内容 主函数：main.m； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开main.m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描视频QQ名片； 4.1 博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作
CentOS7中Sqoop安装与MySQL数据导入实践
"本实验主要涵盖了Sqoop的基本安装和使用，涉及的工具包括Hadoop、Sqoop、Zookeeper以及MySQL，旨在验证如何将数据从MySQL数据库导入到HDFS。实验步骤包括安装MySQL、Hadoop伪分布式环境、Sqoop以及配置 Sqoop，并...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值