Sqoop搭建

最新推荐文章于 2024-03-16 21:43:50 发布
最新推荐文章于 2024-03-16 21:43:50 发布
阅读量2.2k 收藏 4
点赞数
分类专栏： Sqoop基础 初学大数据 文章标签： sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZZJXP/article/details/124250979
版权

Flume:适用于日志文件实时采集

Sqoop:适用于能与大数据集群直接通信的关系型数据库间的大批量数据传输

DataX(异构数据源离线同步工具):在异构数据库/文件系统之间高速交换数据

Kettle:图形化界面

[root@master packages]# cd ..
[root@master soft]# ls
0??           jdk1.8.0_171    shell01
A??           packages        show
data          phoenix-4.15.0  sqoop-1.4.7.bin__hadoop-2.6.0
hadoop-2.7.6  redis           test.txt
hbase-1.4.6   redis-6.2.6     zookeeper-3.4.6
hive-1.2.1    scripts
jars          shell
[root@master soft]# mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop-1.4.7
[root@master soft]# cd sqoop-1.4.7/
[root@master sqoop-1.4.7]# ls
bin            ivy          README.txt
build.xml      ivy.xml      sqoop-1.4.7.jar
CHANGELOG.txt  lib          sqoop-patch-review.py
COMPILING.txt  LICENSE.txt  sqoop-test-1.4.7.jar
conf           NOTICE.txt   src
docs           pom-old.xml  testdata
[root@master sqoop-1.4.7]# pwd
/usr/local/soft/sqoop-1.4.7
[root@master sqoop-1.4.7]# vim /etc/profile
[root@master sqoop-1.4.7]# source /etc/profile
[root@master sqoop-1.4.7]# ls
bin            ivy          README.txt
build.xml      ivy.xml      sqoop-1.4.7.jar
CHANGELOG.txt  lib          sqoop-patch-review.py
COMPILING.txt  LICENSE.txt  sqoop-test-1.4.7.jar
conf           NOTICE.txt   src
docs           pom-old.xml  testdata
[root@master sqoop-1.4.7]# cd conf/
[root@master conf]# ls
oraoop-site-template.xml  sqoop-site-template.xml
sqoop-env-template.cmd    sqoop-site.xml
sqoop-env-template.sh
[root@master conf]# cp sqoop-env-template.sh sqoop-env.sh
[root@master conf]# vim sqoop-env.sh

 export HADOOP_COMMON_HOME=/usr/local/soft/hadoop-2.7.6
export HADOOP_MAPRED_HOME=/usr/local/soft/hadoop-2.7.6/share/hadoop/mapreduce
export HBASE_HOME=/usr/local/soft/hbase-1.4.6
export HIVE_HOME=/usr/local/soft/hive-1.2.1
export ZOOCFGDIR=/usr/local/soft/zookeeper-3.4.6/conf
export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.4.6

[root@master sqoop-1.4.7]# cd bin/
[root@master bin]# ls
configure-sqoop          sqoop-import-all-tables
configure-sqoop.cmd      sqoop-import-mainframe
sqoop                    sqoop-job
sqoop.cmd                sqoop-list-databases
sqoop-codegen            sqoop-list-tables
sqoop-create-hive-table  sqoop-merge
sqoop-eval               sqoop-metastore
sqoop-export             sqoop-version
sqoop-help               start-metastore.sh
sqoop-import             stop-metastore.sh
[root@master bin]# pwd
/usr/local/soft/sqoop-1.4.7/bin
[root@master bin]# vim configure-sqoop

## Moved to be a runtime check in sqoop.
#if [ ! -d "${HCAT_HOME}" ]; then
#  echo "Warning: $HCAT_HOME does not exist! HCatalog jobs will fail."
#  echo 'Please set $HCAT_HOME to the root of your HCatalog installation.'
#fi

#if [ ! -d "${ACCUMULO_HOME}" ]; then
#  echo "Warning: $ACCUMULO_HOME does not exist! Accumulo imports will fail."
#  echo 'Please set $ACCUMULO_HOME to the root of your Accumulo installation.'
#fi

[root@master bin]# sqoop version
22/04/18 16:38:25 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7
Sqoop 1.4.7
git commit id 2328971411f57f0cb683dfb79d19d4d19d185dd8
Compiled by maugli on Thu Dec 21 15:59:58 STD 2017
[root@master bin]# ls
configure-sqoop          sqoop-import-all-tables
configure-sqoop.cmd      sqoop-import-mainframe
sqoop                    sqoop-job
sqoop.cmd                sqoop-list-databases
sqoop-codegen            sqoop-list-tables
sqoop-create-hive-table  sqoop-merge
sqoop-eval               sqoop-metastore
sqoop-export             sqoop-version
sqoop-help               start-metastore.sh
sqoop-import             stop-metastore.sh
[root@master bin]# cd ..
[root@master sqoop-1.4.7]# pwd
/usr/local/soft/sqoop-1.4.7
[root@master sqoop-1.4.7]# ls
bin            ivy          README.txt
build.xml      ivy.xml      sqoop-1.4.7.jar
CHANGELOG.txt  lib          sqoop-patch-review.py
COMPILING.txt  LICENSE.txt  sqoop-test-1.4.7.jar
conf           NOTICE.txt   src
docs           pom-old.xml  testdata
[root@master sqoop-1.4.7]# cd lib/
[root@master lib]# ls
ant-contrib-1.0b3.jar
ant-eclipse-1.0-jvm1.2.jar
avro-1.8.1.jar
avro-mapred-1.8.1-hadoop2.jar
commons-codec-1.4.jar
commons-compress-1.8.1.jar
commons-io-1.4.jar
commons-jexl-2.1.1.jar
commons-lang3-3.4.jar
commons-logging-1.1.1.jar
hsqldb-1.8.0.10.jar
jackson-annotations-2.3.1.jar
jackson-core-2.3.1.jar
jackson-core-asl-1.9.13.jar
jackson-databind-2.3.1.jar
jackson-mapper-asl-1.9.13.jar
kite-data-core-1.1.0.jar
kite-data-hive-1.1.0.jar
kite-data-mapreduce-1.1.0.jar
kite-hadoop-compatibility-1.1.0.jar
opencsv-2.3.jar
paranamer-2.7.jar
parquet-avro-1.6.0.jar
parquet-column-1.6.0.jar
parquet-common-1.6.0.jar
parquet-encoding-1.6.0.jar
parquet-format-2.2.0-rc1.jar
parquet-generator-1.6.0.jar
parquet-hadoop-1.6.0.jar
parquet-jackson-1.6.0.jar
slf4j-api-1.6.1.jar
snappy-java-1.1.1.6.jar
xz-1.5.jar
[root@master lib]# cp /usr/local/soft/hive-1.2.1/lib/mysql-connector-java-5.1.49.jar ./
[root@master lib]# sqoop list-databases -connect jdbc:mysql://master:3306?useSSL=false -username root -password 123456
22/04/18 16:42:22 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7
22/04/18 16:42:22 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
22/04/18 16:42:22 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/local/soft/hadoop-2.7.6/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/local/soft/hbase-1.4.6/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
information_schema
SpringBootDemo16
db1
db2
db3
hive
mysql
performance_schema
sys
[root@master data]# ls
data_skew.txt  score.sql                 testArray
deal_tb.txt    scoreStruct               testArray2.txt
dept.txt       score.txt                 testLieToLine.txt
DIANXIN.csv    students_dt.txt           theZenOfPython.txt
DIANXIN.sql    student.sql               theZen.txt
emp.txt        students.txt              udtfData.txt
new_db.sql     students_year_month.txt   wordcount
new_score.txt  subject.txt               words.txt
scoreMap       ${system:java.io.tmpdir}
[root@master data]# pwd
/usr/local/soft/data
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| SpringBootDemo16   |
| db1                |
| db2                |
| db3                |
| hive               |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
9 rows in set (0.00 sec)

mysql> create database student;
Query OK, 1 row affected (0.01 sec)

mysql> use student;
Database changed
mysql> source /usr/local/soft/data/student.sql;
Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected, 1 warning (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.02 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 1000 rows affected (0.01 sec)
Records: 1000  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected, 1 warning (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.00 sec)

mysql> source /usr/local/soft/data/score.sql;
Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected, 1 warning (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 6000 rows affected (0.03 sec)
Records: 6000  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected, 1 warning (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)
mysql> show tables;
+-------------------+
| Tables_in_student |
+-------------------+
| score             |
| student           |
+-------------------+
2 rows in set (0.00 sec)

mysql> select count(*) from student;
+----------+
| count(*) |
+----------+
|     1000 |
+----------+
1 row in set (0.01 sec)

mysql> select * from student limit 10;
+------------+-----------+------+--------+--------------+
| id         | name      | age  | gender | clazz        |
+------------+-----------+------+--------+--------------+
| 1500100001 | 施笑槐    |   22 | 女     | 文科六班     |
| 1500100002 | 吕金鹏    |   24 | 男     | 文科六班     |
| 1500100003 | 单乐蕊    |   22 | 女     | 理科六班     |
| 1500100004 | 葛德曜    |   24 | 男     | 理科三班     |
| 1500100005 | 宣谷芹    |   22 | 女     | 理科五班     |
| 1500100006 | 边昂雄    |   21 | 男     | 理科二班     |
| 1500100007 | 尚孤风    |   23 | 女     | 文科六班     |
| 1500100008 | 符半双    |   22 | 女     | 理科六班     |
| 1500100009 | 沈德昌    |   21 | 男     | 理科一班     |
| 1500100010 | 羿彦昌    |   23 | 男     | 理科六班     |
+------------+-----------+------+--------+--------------+
10 rows in set (0.00 sec)

mysql> select * from score limit 10;
+------------+------------+-------+
| id         | subject_id | score |
+------------+------------+-------+
| 1500100001 |    1000001 |    98 |
| 1500100001 |    1000002 |     5 |
| 1500100001 |    1000003 |   137 |
| 1500100001 |    1000004 |    29 |
| 1500100001 |    1000005 |    85 |
| 1500100001 |    1000006 |    52 |
| 1500100002 |    1000001 |   139 |
| 1500100002 |    1000002 |   102 |
| 1500100002 |    1000003 |    44 |
| 1500100002 |    1000004 |    18 |
+------------+------------+-------+
10 rows in set (0.01 sec)

小胖超凶哦！
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sqoop的安装和使用
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-30 3405
本实验通过练习sqoop的安装和配置，为学习sqoop准备，并且通过练习将mysql中表的数据导入到HDFS上来对sqoop的使用有一个初步的了解。完成sqoop的安装和配置并且练习将mysql数据库里的数据导入到HDFS中。本次环境是：Ubuntu16.04+ jdk1.8.0_73 + hadoop2.7.3 + sqoop-1.4.6 +mysql-5.7.22解压sqoop安装包然后进行配置后，在sqoop的bin目录下输入命令【】检查是否配置成功。然后在mysql中创建表并添加数据最后导入到HDF
sqoop的环境搭建（超详细）
m0_52725750的博客
03-21 772
sqoop的环境搭建，附上sqoop的tar包
Linux-Hadoop集群之Sqoop搭建（附代码超详细）
最新发布
qq_49513817的博客
03-16 1131
本片文章会详细介绍hadoop中sqoop的作用，历史，学习sqoop。以及教会大家如何在Linux搭建sqoop，以应对不同场所不同需求的集群环境。除此之外，也可以在本文里一起探讨交流，提升能力。
Sqoop 安装配置（超详细）
热门推荐
JIE的博客 --- moon_coder
11-03 1万+
我没有装 HBase 和 Zookeper，所以只指定了 HADOOP 和 Hive 的路径，注意删掉前面的符号。使用 Sqoop 时的一些警告信息真令人头大，我们可以手动去关闭掉这些警告信息。为了后续方便操作 Hive，我们需要将 Hive 的驱动放入 Sqoop 的。拷贝 MySQL 驱动到 Sqoop 中的。至此，我们的 Sqoop 就已经安装完成啦。配置如下，根据自己的集群情况来看。，出现如下版本信息表示安装成功。，否则会被认为是一行注释。选择自己集群合适的版本。瞬间就舒服多了，哈哈哈。
Sqoop 安装部署
m0_72168501的博客
04-07 596
Sqoop 的安装部署
Sqoop集群搭建.
09-21
Sqoop集群搭建.Sqoop集群搭建.Sqoop集群搭建.Sqoop集群搭建.Sqoop集群搭建.Sqoop集群搭建.Sqoop集群搭建.Sqoop集群搭建.Sqoop集群搭建.
Sqoop-linux.zip
08-23
资源包括： sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
Linux搭建Sqoop开发环境
04-24
NULL 博文链接：https://mazhilin.iteye.com/blog/2421559
大数据环境搭建———>Sqoop安装与配置
08-03
大数据环境搭建———>Sqoop安装与配置
大数据平台搭建.xmind
12-26
自己写的一个小的平台搭建的步骤，不喜勿喷，希望可以帮到初学者一点点，自己写的也不容易，希望大家可以拿去，更快的进入Hadoop的学习吧！！！
测试环境搭建整套大数据系统（六：搭建sqoop）
weixin_43446246的博客
02-22 298
【代码】测试环境搭建整套大数据系统（六：搭建sqoop）
【头歌】Sqoop的安装与配置 - 详解
梦想编程家博客
03-30 3840
【主要内容】Sqoop的安装与配置。 【实践内容】Sqoop的安装与配置全过程解析及说明。
Sqoop教程（一）Sqoop环境搭建
Java朱老师博客
05-09 1173
一、上传Sqoop到服务器/apps文件集 二、解压： tar -zxvf /apps/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local 三、建立软连接： ln -s sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop 如图所示： 四、修改环境变量 cd /etc/profile.d/ vi sqoop.sh export SQOOP_HOME=/usr/local/sqoop export PATH=$PATH:$SQOO
三分钟学会Sqoop安装与部署
搞数据
09-11 1792
注解：狗头.jpg 这里解压后的文件名还是原文件名，所以各位小白希望该名称的可以解压后改，这里特地做了一次错误示范，解压前只能改压缩包名称，不能控制解压后文件名称，这里可以再重命名一次。用户可以将数据从结构化存储器抽取到Hadoop中，用于进一步的处理，抽取的数据可以被mapreduce程序使用，也可以被其他类似与Hive、HBase的工具使用。另外，sqoop是关系型数据库与Hadoop的数据交互，故需要配置关系型数据库，这里选择MySQL作为示例。sqoop是一个开源工具，数据搬运工，
Sqoop集群的搭建
背着梦的幸存者
11-21 2085
准备环境   HDFS集群的安装   hbase集群的安装   Hive的安装   Zookeeper的安装   sqoop安装包 操作步骤   1、使用命令tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz解压该安装包。   2、解压后的文件改名。命令：mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop-1.4.7。   2、...
6-linux集群搭建-Sqoop 组件安装
qq_55039130的博客
07-13 177
Sqoop组件的安装配置
Hadoop Sqoop 集群保姆式搭建
一名全栈小白的博客
05-29 340
Hadoop Sqoop 集群保姆式搭建
Sqoop集群环境搭建 | MySQL数据导出HDFS测试
大数据小禅的博客
05-30 869
🚀 作者 ：“大数据小禅” 🚀 简介：详细讲解Sqoop的环境搭建，通过Sqoop将mysql导出到HDFS，附带过程截图。 🚀 安装包获取：获取对应的安装包可以通过最下方公众号联系我备注获取。 1.Sqoop简介 Apache Sqoop是在Hadoop生态体系和*RDBMS体系之间传送数据的一种工具。来自于Apache软件基金会提供。，主要用于在Hadoop(Hive)与传统的数据库间进行数据的传递，可以将一个关系型数据库中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据.
centos大数据集群搭建sqoop
08-12
在CentOS大数据集群中搭建Sqoop的步骤如下： 1. 首先，在master节点上安装Sqoop。进入Sqoop安装包所在目录，执行以下命令解压安装包：<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [分布式大数据集群搭建](https://blog.csdn.net/qq_32425417/article/details/124367499)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值