Sqoop导入mysql数据到HDFS

最新推荐文章于 2022-10-21 14:28:15 发布
VIP文章 最新推荐文章于 2022-10-21 14:28:15 发布
阅读量2.1k 收藏 1
点赞数
分类专栏： 大数据 文章标签： sqoop java 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jbiao5201314/article/details/81590393
版权

Sqoop导入mysql数据到HDFS

打算把mysql中爬虫爬到的数据导入到HDFS中供后续学习kylin以及研究使用，以前导数据经常会自己写一段java脚本去导入，这次打算用sqoop试一试效果

首先看了下mysql的数据量，不到900万条数据，不多不少

从官网下载好sqoop进行安装

http://sqoop.apache.org/docs/1.99.7/admin/Installation.html
中间也经历了一点波折，一个是hadoop的conf文件目录要配置正确
org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/apps/hadoop-2.7.7/etc/hadoop
将mysql connector jar包丢到/apps/sqoop-1.99.7-bin-hadoop200/server/lib目录

启动sqoop
root@hadoop:/apps/sqoop-1.99.7-bin-hadoop200/bin# ./sqoop2-server start
Setting conf dir: /apps/sqoop-1.99.7-bin-hadoop200/bin/../conf
Sqoop home directory: /apps/sqoop-1.99.7-bin-hadoop200
Starting the Sqoop2 server...
0    [main] INFO  org.apache.sqoop.core.SqoopServer  - Initializing Sqoop server.
15   [main] INFO  org.apache.sqoop.core.PropertiesConfigurationProvider  - Starting config file poller thread
Sqoop2 server
最低0.47元/天 解锁文章
蜗牛彪
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2、sqoop导入（RMDB-mysql、sybase到HDFS-hive）
05-29
2、sqoop导入（RMDB-mysql、sybase到HDFS-hive） 网址：https://blog.csdn.net/chenwewi520feng/article/details/130572275 介绍sqoop从关系型数据库mysql、sybase同步到hdfs、hive中
【Hadoop生态圈】10.使用Sqoop迁移MySQL数据到HDFS中
皓亮君的博客
10-29 3071
Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。要使用Sqoop需要JDK并且机器能正常操作Hadoop集群,因为Sqoop底层会将命令换为MapReduce代码,然后将其提交到Hadoop集群中去执行。
Sqoop全量导入mysql表数据到HDFS
m0_63086929的博客
10-21 2422
Sqoop全量导入mysql表数据到HDFS
Sqoop-day02-import-从MySQL中导入数据到hdfs中
weixin_48370579的博客
06-19 1490
import-从MySQL中导入数据到hdfs中 从传统的关系型数据库导入HDFS、HIVE、HBASE...... MySQLToHDFS 编写脚本，保存为MySQLToHDFS.conf sqoop执行脚本有两种方式：第一种方式：直接在命令行窗口中直接输入脚本；第二种方式是将命令封装成一个脚本文件，然后使用另一个命令执行 第一种方式： sqoop import \ --append \...
Sqoop从mysql导入数据至HDFS操作（sqoop初级）
热门推荐
little prince，blue coder
07-22 1万+
  后面文章打算用flume + kafka + SlipStream流处理结合起来做一个黑名单访问实时监测数据案例，所以就不单独介绍每个组件具体的用法了，直接在实战中让大家直观感受下在生产环境中这些组件是如何配套使用的。由于Sqoop比较独立，所以它的实践还是单独拿出来在本篇博文中讲解好了。   MySQL端操作（待导出的数据库） 1、创建用于导出数据用户并赋予权限。 以root用户登...
sqoop 从 MySQL 导入数据到 hdfs 中
我爱奔跑的浮云_的博客
06-21 8028
MYSQL 数据导入到 HDFS sqoop import --connect jdbc:mysql://192.168.66.4:3306/networkmanagement \ --username sendi \ --password 1234 \ --table people \ --columns "name,age" \ --where "age>18" \ --targ...
sqoop导入数据到hdfs路径
11-08
sqoop导入数据到hdfs，所有相关的操作命令均在更改相关地址就行。
解决sqoop2导入hdfs单引号问题
11-26
使用sqoop2从mysql导入hadoop时，导入的数据带单引号。是由于sqoop2的一个bug导致，该包上传到sqoop_home/server/lib替换原来的jar包后，重启sqoop server，即可解决。
实战Sqoop数据导入及大数据用户行为案例分析
02-20
05_Sqoop将MySQL数据导入到HDFS（一） 06_Sqoop将MySQL数据导入到HDFS（二） 07_Sqoop中的增量导入与Sqoop job 08_Sqoop将MySQL数据导入Hive表中 09_Sqoop的导出及脚本中使用的方式 10_案例分析-动态分区的实现 11_...
Sqoop企业级大数据迁移方案全方位实战视频教程
10-21
1.Sqoop导入开发参数详解 2.数据导入分布式文件系统HDFS 3.数据导入数据仓库Hive 4.基于复杂条件实现数据导入 5.基于订单案例实现Increment增量同步数据 6.基于订单案例实现lastModified增量同步导入数据 7....
使用Sqoop1将MySQL 导入数据到 HDFS
zjh_746140129的博客
12-11 2902
本篇文章主要介绍使用Sqoop1将MySQL 导入数据到 HDFS。 说明： 1、Sqoop 与数据库进行通信，获取数据库表的元数据信息  2、Sqoop启动一个Map-Only的MapReduce作业，利用元数据信息并行将数据写入Hadoop 简要步骤： ①、mysql中创建数据库sqoop ②、创建表dept和emp表 ③、插入数据 ④、从mysql导出数据到HDFS ⑤...
Sqoop MySQL 导入到HDFS
LieBrother
04-21 1万+
从MySQL数据库phx中读取tree表到HDFS执行命令：sqoop import --connect jdbc:mysql://node1:3306/phx \--username root --table tree --m 1命令行输出：Warning: /csh/link/sqoop/../hcatalog does not exist! HCatalog jobs will fail. P
使用sqoop工具将数据从mysql数据库导入到HDFS和Hbase
weixin_44961794的博客
06-07 1241
使用Sqoop进行数据导入 配置ssh的免密登录 终端输入：sudo service ssh restart重启ssh服务。 终端输入：sudo service mysql start开启mysql。 配置免密登陆：rm -rf ~/.ssh/再输入ssh-keygen敲三下回车 输入ssh-copy-id user@localhost 输入yes，需要输入passwor...
sqoop增量MySQL_sqoop全量增量数据导入HDFS
weixin_34963576的博客
02-04 338
用到的表，表名t00_test全量导入将sqlserver表导入hdfs：直接导出全表sqoop import --connect 'jdbc:sqlserver://192.168.XXX.XXX:1433;database=Data00' --username aaa --password 123 --table t00_test --fields-terminated-by '\t' -m ...
利用Sqoop将数据从数据库导入到HDFS
轻轻草原
09-21 210
基本使用 如下面这个shell脚本： #Oracle的连接字符串，其中包含了Oracle的地址，SID，和端口号 CONNECTURL=jdbc:oracle:thin:@20.135.60.21:1521:DWRAC2 #使用的用户名 ORACLENAME=kkaa #使用的密码 ORACLEPASSWORD=kkaa123 #需要从Oracle中导入的表名 oralceT...
Mysql--导入数据(本地+HDFS数据入库)
修行的博客
11-10 1010
导入数据 在mysql中建好表后，导入数据的时候使用了2种方法 1）由txt/xlsx/xls文件导入 网上步骤一步一步进行即可，地址链接 https://jingyan.baidu.com/article/48a420571a6f71a9242504fe.html Tips:使用该方法遇到的问题: 1、使用txt文档导入数据时，即使txt文档数据和表字段一一选好，但还是会出现错位的情况，不知为何在他导入的时候会自己重新排插入表字段的顺序，还是会对应不上； 2、使用xlsx/xls导入数据时，字段缺少
从mysql导入数据到hdfs
xinghaifeng2006的专栏
11-07 353
测试sqoop能否成功连接宿主机器上的mysql：     sqoop list-tables --connect jdbc:mysql://机器名或IP:3306/sqoop --username sqoop --password sqoop     从mysql导入数据到Hdfs命令 ：   sqoop import --connect jdbc:mysql://机器名...
sqoop导入mysql 数据到hdfs
最新发布
06-28
### 回答1： sqoop是一个用于在Hadoop和关系型数据库之间传输数据的工具。以下是将MySQL数据导入HDFS的步骤： 1. 首先，需要安装sqoop并配置好MySQL的连接信息。 2. 然后，使用以下命令将MySQL表导入HDFS： sqoop import --connect jdbc:mysql://localhost:3306/mydatabase --username myuser --password mypassword --table mytable --target-dir /myhdfsdir 其中，mydatabase是MySQL数据库名称，myuser和mypassword是MySQL登录用户名和密码，mytable是要导入的MySQL表名，/myhdfsdir是HDFS上的目标目录。 3. 执行命令后，sqoop将会自动创建一个HDFS目录，并将MySQL表的数据导入到该目录中。 4. 如果需要将MySQL表的数据导入到Hive中，可以使用以下命令： sqoop import --connect jdbc:mysql://localhost:3306/mydatabase --username myuser --password mypassword --table mytable --hive-import --hive-table myhivetable 其中，myhivetable是要创建的Hive表名。 5. 执行命令后，sqoop将会自动创建一个Hive表，并将MySQL表的数据导入到该表中。 以上就是使用sqoop将MySQL数据导入HDFS的步骤。 ### 回答2： Sqoop是Hadoop中非常实用的工具集之一，它的主要功能是在Hadoop中进行结构化的数据转移，它有两个核心组件：导入和导出。本文将讨论Sqoop如何将Mysql数据库中的数据导入到Hadoop的分布式文件系统（HDFS）中。 在开始Sqoop导入MySQL数据到HDFS之前，您需要确保已安装好Sqoop以及Hadoop集群和MySQL数据库。如果您没有安装，请首先安装这些工具。 以下是使用Sqoop导入MySQL数据到HDFS的步骤： 1.设置MySQL数据库用户和密码： 在导入数据之前，必须设置MySQL的用户名和密码。可使用以下命令创建一个授权用户： create user 'username'@'localhost' identified by 'password'; grant all privileges on *.* to 'username'@'localhost' with grant option; 2.运行Sqoop： 启动Sqoop的命令如下： sqoop-import --connect jdbc:mysql://localhost:3306/test --username username --password password --table tablename --target-dir /path/to/hdfs/directory -m 1 其中，--connect是指定数据库的连接URL，--username和--password是指定数据库的用户名和密码，--table是指定要导入的表名称，--target-dir是指定将数据导入到的HDFS目录，-m是指定使用的MapReduce任务的数量。 3.执行导入任务： 在运行Sqoop命令后，Sqoop将执行导入任务，并将MySQL数据库中的数据导入到HDFS目录中。您可以使用以下命令来查看导入的数据： hadoop fs -cat /path/to/hdfs/directory/part-m-00000 在本文中，我们介绍了如何使用Sqoop将MySQL数据库中的数据导入到HDFS中。Sqoop是Hadoop生态系统中非常实用的工具，可以帮助用户快速地从各种数据源中导入结构化数据，并将其转换为Hadoop所需的格式。无论您是在进行数据分析、数据挖掘还是其他用途，都可以使用Sqoop来实现您的需求。 ### 回答3： Sqoop是一个用于在Apache Hadoop和关系型数据库之间传输数据的工具，可以将关系型数据库中的数据导入到Hadoop分布式文件系统（HDFS）中或将HDFS中的数据导出到关系型数据库中。 对于将MySQL数据导入到HDFS中的流程，首先需要安装好Sqoop和MySQL数据库，并保证它们可以正常工作。接下来，可以按照下面的步骤进行操作： 1. 首先，需要创建一个导入任务，可以使用Sqoop Import语法来创建任务。例如，sqoop import -connect jdbc:mysql://localhost/test -username root -password xxxx -table students -target-dir /user/hadoop/students可以将MySQL的students表中的数据导入到HDFS中的/user/hadoop/students目录中。 2. 在运行Sqoop之前，还需要确保在Hadoop集群中创建了目标目录。可以使用以下命令创建目录：hadoop fs -mkdir /user/hadoop/students。 3. 接下来，运行Sqoop命令以从MySQL数据库中提取数据并将其写入HDFS中的目标目录。在这个过程中，Sqoop会使用Java数据库连接（JDBC）来读取MySQL数据并将其转换为适合HDFS存储的格式。 4. Sqoop还可以支持将数据进行压缩并将其导入到HDFS中。根据需要，可以使用如下命令实现数据压缩：sqoop import -connect jdbc:mysql://localhost/test -username root -password xxxx -table students --compression-codec org.apache.hadoop.io.compress.GzipCodec -m 1 --target-dir /user/hadoop/students/gzip。 5. 最后，可以使用HDFS命令hadoop fs -ls /user/hadoop/students来验证数据已经成功导入HDFS中。 总之，使用Sqoop将MySQL数据导入到HDFS中的过程比较简单，只需要遵循上述步骤即可。使用Sqoop可以大大简化数据传输的过程，并且支持许多可配置选项，以便根据数据的不同需要进行灵活的设置。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值