![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Sqoop
RivenDong
这个作者很懒,什么都没留下…
展开
-
Sqoop的工作机制(一)
文章目录1. 什么是Sqoop2. Sqoop的工作机制2.1 Sqoop的导入机制2.2 Sqoop的导出机制1. 什么是SqoopSqoop是一种用于在Hadoop和结构化数据存储之间高效传输大批量数据的工具。它允许用户将数据从结构化存储器抽取到Hadoop中,用于进一步处理。举个栗子:Sqoop可以从关系型数据库管理系统向Hadoop分布式文件系统中导入数据,可以通过MapReduc...原创 2019-09-26 11:05:14 · 1757 阅读 · 0 评论 -
Sqoop的安装与配置(二)
文章目录1. 下载Sqoop2. 配置Sqoop2.1 配置环境变量2.2 配置sqoop-env.sh文件2.3 导入jar包3. 测试1. 下载Sqoop下载链接:sqoop-1.4.7.bin上传、解压:2. 配置Sqoop2.1 配置环境变量vi /etc/profile配置如下:#sqoopexport SQOOP_HOME=/home/hadoop/softwar...原创 2019-09-26 17:31:16 · 918 阅读 · 0 评论 -
Sqoop将数据导入到HDFS(三)
文章目录1. 前言2. 打开MySQL服务3. 向HDFS中导入数据4. 成果图1. 前言Sqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出,其中主要使用了import和export这两个命令。import命令用来将关系型数据库中的表导入到HDFS或者Hive中,表中的每一行在HDFS中被表示为分开的记录,记录可以被存储为txt文件,或者二进制形式的Avro和Sequen...原创 2019-09-26 22:51:19 · 1606 阅读 · 0 评论 -
Sqoop吐血BUG整理(四)
如果出现以下BUG:19/09/17 08:42:23 ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: AccessError: java.lang.RuntimeException: java.lang.RuntimeException: java.sql.SQLException: nu...原创 2019-09-26 23:02:26 · 1133 阅读 · 0 评论 -
Sqoop将数据导入到Hive(五)
文章目录1. 前言2. 写配置文件3. 执行配置文件4. 查看导入数据1. 前言前面经历各种周折,终于改完BUG了,成功可以将数据导入到HDFS中,导入数据到Hive与之类似。2. 写配置文件内容如下:import--connectjdbc:mysql://master001:3306/test--usernamehadoop1--passwordhadoop--table...原创 2019-09-27 10:23:11 · 1622 阅读 · 0 评论 -
Sqoop向HDFS中导入查询结果(六)
文章目录1. 前言2. 配置文件3. 创建相关数据4. 执行Sqoop5. 查看结果1. 前言除了前面介绍的导入数据的方式之外,Sqoop也支持导入SQL查询的结果集。–query参数指定SQL语句–target-dir参数指定目标文件如果想要并行地导入查询结果,每个Map需要执行一个查询副本,查询必须要有一个$CONDITIONS符号,表示每个Sqoop进程被唯一的条件语句替换,...原创 2019-09-27 11:40:57 · 1163 阅读 · 0 评论 -
Sqoop从HDFS中导出数据(七)
文章目录1. 前言2. 配置文件3. 执行Sqoop4. 查看结果1. 前言数据导出操作可以用export命令,在执行数据导出之前,**数据库中必须已经存在要导入的目标表。**在导出的过程中,HDFS或者Hive上的文件会根据用户指定的分隔符被读取解析并写入到MySQL相应的表中。2. 配置文件创建conf4文件:export--connectjdbc:mysql://master0...原创 2019-09-27 11:58:33 · 1179 阅读 · 0 评论