大数据(八) - Sqoop

最新推荐文章于 2023-12-25 15:58:42 发布
VIP文章 最新推荐文章于 2023-12-25 15:58:42 发布
阅读量2.2k 收藏 2
点赞数
分类专栏： 大数据 文章标签： 大数据 hadoop 生态系统 sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/matthewei6/article/details/50534566
版权
Sqoop是什么
         Sqoop：SQL-to-Hadoop
        连接 传统关系型数据库 和 Hadoop 的桥梁
                把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS HBase 和 Hive) 中；
                把数据从 Hadoop 系统里抽取并导出到关系型数据库里。
        利用MapReduce加快数据传输速度 ： 将数据同步问题转
最低0.47元/天 解锁文章
will的成长之路
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据平台-Sqoop培训.pdf
03-03
大数据平台-Sqoop培训.pdf
大数据实践-sqoop数据导入导出.doc
04-17
实践报告
大数据-sqoop.pptx
12-24
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(Mysql、Postgresql...)间进行数据的传递，可以将一个关系 型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速 的迭代开发，Sqoop独立成为一个Apache项目。目前主要有Sqoop1 和 Sqoop2 两大版本。 Sqoop简介 大数据-sqoop全文共16页，当前为第1页。 Sqoop1 和 Sqoop2 结构图。左图是Sqoop1 架构，右图是Sqoop2 架构 Sqoop架构图 大数据-sqoop全文共16页，当前为第2页。 Sqoop版本区别 Sqoop1与Sqoop2优缺点比较。 优点比较： Sqoop1的优点——架构部署简单。 Sqoop2的优点——多种交互方式，命令行，web UI，rest API，conncetor集中化管理，所有的链接安装在Sqoop server上，完善权限管理机制，connector规范化，仅仅负责数据的读写。 缺点比较： Sqoop1的缺点——命令行方式容易出错，格式紧耦合，无法支持所有数据类型，安全机制不够完善，例如密码暴漏， 安装需要root权限，connector必须符合JDBC模型 。 Sqoop2的缺点——架构稍复杂，配置部署更繁琐。 大数据-sqoop全文共16页，当前为第3页。 Sqoop2和Sqoop1的功能性对比 Sqoop的版本区别 功能 Sqoop1 Sqoop2 用于所有主要 RDBMS 的连接器 支持 不支持解决办法： 使用已在以下数据库上执行测试的通用 JDBC 连接器： Microsoft SQL Server 、 PostgreSQL 、 MySQL 和 Oracle 。 此连接器应在任何其它符合 JDBC 要求的数据库上运行。但是，性能可能无法与 Sqoop 中的专用连接器相比 Kerberos 安全集成 支持 不支持 数据从 RDBMS 传输至 Hive 或 HBase 支持 不支持解决办法： 按照此两步方法操作。 将数据从 RDBMS 导入 HDFS 在 Hive 中使用相应的工具和命令（例如 LOAD DATA 语句），手动将数据载入 Hive 或 Hbase 大数据-sqoop全文共16页，当前为第4页。 Sqoop版本区别 功能 Sqoop1 Sqoop2 数据从 Hive 或 HBase 传输至 RDBMS 不支持解决办法： 按照此两步方法操作。 从 Hive 或 HBase 将数据提取至 HDFS （作为文本或 Avro 文件） 使用 Sqoop 将上一步的输出导出至 RDBMS 不支持按照与 Sqoop 1 相同的解决方法操作 大数据-sqoop全文共16页，当前为第5页。 Sqoop的用途 Sqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出，其中主要使用了import和export这两个工具。 这两个工具非常强大，提供了很多选项帮助我们完成数据的迁移和同步。比如，下面两个潜在的需求： 1、业务数据存放在关系数据库中，如果数据量达到一定规模后需要对其进行分析或统计，单纯使用关系数据 库可能会成为瓶颈，这时可以将数据从业务数据库数据导入（import）到Hadoop平台进行离线分析。 2、对大规模的数据在Hadoop平台上进行分析以后，可能需要将结果同步到关系数据库中作为业务的辅助数据， 这时候需要将Hadoop平台分析后的数据导出（export）到关系数据库。 大数据-sqoop全文共16页，当前为第6页。 提纲 1 sqoop简介 2 sqoop安装 3 sqoop数据操作 大数据-sqoop全文共16页，当前为第7页。 环境软件准备： 1：Centos 6.8虚拟机 2：含有导入数据的Mysql数据库 3：Sqoop 安装包 下载地址： https://mirrors.cnnic.cn/apache/sqoop/ Sqoop安装 大数据-sqoop全文共16页，当前为第8页。 配置环境变量加入Sqoop的安装路径: 1、进入存放sqoop-1.4.7.tar.gz安装的目录执行下面的命令 sudo tar -zxvf /home/thinkgamer/下载/sqoop-1.4.7.tar.gz –C sudo mv sqoop-1.4.7/ sqoop 2、编辑/etc/profile文件，声明Sqoop的home路径和在path加入bin的路径： vi /etc/profile 在文件最底部添
多应用或多jvm并发使用sqoop导致数据未存入问题
hanyu332的专栏
04-11 2184
因为sqoop使用的是hsqldb内存级数据库，多个jvm使用的情况下数据会被覆盖，sqoop的bin目录下有sqoop-metastore脚本，可以启动hsqldb的服务端，多个jvm连接这个服务端就可以保证数据一致了
sqoop使用中遇到的一些问题
HelloWowofei的博客
06-25 163
场景1：如Sqoop在导出到Mysql时，使用4个Map任务，过程中有2个任务失败，那此时MySQL中存储了另外两个Map任务导入的数据，此时老板正好看到了这个报表数据。而开发工程师发现任务失败后，会调试问题并最终将全部数据正确的导入MySQL，那后面老板再次看报表数据，发现本次看到的数据与之前的不一致，这在生产环境是不允许的。Hive中的Null在底层是以“\N”来存储，而MySQL中的Null在底层就是Null，为了保证数据两端的一致性。取决于数据量（11:11，6:18等活动在1个小时左右）。
Sqoop并发控制及相关问题
shengpli′s blog
03-20 1097
一、控制参数 Sqoop 可以通过以下参数控制并发读取的 Mapper 个数加快读取速度。 sqoop import -m <mapper_num> --split-by pk 或者 sqoop import --num-mappers <mapper_num> --split-by pk Sqoop 计算每个 Mapper 读取的数据范围的时候，会遵循很简单的公式计算...
datax介绍
leveretz的博客
09-02 969
原文地址：https://blog.csdn.net/binggetong/article/details/82707321 1.DataX 1.1介绍 DataX 是阿里巴巴集团内被广泛使用的异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、MaxCompute(原ODPS)、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为
Sqoop全量数据导入、增量数据导入、并发导入
ChengYanan的博客
04-26 1134
Sqoop支持两种方式的全量数据导入和增量数据导入，同时可以指定数据是否以并发形式导入。下面依次来看： 全量数据导入 全量数据导入就是一次性将所有需要导入的数据，从关系型数据库一次性地导入到Hadoop中（可以是HDFS、Hive等）。全量导入形式使用场景为一次性离线分析场景。用sqoop import命令，具体如下： ### 全量数据导入 sqoop import \ --connect jd...
Sqoop碎碎念
急速虫子
06-19 834
Sqoop是一个etl工具，是sql to hadoop的缩写。即将关系型数据库数据导入hadoop中。可以用sqoop来创建hive表和导数据，实际上也是在hdfs中创建目录和将数据存储在hdfs中。 1.Sqoop基本命令     @see url 2.mysql导入hive  --hive-database qianyang #指定hive数据库     @see link...
Sqoop 的优势
weixin_33845881的博客
03-17 1322
    　　1、sqoop可以高效的可控的利用资源，比如它可以通过调整任务数，来控制任务的并发度，另外还可以配置数据库的访问时间等等 　　2、sqoop能自动的完成数据类型的映射与转换 　　3、它支持多种数据库，比如mysql oracle，postgresql...
大数据教程-Sqoop安装与使用实录.pdf
07-26
大数据教程-Sqoop安装与使用实录，详细细节安装、部署步骤
大数据技术基础实验报告-sqoop的安装配置与应用.doc
08-21
大数据技术基础实验报告-sqoop的安装配置与应用
大数据常用技术介绍-Sqoop、Flume、Kafka、MapReduce、Hive、Spark、Strom、Beam等
chechelove886的专栏
02-20 2119
数据采集传输主要技术 分为两类，一类是离线批处理、另一类是实时数据采集和传输 离线批处理最有名的是Sqoop、实时数据采集和传输最为常用的是Flume和Kafka Sqoop：一款开源的离线数据传输工具，主要用于Hadoop（Hive）与传统数据库（Mysql、Oracle）之间数据传递。 Flume：实时日志采集平台，一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。 Kaf...
Sqoop全量数据导入、增量数据导入、并发导入 （Sqoop进阶）
热门推荐
little prince，blue coder
07-17 3万+
Sqoop支持两种方式的全量数据导入和增量数据导入，同时可以指定数据是否以并发形式导入。下面依次来看： 全量数据导入 就像名字起的那样，全量数据导入就是一次性将所有需要导入的数据，从关系型数据库一次性地导入到Hadoop中（可以是HDFS、Hive等）。全量导入形式使用场景为一次性离线分析场景。用sqoop import命令，具体如下： # 全量数据导入 sqoop import...
大数据开发之Sqoop详细介绍
最新发布
州仔
12-25 483
Apache Sqoop（SQL-to-Hadoop）项目旨在协助RDBMS与Hadoop之间进行高效的大数据交流。用户可以在 Sqoop 的帮助下，轻松地把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)中；同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库里。Sqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具，结构化数据可以是MySQL、Oracle等RDBMS。
Sqoop的作用是什么？
全栈开发
04-23 1034
Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目。将一个关系型数据库（for example ：MySQL，Oracle ,Postgre等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。sqoop是一款开源的工具，主要用于在hadoop（Hive）与传统的数据库（mysql、postgresql…）间进行数据的传递，可以。
数据采集工具：Flume和sqoop
程序员小菜鸡Cjp的博客
06-15 705
1.flume 1.1.功能： 实时采集分布式数据流 1.2.应用 采集实时文件和网络数据流 1.3. flume的基本组成：Agent（source->channel->sink） 一个Agent就是一个Flume程序 1.3.1 source（采集）： 数据监听，新数据一产生就立即采集，并且将每一行数据封装成一个Event对象发给channel 注：Event:数据流传输时最小的封装单元，每行数据封装成一个Event 常用source分类： 1.exec source 作用：
【大数据入门核心技术-Sqoop】（一）Sqoop简介
12-10 517
Sqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具，结构化数据可以是MySQL、Oracle等RDBMS。Sqoop底层用MapReduce程序实现抽取、转换、加载，MapReduce天生的特性保证了并行化和高容错率，而且相比Kettle等传统ETL工具，任务跑在Hadoop集群上，减少了ETL服务器资源的使用情况。在特定场景下，抽取过程会有很大的性能提升。如果要用Sqoop，必须正确安装并配置Hadoop，因依赖于本地的Hadoop环境启动MR程序；
大数据(三) - YARN
will的成长之路
01-14 1万+
YARN是资源管理系统，理论上支持多种资源，目前支持CPU和内存两种资源 YARN产生背景     直接源于MRv1在几个方面的缺陷             扩展性受限             单点故障             难以支持MR之外的计算     多计算框架各自为战，数据共享困难             MR：离线计算框架             Storm：实
centos大数据集群搭建sqoop
08-12
在CentOS大数据集群中搭建Sqoop的步骤如下： 1. 首先，在master节点上安装Sqoop。进入Sqoop安装包所在目录，执行以下命令解压安装包：<span class="em">1</span><span class="em">2</span><span class="em">3 #### ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值