Sqoop的导入和导出

最新推荐文章于 2023-07-30 07:15:07 发布
最新推荐文章于 2023-07-30 07:15:07 发布
阅读量338 收藏 1
点赞数
分类专栏： 从零开始Hadoop Hadoop 文章标签： Hadoop Sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xxydzyr/article/details/100975661
版权
这篇博客详细介绍了如何使用Sqoop将MySQL的数据导入到HDFS和Hive，包括导入表的子集和增量导入。同时，也讨论了如何从HDFS导出数据到MySQL，强调了在导出前需要在MySQL中预先创建表。
摘要由CSDN通过智能技术生成

Sqoop的导入和导出

博客资源：

MySQL创建测试表和数据，Sqoop相关练习脚本：

链接：https://pan.baidu.com/s/1M_Zr3-cJNJMZQHhUA3XZKQ
提取码：csgw

导入

将MySQL的数据导入到hdfs

本地连接node-1上的数据库：

使用SQLyog连接

[外链图片转存失败(img-tkNF0JbA-1568774625614)(D:\学习笔记\Sqoop\上传图片\上传下载数据\00创建连接.jpg)]

先新建一个测试数据库，名为：userdb

[外链图片转存失败(img-qzP3i8hk-1568774625616)(D:\学习笔记\Sqoop\上传图片\上传下载数据\01创建新数据库.jpg)]

先在本地使用之前安装好的sqlyang连接node-1 的MySQL，创建好测试数据。

[外链图片转存失败(img-cxvulDdn-1568774625616)(D:\学习笔记\Sqoop\上传图片\上传下载数据\02导入相关脚本.jpg)]

使用命令将emp表的数据导入到hdfs上

bin/sqoop import \								# 启动导入名利
--connect jdbc:mysql://node-1:3306/sqoopdb \	# 连接串
--username root \								# MySQL的用户名
--password hadoop \								# MySQL的密码
--target-dir /sqoopresult \
最低0.47元/天 解锁文章
xxydzyr
关注
专栏目录
Sqoop导入导出原理与代码实例讲解
程序员光剑
06-02 747
Sqoop导入导出原理与代码实例讲解 1. 背景介绍 1.1 大数据时代的数据交换需求 在大数据时代,数据已经成为企业的核心资产之一。企业需要从各种异构数据源中获取数据,并将这些数据导入到大数据平台中进行分析和处理。同时,处理
sqoop详细导入导出数据步骤
zp17834994071的博客
07-24 7937
前面已经给大家讲过sqoop的安装，如果还没有安装的可以再去看看详细安装流程： sqoop详细安装与环境配置 sqoop的作用前面也说过主要用于做数据迁移，它用于从关系数据库（如MySQL，Oracle）导入数据到Hadoop HDFS，并从Hadoop文件系统导出到关系数据库的互相导入。 Sqoop功能 将关系型数据库数据导入HDFS，解决HDFS的数据来源问题，使数据能够方便地进入HDFS。 支持HDFS数据导出到关系型数据库，Hadoop计算出的数据可以方便地写回到数据库中。 支持关系型数据库直接将
sqoop数据的导入和导出
Yukaola的博客
04-10 627
一、sqoop使用导入 1、链接MySQL，查看有哪些表，换行语句必须有（空格+\） bin/sqoop list-databases \ --connect jdbc:mysql://hadoop-senior.ibeifeng.com:3306 \ --username root \ --password 123456 2、导入数据到HDFS 在MySQL创建一张表，并准备一些数据 ...
Sqoop的数据导入与导出
feizuiku0116的博客
10-27 328
一、导入数据库表数据到HDFS 从MySQL数据库服务器中的emp表导入HDFS。 注意，mysql地址必须为服务器IP，不能是localhost或者机器名。/usr/bin/sqoop import \ --connect jdbc:mysql://192.168.88.80:3306/test \ --password 123456 \ --username root \ --table emp \ --m 1 二、导入到HDFS指定目录 /usr/bin/sqoop import \ --co
详解：Sqoop的导入和导出数据
qq_43688472的博客
07-01 1598
一：导入数据 导入：RDBMS ==> Hadoop [hadoop@hadoop001 bin]$ pwd /home/hadoop/app/sqoop-1.4.6-cdh5.7.0/bin [hadoop@hadoop001 bin]$ sqoop help import Import a table from a database to HDFS [hado...
Sqoop安装和导入导出
lemon
01-14 1577
Sqoop安装和导入导出 一，介绍 ​ Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库*（例如 ： MySQL ,Oracle ,Postgres等）*中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 版本：(两个版本完全不兼容，sq...
sqoop的导入导出使用(详情步骤)
weixin_62369128的博客
06-27 2757
sqoop的导入与导出功能（import、export）。
Sqoop导入与导出数据
m0_51691291的博客
12-06 5130
1、Sqoop部署 基础环境：hadoop完全分布式集群、hive、zookeeper、hbase 1.1、下载安装包 官网下载安装包：官网链接地址 将下载好的安装包上传至Linux，解压并修改名称 1.2、修改配置文件 进入Sqoop的conf目录下 复制文件并重命名 cp sqoop-env-template.sh sqoop-env.sh 修改sqoop-env.sh文件，并添加如下内容，具体路径应灵活修改 export HADOOP_COMMON_HOME=/usr/local/soft/hado
SQOOP导入和导出参数.pdf
08-05
### SQOOP 导入与导出参数详解 #### 一、概述 SQOOP（SQL to Hadoop）是一款开源工具，主要用于在Hadoop和关系型数据库之间进行数据的迁移。它通过JDBC连接到关系型数据库，并利用MapReduce作业进行高效的大规模...
Sqoop 导入导出 Null 存储一致性问题
JustinMars的博客
07-30 466
sqoop面试技巧
Sqoop导入导出命令详细介绍
最新发布
互联网知识分享
07-30 758
-delete-target-dir：如果目标目录已经存在，是否删除原有的数据。--export-dir：指定要导出的数据所在的目录。--connect：指定数据库的JDBC连接字符串。--target-dir：指定导入的数据存放的目录。--num-mappers：指定导入任务的并发度。--num-mappers：指定导出任务的并发度。--username：指定数据库的用户名。--username：指定数据库的用户名。--password：指定数据库的密码。--password：指定数据库的密码。
sqoop数据导入与数据导出
sun_shang的博客
09-29 1134
sqoop Sqoop is a tool designed to transfer data between Hadoop andrelational databases. You can use Sqoop to import data from a relationaldatabase management system (RDBMS) such as MySQL or Oracle in
Sqoop知识点（二） --Sqoop导入导出
qq_38633279的博客
07-31 320
1.Sqoop应用场合 2.Sqoop应用 cd app/sqoop sqoop help sqoop command [args] #sqoop的使用 使用sqoop help #就可以看见command中都有哪些 使用sqoop help command #就可以看见command里面的参数 如：sqoop help sqoop help export #查看export这个命令的参数的使用 2.1 查看数据库(l
sqoop的导入导出
月牙儿
01-12 331
一．SQOOP的导入 首先在MySQL中使用下面的命令创建测试用的数据库和表，同时为表插入数据 create database testdb; use testdb;   create table user( id int not null auto_increment, account varchar(10) default null, password varchar(10
Sqoop配置导入和导出使用(超级详细)
互联网知识分享
05-11 886
在Sqoop中，“导入”概念指：从非大数据集群（RDBMS:关系数据库管理系统）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。）在Sqoop中，“导出”概念指：从大数据集群（HDFS，HIVE，HBASE）向非大数据集（RDBMS）中传输数据，叫做：导出，即使用export关键字。如果query后使用的是双引号，则$CONDITIONS前必须加转移符，防止shell识别为自己的变量，最好使用单引号。如果导出的时候出现乱码，可以进行临时装换。
Sqoop 导数据到HDFS, 用Spark SQL进行查询
qingwei201314的专栏
06-08 414
1.启动HDFS: cd/usr/local/hadoop-2.7.7/sbin ./start-dfs.sh 2.启动Yarn: cd cd/usr/local/hadoop-2.7.7/sbin ./start-yarn.sh 3.启动Spark: /usr/local/spark-2.3.3-bin-hadoop2.7/sbin ./start-master.sh -h 192.168.96.12 ./start-slave.sh spark://192.168.96.128:70...
Sqoop导入与导出详解：从RDBMS到Hadoop
Sqoop export 用于从Hadoop到关系型数据库导出数据，但本文档并未详细介绍这部分内容。整体而言，学习和掌握Sqoop的关键在于理解其工作原理，熟悉命令行参数，以及如何根据实际需求灵活配置和使用，以便高效地在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值