Sqoop Import HDFS

最新推荐文章于 2024-03-05 21:17:41 发布
最新推荐文章于 2024-03-05 21:17:41 发布
阅读量762 收藏
点赞数 1
分类专栏： Sqoop 文章标签： Sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/py_123456/article/details/80763232
版权

Sqoop import应用场景——密码访问

　注：测试用表为本地数据库中的表
这里写图片描述

1.明码访问

sqoop list-databases \
 --connect jdbc:mysql://202.193.60.117/dataweb \
 --username root \
 --password 20134997

2.交互式密码

sqoop list-databases \
--connect jdbc:mysql://202.193.60.117/dataweb \
 --username root \
 --P

这里写图片描述

3.文件授权密码

sqoop list-databases \
 --connect jdbc:mysql://202.193.60.117/dataweb \
 --username root \
 --password-file /usr/hadoop/.password

　　在运行之前先要在指定路径下创建.password文件。

[hadoop@centpy ~]$ cd /usr/hadoop/
[hadoop@centpy hadoop]$ ls
flume  hadoop-2.6.0  sqoop
[hadoop@centpy hadoop]$ echo -n "20134997" > .password
[hadoop@centpy hadoop]$ ls -a
.  ..  flume  hadoop-2.6.0  .password  sqoop
[hadoop@centpy hadoop]$ more .password 
20134997
[hadoop@centpy hadoop]$ chmod 400 .password //根据官方文档说明赋予400权限

　　测试运行之后一定会报以下错误：

18/06/21 16:12:48 WARN tool.BaseSqoopTool: Failed to load password file
java.io.IOException: The provided password file /usr/hadoop/.password does not exist!
    at org.apache.sqoop.util.password.FilePasswordLoader.verifyPath(FilePasswordLoader.java:51)
    at org.apache.sqoop.util.password.FilePasswordLoader.loadPassword(FilePasswordLoader.java:85)
    at org.apache.sqoop.util.CredentialsUtil.fetchPasswordFromLoader(CredentialsUtil.java:81)
    at org.apache.sqoop.util.CredentialsUtil.fetchPassword(CredentialsUtil.java:66)
    at org.apache.sqoop.tool.BaseSqoopTool.applyCredentialsOptions(BaseSqoopTool.java:1040)
    at org.apache.sqoop.tool.BaseSqoopTool.applyCommonOptions(BaseSqoopTool.java:995)
    at org.apache.sqoop.tool.ListDatabasesTool.applyOptions(ListDatabasesTool.java:76)
    at org.apache.sqoop.tool.SqoopTool.parseArguments(SqoopTool.java:435)
    at org.apache.sqoop.Sqoop.run(Sqoop.java:131)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
    at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:179)
    at org.apache.sqoop.Sqoop.runTool(Sqoop.java:218)
    at org.apache.sqoop.Sqoop.runTool(Sqoop.java:227)
    at org.apache.sqoop.Sqoop.main(Sqoop.java:236)
Error while loading password file: The provided password file /usr/hadoop/.password does not exist!

　　为了解决该错误，我们需要将.password文件放到HDFS上面去，这样就能找到该文件了。

[hadoop@centpy hadoop]$ hdfs dfs -ls /
Found 12 items
drwxr-xr-x   - Zimo   supergroup          0 2018-05-12 10:57 /actor
drwxr-xr-x   - Zimo   supergroup          0 2018-05-08 16:51 /counter
drwxr-xr-x   - hadoop supergroup          0 2018-06-19 15:55 /flume
drwxr-xr-x   - hadoop hadoop              0 2018-04-14 14:20 /hdfsOutput
drwxr-xr-x   - Zimo   supergroup          0 2018-05-12 15:01 /join
drwxr-xr-x   - hadoop supergroup          0 2018-04-25 10:43 /maven
drwxr-xr-x   - Zimo   supergroup          0 2018-05-09 09:32 /mergeSmallFiles
drwxrwxrwx   - hadoop supergroup          0 2018-04-13 22:10 /phone
drwxr-xr-x   - hadoop hadoop              0 2018-04-14 14:43 /test
drwx------   - hadoop hadoop              0 2018-04-13 22:10 /tmp
drwxr-xr-x   - hadoop hadoop              0 2018-04-14 14:34 /weather
drwxr-xr-x   - hadoop hadoop              0 2018-05-07 10:44 /weibo
[hadoop@centpy hadoop]$ hdfs dfs -mkdir -p /user/hadoop
[hadoop@centpy hadoop]$ hdfs dfs -put .password /user/hadoop
[hadoop@centpy hadoop]$ hdfs dfs -chmod 400 /user/hadoop/.password

　　现在测试运行一下，注意路径改为HDFS上的/user/hadoop。

[hadoop@centpy hadoop-2.6.0]$ sqoop list-databases  --connect jdbc:mysql://202.193.60.117/dataweb  --username root  --password-file /user/hadoop/.password
Warning: /usr/hadoop/sqoop/../hbase does not exist! HBase imports will fail.
Please set $HBASE_HOME to the root of your HBase installation.
Warning: /usr/hadoop/sqoop/../hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT_HOME to the root of your HCatalog installation.
Warning: /usr/hadoop/sqoop/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
Warning: /usr/hadoop/sqoop/../zookeeper does not exist! Accumulo imports will fail.
Please set $ZOOKEEPER_HOME to the root of your Zookeeper installation.
18/06/21 16:22:12 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6
18/06/21 16:22:14 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
information_schema
dataweb
mysql
performance_schema
test

　　可以看到成功了。

Sqoop import应用场景——导入全表

1.不指定目录

sqoop import \
 --connect jdbc:mysql://202.193.60.117/dataweb \
 --username root \
 --password-file /user/hadoop/.password \
 --table user_info

　运行过程如下

18/06/21 16:36:20 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
18/06/21 16:36:24 INFO db.DBInputFormat: Using read commited transaction isolation
18/06/21 16:36:24 INFO db.DataDrivenDBInputFormat: BoundingValsQuery: SELECT MIN(`id`), MAX(`id`) FROM `user_info`
18/06/21 16:36:25 INFO mapreduce.JobSubmitter: number of splits:3
18/06/21 16:36:25 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1529567189245_0001
18/06/21 16:36:26 INFO impl.YarnClientImpl: Submitted application application_1529567189245_0001
18/06/21 16:36:27 INFO mapreduce.Job: The url to track the job: http://centpy:8088/proxy/application_1529567189245_0001/
18/06/21 16:36:27 INFO mapreduce.Job: Running job: job_1529567189245_0001
18/06/21 16:36:45 INFO mapreduce.Job: Job job_1529567189245_0001 running in uber mode : false
18/06/21 16:36:45 INFO mapreduce.Job:  map 0% reduce 0%
18/06/21 16:37:11 INFO mapreduce.Job:  map 33% reduce 0%
18/06/21 16:37:12 INFO mapreduce.Job:  map 67% reduce 0%
18/06/21 16:37:13 INFO mapreduce.Job:  map 100% reduce 0%
18/06/21 16:37:14 INFO mapreduce.Job: Job job_1529567189245_0001 completed successfully
18/06/21 16:37:14 INFO mapreduce.Job: Counters: 30
    File System Counters
        FILE: Number of bytes read=0
        FILE: Number of bytes written=371994
        FILE: Number of read operations=0
        FILE: Number of large read operations=0
        FILE: Number of write operations=0
        HDFS: Number of bytes read=295
        HDFS: Number of bytes written=44
        HDFS: Number of read operations=12
        HDFS: Number of large read operations=0
        HDFS: Number of write operations=6
    Job Counters 
        Launched map tasks=3
        Other local map tasks=3
        Total time spent by all maps in occupied slots (ms)=70339
        Total time spent by all reduces in occupied slots (ms)=0
        Total time spent by all map tasks (ms)=70339
        Total vcore-seconds taken by all map tasks=70339
        Total megabyte-seconds taken by all map tasks=72027136
    Map-Reduce Framework
        Map input records=3
        Map output records=3
        Input split bytes=295
        Spilled Records=0
        Failed Shuffles=0
        Merged Map outputs=0
        GC time elapsed (ms)=2162
        CPU time spent (ms)=3930
        Physical memory (bytes) snapshot=303173632
        Virtual memory (bytes) snapshot=6191120384
        Total committed heap usage (bytes)=85327872
    File Input Format Counters 
        Bytes Read=0
    File Output Format Counters 
        Bytes Written=44
18/06/21 16:37:14 INFO mapreduce.ImportJobBase: Transferred 44 bytes in 54.3141 seconds (0.8101 bytes/sec)
18/06/21 16:37:14 INFO mapreduce.ImportJobBase: Retrieved 3 records.

　　再查看一下HDFS下的运行结果

这里写图片描述

[hadoop@centpy hadoop-2.6.0]$ hdfs dfs -cat /user/hadoop/user_info/part-m-*
1,admin,123,1
2,hello,456,0
3,hahaha,haha,0

　　运行结果和数据库内容匹配。

以上就是博主为大家介绍的这一板块的主要内容，这都是博主自己的学习过程，希望能给大家带来一定的指导作用，有用的还望大家点个支持，如果对你没用也望包涵，有错误烦请指出。如有期待可关注博主以第一时间获取更新哦，谢谢！

努力的凹凸曼
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sqoop-orc-import
05-06
在Sqoop import的方法中，增加生成ORC File格式的命令. Build 源码取自于 使用ant build Usage 在import命令中，增加: --as-orcdatafile Examples sqoop import -D hadoop.job.history.user.location=none --connect...
Sqoop全量导入mysql表数据到HDFS
m0_63086929的博客
10-21 2441
Sqoop全量导入mysql表数据到HDFS
【Hadoop】通过Sqoop实现从MySQL导入数据到HDFS
你不来，再美的天地，都狼藉 ~
05-11 5609
一文带你了解MySQL通过Sqoop导入数据到Hdfs的详细过程。
sqoop-import 详解
最新发布
zcs2312852665的博客
03-05 1098
本文介绍了Sqoop工具的基本概念、使用方法和常见参数，以及Sqoop与HCatalog的集成。Sqoop是一个用于在Hadoop和关系型数据库之间传输数据的工具，可以方便地将关系型数据库中的数据导入到Hadoop生态系统中的HDFS或Hive中。通过Sqoop的导入功能，用户可以选择全表导入或增量导入模式，并可以使用各种参数来控制导入的行为。此外，本文还介绍了Sqoop与HCatalog的集成，HCatalog是Hadoop生态系统中的一个表和存储管理服务，可以为Sqoop提供更多的数据处理和管理功能。
sqoop 数据导入HDFS
weixin_46602525的博客
07-16 3604
Sqoop sqoop是把关系型数据库数据和HDFS互导的工具,以HDFS为中心，导入到HDFS用import，从HDFS导出用export 实例分析 Sqoop数据导入到HDFS 查看所有库的命令 sqoop list-databases --connect jdbc:mysql://dt100:3306 -username root -password 123123 查看某个库的表的命令 sqoop list-tables --connect jdbc:mysql://dt100:3306/b
Sqoop-day02-import-从MySQL中导入数据到hdfs中
weixin_48370579的博客
06-19 1494
import-从MySQL中导入数据到hdfs中 从传统的关系型数据库导入HDFS、HIVE、HBASE...... MySQLToHDFS 编写脚本，保存为MySQLToHDFS.conf sqoop执行脚本有两种方式：第一种方式：直接在命令行窗口中直接输入脚本；第二种方式是将命令封装成一个脚本文件，然后使用另一个命令执行 第一种方式： sqoop import \ --append \...
Sqoop同步数据命令
01-07
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以使用Sqoop将数据从MySQL或Oracle等关系数据库管理系统（RDBMS）导入Hadoop分布式文件系统（HDFS），在Hadoop MapReduce中转换数据，然后将数据...
大数据开发中的Sqoop学习笔记(自己整理版).pdf
07-05
import 相关命令的操作；创建数据表，并导入数据； 展示数据库sqoop中所有表；将MySQL数据导入到hdfs（全部导入和部分导入相关操作）； 将MySQL数据导入到Hive；增量导入数据（包括：全量导入&增量导入）；增量导入...
大数据-sqoop.pptx
12-24
Sqoop的用途 Sqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出，其中主要使用了import和export这两个工具。 这两个工具非常强大，提供了很多选项帮助我们完成数据的迁移和同步。比如，下面两个潜在的需求...
sqoop-spark-hive:MYSQL | SQOOP | 火花| HIVE工作流程
04-27
sqoop job for loda data to hdfs from mysql "retail_db" databasesqoop job --create loadorders \-- import \--connect " jdbc:mysql://quickstart.cloudera:3306/retail_db " \--username retail_dba \--...
小白篇(十一)：sqoop import指令实操
belialxing的专栏
11-09 2013
我的原文地址： https://mp.weixin.qq.com/s?__biz=MzIxMzg5NzI4OQ==&mid=2247484109&idx=1&sn=1697698d51edb2b380d4fa672ba18841&chksm=97ae9beba0d912fdcb161873b024f5099fc51c6a4f8dfeeda62129d0f687009084beb9c2fa4b&token=1189979899&lang=zh_CN#rd .
Sqoop导入数据之import的基本使用
HoppingMad的博客
12-13 4112
文章目录前言一、Sqoop是什么，import操作是怎样？二、Mysql到HDFS1.创建Mysql表2.插入数据3.import到HDFS三、Mysql到Hive总结 前言 提示：本教程使用环境为： CentOS6.5 CDH5.3.6 本教程将演示由Mysql到HDFS和Mysql到Hive两种导入过程， 由于版本不一致可能会有操作上的不同。如果目前仍没有搭好Sqoop环境，请看最简便CentOS6.5下CDH版本sqoop安装步骤 一、Sqoop是什么，import操作是怎样？ Sqoop - “
【Sqoop】Sqoop 工具之 Sqoop-import
w1992wishes的博客
06-15 2606
全文内容来自：Sqoop工具模块之sqoop-import 一、常用命令列举 序号 命令 类 说明 1 import ImportTool 将数据导入到集群 2 export ExportTool 将集群数据导出 3 codegen CodeGenTool 获取数据库中某张表数据生成Java并打包Jar 4 create-hive-table CreateHiveTab...
sqoop import query
docsz的博客
02-11 1441
sqoop import query
sqoop导入数据‘‘--query搭配$CONDITIONS‘‘的理解
u011250186的博客
07-31 3644
目录 运行测试 原理理解 引言 sqoop在导入数据时，可以使用--query搭配sql来指定查询条件，并且还需在sql中添加$CONDITIONS，来实现并行运行mr的功能。 回到顶部 运行测试 测试均基于sqoop1，mysql数据准备如下。 （1）只要有--query+sql，就需要加$CONDITIONS，哪怕只有一个maptask。 # 只有一个maptask [hadoop@node01 /kkb/bin]$ sqoop import --connect ...
Sqoop import 命令
weixin_44966780的博客
12-25 705
Sqoop 命令&参数：import 将关系型数据库中的数据导入到HDFS（包括Hive，HBase）中，如果导入的是Hive，那么当Hive中没有对应表时，则自动创建。 1）命令： 如：导入数据到hive中 sqoop import \ --connect jdbc:mysql://hadoop102:3306/company \ --username root \ --password 123456 \ --table staff \ --hive-import 如：增量导入数据到hive中，
Sqoop向HDFS中导入查询结果（六）
RivenDong
09-27 1150
文章目录1. 前言2. 配置文件3. 创建相关数据4. 执行Sqoop5. 查看结果 1. 前言 除了前面介绍的导入数据的方式之外，Sqoop也支持导入SQL查询的结果集。 –query参数指定SQL语句 –target-dir参数指定目标文件 如果想要并行地导入查询结果，每个Map需要执行一个查询副本，查询必须要有一个$CONDITIONS符号，表示每个Sqoop进程被唯一的条件语句替换，...
sqoop daoru hdfs
05-15
Sqoop是一种用于在Apache Hadoop和结构化数据存储（如关系数据库）之间进行高效数据传输的工具。要将数据从关系数据库导入HDFS中，可以使用Sqoop的import命令。以下是一个简单的示例命令： ``` sqoop import \ --connect jdbc:mysql://mysql.example.com/mydatabase \ --username myuser \ --password mypassword \ --table mytable \ --target-dir /my/hdfs/directory ``` 这个命令将从MySQL数据库中的`mytable`表中读取数据，并将其导入到HDFS的`/my/hdfs/directory`目录中。可以根据需要更改连接字符串，用户名和密码以及目标目录路径。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值