sqoop2(1.99.4)的使用和简单运维

最新推荐文章于 2022-10-30 20:44:51 发布
最新推荐文章于 2022-10-30 20:44:51 发布
阅读量1.8k 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chanson_dog/article/details/79288586
版权
本文介绍了sqoop2（1.99.4）的安装、sqoop-shell的使用，以及在MYSQL与HDFS之间进行数据互传的实例。在MYSQL到HDFS的导入过程中，详细展示了任务创建、错误排查和任务监控。最后，讨论了简单的运维技巧，包括通过web端口查看任务状态和写脚本执行sqoop命令。
摘要由CSDN通过智能技术生成

sqoop安装

见文：sqoop2（1.99.4）的安装

sqoop-shell熟悉

启动sqoop server服务

bin/sqoop.sh server start

进入sqoop-shell

bin/sqoop2-shell

配置客户端使用服务

sqoop:000>set server --host [your hostname] --port 12000 --webapp sqoop

help可以查看可以执行的命令

sqoop:000>help

这里写图片描述

例如：查看版本号

sqoop:000>show version --all

这里写图片描述

例如：查看连接器

sqoop:000> show connector

这里写图片描述

还有查看任务、查看任务细节等等

MYSQL与HDFS互传数据实例

mysql version：5.6.38 MySQL Community Se

最低0.47元/天 解锁文章
chanson_22
关注
sqoop的安装和使用
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-30 3727
本实验通过练习sqoop的安装和配置，为学习sqoop准备，并且通过练习将mysql中表的数据导入到HDFS上来对sqoop的使用有一个初步的了解。完成sqoop的安装和配置并且练习将mysql数据库里的数据导入到HDFS中。本次环境是：Ubuntu16.04+ jdk1.8.0_73 + hadoop2.7.3 + sqoop-1.4.6 +mysql-5.7.22解压sqoop安装包然后进行配置后，在sqoop的bin目录下输入命令【】检查是否配置成功。然后在mysql中创建表并添加数据最后导入到HDF
Sqoop1.99.7安装、配置和使用（二）
热门推荐
ez scope
08-28 1万+
本文描述了sqoop1.99.7从mysql将数据导入hdfs的各项作业创建步骤，并叙述一些注意事项，最后作了总结。
sqoop2简单使用
Eat_shopping的博客
05-21 3866
Sqoop1.99.7 1.    HDFSà MYSQL 1.       启动服务:                sqoop2-serverstart   [root@slave2 bin]# sqoop2-server start Setting conf dir:/opt/hadoop/packages/sqoop-1.99.7/bin/../conf Sqoop home
sqoop2
weixin_37796929的博客
05-08 276
sqoop:000> start job --jid 3 Exception has occurred during processing command Exception: org.apache.sqoop.common.SqoopException Message: CLIENT_0001:Server has returned exception - Apache Tomcat/6....
Sqoop2
兔子先生i
07-03 256
安装：解压，把目录添加到path里确保path里面有hadoop_home在hadoop的core-site.xml里面添加上去oop的权限<property> <name>hadoop.proxyuser.sqoop2.hosts</name> <value>*</value> </property> <pro...
Apache Sqoop_2
Allen_人工智能与大数据
10-30 644
Sqoop常用的输入导入和导出方式
sqoop:为易于使用的 sqoop2 提供工人和扫描仪功能
06-05
Worker会将一个现成的配置文件解析为链接配置和作业配置，然后与 sqoop 服务器通信以执行相应的命令，例如创建或更新链接、作业等。 用法 构建的可执行 jar 文件包括以下选项： Usage: <main> [options] ...
Sqoop安装与使用
06-21
Sqoop 工具的发展至今主要演化了二大版本，Sqoop1 和 Sqoop2，我们以 Sqoop1 为案例进行讲解，Sqoop2 商用不太稳定。 Sqoop 工具是一个非常有用的数据迁移工具，可以帮助用户将传统型数据库中的数据迁移到 Hadoop ...
sqoop2的安装包
12-18
Sqoop2是一款用于在Hadoop和关系数据库管理系统（RDBMS）之间进行数据迁移的工具。它是Apache Sqoop项目的第二代版本，旨在提供更高级的功能和更好的可扩展性，以支持大数据环境中的复杂数据导入导出任务。在这个...
Sqoop2使用方法简介
weixin_34397291的博客
05-19 421
1.sqoop2-shell 进入 shell2.showconnector 显示支持的连接方式3.show link -all 查看已有连接的信息inkwithid1andname.168.1.188-1464317401319(Enabled:true,CreatedbyAdministratorat5/27/1610:50AM,Upda...
Sqoop 2 Connector Development
来啊 快活啊
09-05 1725
Sqoop 2 Connector Development 本文档描述了如何实现Sqoop2 中的一个connector。 What is Connector? Connector提供了与外部数据库的交互。Connector从数据库中读取数据导入数据，写数据到数据库导出数据。Sqoop2 框架管理与Hadoop交互的公共模块。 Connector Implementation Sqoop
SQOOP2 安装
我的博客
11-03 476
一、安装 sqoop2 安装包包含client和server两部分，server部分需要安装在hadoop集群中的某一个节点上，作为client的服务器。client可以安装任意多个实例，可以安装到任意多个机器上。   1、server部分的安装 把sqoop2的安装包拷贝到需要运行Sqoop Server的机器上。sqoop server 实际上相当于一个Hadoop的客户端，因此，ha...
Sqoop2 使用
afunyusong的专栏
01-12 734
Sqoop2的安装与使用 使用Sqoop从MySQL导入数据到Hive和HBase 及近期感悟 Sqoop User Guide 问题1： java.lang.NoClassDefFoundError: org/codehaus/jackson/map/JsonMappingException 解决办法： cd /opt/cloudera/parcels/CDH/lib/hadoop/
sqoop2 安装
qq_42493452的博客
01-10 301
1.解压安装包 $ tar -zxvf sqoop-1.99.5-bin-hadoop200.tar.gz $ mv sqoop-1.99.5-bin-hadoop200 sqoop2 $ cd sqoop2/bin/   2.配置环境变量 #Sqoop2 环境变量配置 export SQOOP2_HOME=/home/hadoop/sqoop/sqoop2 export PATH...
sqoop2安装
Ran_记忆犹新的博客
09-20 589
# Decompress Sqoop distribution tarball tar -xvf sqoop-&lt;version&gt;-bin-hadoop&lt;hadoop-version&gt;.tar.gz # Move decompressed content to any location mv sqoop-&lt;version&gt;-bin-hadoop&lt;hado...
Sqoop2(1.99.7)安装（事情本该如此简单）
围炉夜敲的博客
03-04 386
Sqoop2(1.99.7)安装 安装包下载 具体过程
Sqoop2(1.99.7) 安装配置与测试
wj的博客
01-29 1888
使用sqool将爬虫到MySQL的数据传输到hdfs上
sqoop1.99.4的安装和使用
语旅编程之旅
12-18 2320
一.环境介绍： sqoop版本:1.99.4-hadoop200 hadoop版本:hadoop2.2.0 安装路径是/usr/local/sqoop 二.sqoop1.99.4安装 1.解压安装文件到/usr/local/sqoop目录 2.修改环境变量 sudo vi /etc/profile export SQOOP_HOME=/usr/local/sqoop   exp
Sqoop（二）—— Sqoop导入/导出数据
分享AI工具/AI副业玩法
03-11 829
文章目录1. 导入数据1.1 RDBMS -> HDFS1.1.1 全部导入1.1.2 查询导入1.1.3 导入指定列1.1.4 使用sqoop关键字筛选查询导入数据1.2 RDBMS -> Hive1.2.1 普通导入1.2.2 增量导入（incremental append）1.2.3 增量导入（incremental lastmodified）1.3 RDBMS -> HB...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值