CDH 安装 sqoop

最新推荐文章于 2023-12-25 15:58:42 发布
最新推荐文章于 2023-12-25 15:58:42 发布
阅读量3.6k 收藏 3
点赞数 1
分类专栏： 大数据 文章标签： 数据 sqoop CDH
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/frone/article/details/78365852
版权

CDH 安装 sqoop

技术背景

需要将 mssqlserver 的数据批量导入hive，与hive中加载的用户行为数据进行联合分析，因为数据量较大，不再采用之前的python读取文本进行清洗，然后使用 LOAD DATA LOCAL INPATH 的方式。
正好使用的CDH集群可以简单添加sqoop服务，于是尝试了下。

首先决定使用sqoop2(1.9.5版本)，CLI界面很友好，但是并不是那么便捷，尝试了几次都没有成功，果断放弃转战sqoop1.4.6。

一样在CDH管理界面首先进行添加scoop服务，很快就完成了，然后开始步入正题。

安装位置

因为要从 mssqlserver 导入数据，所以要先找到scoop的安装位置，用了几次 which就找到了
HOME 位于 /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/sqoop/
然后去官网下载 mssqlserver的 JDBC驱动
解压后放到 sqoop home 的 lib 文件夹下

使用脚本
  1. 测试连接
sqoop
最低0.47元/天 解锁文章
半路出家的coder
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sqoop-cdh安装包
03-07
sqoop-cdh安装过程及异常处理，并提供安装使用的工具包
cdh版本sqoop1.99.5 api调用
11-23
使用cdh版本的sqoop2 api远程操作sqoop进行数据迁移。
CDH6大数据平台搭建及分析开发实战
03-27
课程主要就大数据核心、大数据采集、大数据分析和大数据开发项目综合实战，配套实战案例与项目全部基于实际任务展开，结合企业级框架进行建模实战。由浅入深，每一个理论搭配一个实验，且侧重技能不同，学员的知识体系会更加全面。
sqoop快速上手简明教程
涛哥大数据小屋
12-06 5700
概述 sqoop 是 apache 旗下一款“Hadoop中的各种存储系统（HDFS、HIVE、HBASE） 和关系数据库（mysql、oracle、sqlserver等）服务器之间传送数据”的工具。 核心的功能有两个： 导入（迁入） 导出（迁出） 导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统 导出数据：从 ...
CDH集成Sqoop
寒暄的博客
06-22 1148
CDH集成Sqoop2 Sqoop是Hadoop生态中与Hadoop关系很紧密的一个组件，所以在CDH中无序下载多余的包，可以直接进行集成。 第一步：切换到需要集成的集群，点击添加服务。 第二步：选择Sqoop2服务。 第三步：选择安装节点，然后一直点继续 第四步：安装完成，重启集群。 注意：生产环境中主要用Sqoop1。 ...
cdh 安装_快速搭建CDH-Hadoop-Hive-Zoopkeeper-Sqoop环境进入Sqoop学习环境
weixin_39900045的博客
11-21 180
CDH简单了解CDH: C：cloudera(公司) D：distribute H：Hadoop解决了大数据Hadoop 2.x生态系统中各个框架的版本兼容问题，不用自己编译, CDH适合商用，版本更新比较慢，也可以选择其他版本。CDH版本的安装 在线：不推荐，受网速影响 离线：rpm包，tar包之前已经安装使用过Apache版本的Hadoop，这次为了区分，我们再单独见一个cdh目录，用于...
sqoop-1.4.6-cdh5.14.2.tar系列安装包
08-03
sqoop-1.4.6-cdh5.14.2.tar系列安装包
sqoop-1.4.6-cdh5.13.2.tar
12-19
mv /usr/local/sqoop-1.4.6-cdh5.13.2/conf/sqoop-env.template.sh /usr/local/sqoop-1.4.6-cdh5.13.2/conf/sqoop-env.sh vi /usr/local/sqoop-1.4.6-cdh5.13.2/conf/sqoop-env.sh export HADOOP_COMMON_HOME=/usr/...
sqoop-1.4.4-cdh5.0.6.tar
05-18
- 安装与配置：首先在 Hadoop 集群上安装 Sqoop，配置相关数据库连接信息。 - 数据库连接：使用 `sqoop list-databases` 和 `sqoop list-tables` 命令查看可用数据库和表。 - 导入数据：使用 `sqoop import` 命令...
大数据开发之Sqoop详细介绍
最新发布
州仔
12-25 659
Apache Sqoop（SQL-to-Hadoop）项目旨在协助RDBMS与Hadoop之间进行高效的大数据交流。用户可以在 Sqoop 的帮助下，轻松地把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)中；同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库里。Sqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具，结构化数据可以是MySQL、Oracle等RDBMS。
CDH 安装 sqoop1
あずにゃん梓喵的博客
03-07 2237
总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用 命令测试 1.sqoop help 2.sqoop import \ --connect jdbc:mysql://192.168.20.41:3306/adm \ --username root \ --password admin \ --table userPortraitComplete \ --hive...
CDH6.3.2集群部署5—添加sqoop
一点见解
05-14 763
添加服务 分配角色 测试 #将pwd替换成master节点安装的数据库root密码 sqoop list-databases --connect jdbc:mysql://dbnode1:3306/ --username root --password pwd
CDH6.2.1安装步骤
weixin_43956381的博客
01-05 3640
1.CM部署准备 1.1 连接服务器 1.2 修改hosts文件 [root@hadoop001 ~]# vim /etc/hosts 127.0.0.1 localhost localhost ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 172.17.138.24...
大数据——Sqoop安装和配置及数据迁移
蜂蜜柚子加苦茶
09-29 556
Sqoop安装和配置及数据迁移下载Sqoop安装SqoopSqoop是什么数据迁移从RDB导入数据到HDFS（一）示例从RDB导入数据到HDFS（二）示例从RDB导入数据到HDFS（三）示例从RDB导入数据到HDFS（四）示例从RDB导入数据到HDFS（五）导入文件格式从RDB导入数据到Hive（一）从RDB导入数据到Hive（二）从RDB导入数据到HBase导出HDFS数据到MySQL 下载Sqoop 下载链接：Sqoop 提取码：0tre 安装Sqoop 把安装包放入Linux上的software目录
大数据：Sqoop 简介与安装
金融科技和数据治理
12-04 453
Sqoop 是一个常用的数据迁移工具，主要用于在不同存储系统之间实现数据的导入与导出：导入数据：从 MySQL，Oracle 等关系型数据库中导入数据到 HDFS、Hive、HBase 等分布式文件存储系统中；导出数据：从 分布式文件系统中导出数据到关系数据库中。其原理是将执行命令转化成 MapReduce 作业来实现数据的迁移，如下图：版本选择：目前 Sqoop 有 Sqoop 1 和 Sqoop 2 两个版本，但是截至到目前，官方并不推荐使用 Sqoop 2，因为其与 Sqoop 1 并不兼容，且功能还
cdh版本的sqoop安装以及配置
weixin_30448603的博客
02-08 2588
sqoop安装需要提前安装好sqoop依赖：hadoop 、hive、hbase、zookeeper hadoop安装步骤请访问：http://www.cnblogs.com/xningge/articles/8433297.html hive安装步骤请访问：http://www.cnblogs.com/xningge/p/8433792.html hbase安装步骤请访问： zookee...
cdh jar包 sqoop2_cdh版本的sqoop安装以及配置
weixin_39979159的博客
12-18 197
sqoop安装需要提前安装好sqoop依赖：hadoop 、hive、hbase、zookeeperhadoop安装步骤请访问：http://www.cnblogs.com/xningge/articles/8433297.htmlhive安装步骤请访问：http://www.cnblogs.com/xningge/p/8433792.htmlhbase安装步骤请访问：zookeeper安装步骤请...
Sqoop安装
a805814077的博客
10-24 1970
Sqoop的安装教程
Sqoop详细安装与环境配置
u011250186的博客
07-19 728
1.Sqoop作用 Sqoop是一个用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从关系数据库（如MySQL，Oracle）导入数据到Hadoop HDFS，并从Hadoop文件系统导出到关系数据库。 2.安装教程 下载安装包 下载地址：http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.14.2.tar.gz 解压到opt目录下 tar -zxf sqoop-1.4.6-cdh5.14.2.tar.gz 改名并移到指定op.
cdh sqoop 导入数据
03-07
你好，关于 cdh sqoop 导入数据的问题，我可以回答。Sqoop 是一个用于在 Hadoop 和关系型数据库之间传输数据的工具，可以将关系型数据库中的数据导入到 Hadoop 中进行处理和分析。在使用 Sqoop 导入数据时，需要先...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值