cdh sqoop 配置_Hadoop - 企业级大数据管理平台CDH(HA高可用和Sqoop1)

最新推荐文章于 2021-02-22 02:58:38 发布
最新推荐文章于 2021-02-22 02:58:38 发布
阅读量195 收藏 1
点赞数
文章标签： cdh sqoop 配置
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_32059869/article/details/112327161
版权

edcea370f92d46a1fb30f1e2890d8f70.png

在使用大数据集群的时候容灾是一件很重要的事情,CM可以非常方便的进行HA配置,CM也支持sqoop1和sqoop2,之前已经配置了sqoop2本节来一起配置sqoop1

附上:

喵了个咪的博客:w-blog.cn

cloudera官网: https://www.cloudera.com/

官方文档地址: https://www.cloudera.com/documentation/enterprise/latest.html

一,HDFS 配置 HA

从首页点击HDFS进入到管理页面,选择菜单中的开启HA

18ef55f1a39eb1994890550bc4030401.png

定义一个名称

0d0690f14da290d3a6ab2d7bceac28d1.png

分配HA的角色

eaa64a9ab1f0fa0e56d0b03841f50e5b.png

修改目录配置

3773f2ab54c8671be944fb8ff3f3adba.png

0c1edf472e59d8cc21579f38931c1ecd.png

等待HA重新配置

12c76c6b9dae0bcd279b207137caf48b.png

195988c78368b49a674ec1087fc33226.png

二,YARN 配置 HA

通过首页进入到YARN控制台,点击菜单选择启动HA

ab999b75108939b488dea92d3a5bd02b.png

选择和需要组成HA的节点

1764b822facd02e869f9661163f9f949.png

重启整个集群

7082a5ba116d4850ba249d725179f0de.png

三 , 增加sqoop1组件

a713a2ec8d9e6b9b162cb0c059367b19.png

选择添加服务

43a4db972499465b3a4fd81e8ac0b10c.png

aee9ece45142591bc9b5a03b2539a2d7.png

ac51b7112eb8cbe78c944a5c80a3f9ee.png

最终Sqoop1的bin目录如下:

/usr/local/cloudera-manager/cloudera/parcels/CDH/bin/sqoop
陈允信
关注
CDH配置sqoop
jm88621的博客
01-21 1061
添加sqoop服务 打开cluster 添加服务 选择sqoop2，然后一路继续即可 4. 安装完成后查看服务 配置mysql驱动 下载mysql驱动到cdh的jars路径下 mysql驱动下载地址 root@cdh1:/opt/cloudera/parcels/CDH/jars# ll mysql-connector-java-5.1.49-bin.jar -rw-r--r-- 1 root root 1006906 1月 21 09:17 mysql-connector-java-
cdh sqoop 配置_Sqoop-1.4.6安装部署及详细使用介绍
weixin_39624429的博客
12-21 271
之所以选择Sqoop1是因为Sqoop2目前问题太多。无法正常使用，综合比较后选择Sqoop1。Sqoop1安装配置比较简单一、安装部署(1)、下载安装包解压到/home/duanxz/sqooptar -zxvfsqoop-1.4.6-cdh5.5.2.tar.gz(2)、拷贝mysql的jdbc驱动包mysql-connector-java-5.1.31-bin.jar到sqoop/lib目...
CDH sqoop1的使用
qq_44003428的博客
01-10 627
1.mysql和pg数据库安装客户端： yum install mysql yum install postgresql-10 服务端： yum install mysql-server yum install postgresql-10-server pg数据库root使用psql命令，将psql的bin路径添加到 ~/.bash_profile即可 2.测试sqoop导入 添加用户和权限： 创建组groupadd supergroup 添加用户useradd cdh -u 1001 -d /home/c
CDH 安装 sqoop1
あずにゃん梓喵的博客
03-07 2254
总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用 命令测试 1.sqoop help 2.sqoop import \ --connect jdbc:mysql://192.168.20.41:3306/adm \ --username root \ --password admin \ --table userPortraitComplete \ --hive...
CDH Sqoop
quanjiao4514的博客
12-30 535
CDH Sqoop报错问题Oracle数据库导入异常看到这个错误我想到了以下几点 Oracle数据库导入异常 首先要在 /opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/lib/sqoop/lib 这个路径下，放入你项目中用到的oracle驱动Jar包，否则会提示没有oracle驱动！！！ mysql的驱动默认是有的 我的CDH版本是1.4.7-cdh6.3.1 测试oracle连接时，出现这个图中错误 20/12/30 16:33:23 ERR
sqoop1.99.6 mysql_CDH中Sqoop的使用心得
weixin_33508642的博客
02-22 286
Sqoop服务添加https://www.cndba.cn/lirui/article/3383 Sqoop版本选择CDH自带两个版本sqoop组件这里选择1.4.6版本也就是sqoop1，1.99.5版本是sqoop2，是半成品，不支持关系型DB到Hive跟Hbase，故不推荐使用Sqoop导入mySql数据到Hive操作1、测试MySQL连接sqoop list-databases --con...
hadoop-2.6.0-cdh5.7.0版本.zip
03-25
6. **Hadoop安装与配置**: 安装Hadoop-2.6.0-cdh5.7.0版本需要配置集群环境，包括设置环境变量、配置集群节点间通信、初始化HDFS和YARN等。同时，还需要考虑安全性、监控和性能优化等方面。 7. **Hadoop应用开发**:...
sqoop-1.4.6-cdh5.14.2.tar系列安装包
08-03
这个压缩包“sqoop-1.4.6-cdh5.14.2.tar”是 Sqoop 的一个特定版本，适用于 Cloudera Distribution Including Apache Hadoop (CDH) 5.14.2。CDH 是一个广泛使用的 Hadoop 发行版，提供了经过优化和集成的 Hadoop ...
sqoop-1.4.6-cdh5.13.2.tar
12-19
mv /usr/local/sqoop-1.4.6-cdh5.13.2/conf/sqoop-env.template.sh /usr/local/sqoop-1.4.6-cdh5.13.2/conf/sqoop-env.sh vi /usr/local/sqoop-1.4.6-cdh5.13.2/conf/sqoop-env.sh export HADOOP_COMMON_HOME=/usr/...
sqoop-1.4.4-cdh5.0.6.tar
05-18
Hadoop（CDH）是 Cloudera 提供的一个企业级 Hadoop 分发版，它集成了 Hadoop 生态系统中的各种组件，如 HDFS、MapReduce、YARN、Hive、Pig、HBase 等，并进行了优化和增强，提供了更好的管理和监控工具。...
sqoop-cdh安装包
03-07
sqoop-cdh安装过程及异常处理，并提供安装使用的工具包
CDH集成Sqoop
寒暄的博客
06-22 1164
CDH集成Sqoop2 Sqoop是Hadoop生态中与Hadoop关系很紧密的一个组件，所以在CDH中无序下载多余的包，可以直接进行集成。 第一步：切换到需要集成的集群，点击添加服务。 第二步：选择Sqoop2服务。 第三步：选择安装节点，然后一直点继续 第四步：安装完成，重启集群。 注意：生产环境中主要用Sqoop1。 ...
cdh 安装_快速搭建CDH-Hadoop-Hive-Zoopkeeper-Sqoop环境进入Sqoop学习环境
weixin_39900045的博客
11-21 205
CDH简单了解CDH: C：cloudera(公司) D：distribute H：Hadoop解决了大数据Hadoop 2.x生态系统中各个框架的版本兼容问题，不用自己编译, CDH适合商用，版本更新比较慢，也可以选择其他版本。CDH版本的安装 在线：不推荐，受网速影响 离线：rpm包，tar包之前已经安装使用过Apache版本的Hadoop，这次为了区分，我们再单独见一个cdh目录，用于...
sqoop快速上手简明教程
涛哥大数据小屋
12-06 5712
概述 sqoop 是 apache 旗下一款“Hadoop中的各种存储系统（HDFS、HIVE、HBASE） 和关系数据库（mysql、oracle、sqlserver等）服务器之间传送数据”的工具。 核心的功能有两个： 导入（迁入） 导出（迁出） 导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统 导出数据：从 ...
CDH 安装 sqoop
frone的专栏
10-27 3679
CDH 安装 sqoop
CDH中Sqoop的使用心得
Rio.的博客
05-08 4203
Sqoop服务添加 Sqoop版本选择 CDH自带两个版本sqoop组件 这里选择1.4.6版本也就是sqoop1，1.99.5版本是sqoop2，是半成品，不支持关系型DB到Hive跟Hbase，故不推荐使用 Sqoop导入mySql数据到Hive操作 1、测试MySQL连接 sqoop list-databases --connect jdbc:mysql://192.168.20.160...
Centos7安装大数据平台CDH 6.2-HA
ITMAN009的博客
08-06 213
前提 zookeeper 集群已经启动起来了 cloudera manager配置HDFS HA的高可用 注意*最好在第一次部署集群是就进行HA配置，这样namenode datanode都是干净的不会出现namemode format失败，namenode和datanode clusterID不一致问题 注意*确保namemode节点目录路径权限， 确保hdfs上创建/tmp目录，/user目录 chown hdfs:root -R /dfs 或 chown hdfs:hadoop -R /dfs
cdh集群安装sqoop
奋斗的小鸟专栏
03-07 3561
sqoop-cdh安装：1、上传sqoop-1.4.6-cdh5.10.1.tar.gz包到/opt/sqoop目录2、解压缩文件： tar -zxf sqoop-1.4.6-cdh5.10.1.tar.gz3、设置环境变量：vim /etc/profile#添加一下内容export JAVA_HOME=/usr/java/jdk1.7.0_79export CLASSPATH=.:$JAVA_H...
CDH大数据平台与Impala交互式查询解析
"大数据平台CDH和Impala的使用" Cloudera的DistributionIncludingApacheHadoop（CDH）是一个集成的大数据处理平台，旨在简化Hadoop生态系统的部署和管理。CDH包含了多个关键的Hadoop组件，如HDFS（Hadoop分布式文件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值