基于Docker 搭建Cloudera 大数据环境 并在CM中集成Kafka

最新推荐文章于 2024-09-07 01:03:32 发布
最新推荐文章于 2024-09-07 01:03:32 发布
阅读量5.1k 收藏 8
点赞数
分类专栏： docker 文章标签： docker cloudera kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28423433/article/details/80067009
版权
本文档详细介绍了如何基于Docker搭建Cloudera环境，并在Cloudera Manager中集成Kafka。从拉取Cloudera镜像到运行Cloudera Manager，再到解决可能遇到的时间同步问题，以及下载Kafka相关包，进行集成实施。在集成过程中，还提到了如何解决Kafka MirrorMaker的白名单问题和Java内存配置问题，确保Kafka的正常运行。最后进行了内网和外网的测试验证。
摘要由CSDN通过智能技术生成

一 基于docker搭建cloudera

Clouder 官方文档：

https://www.cloudera.com/documentation/enterprise/5-6-x/topics/quickstart_docker_container.html

英文文档，英语基础好的同学直接照着步骤做就好了。

1 拉取cloudera 镜像

docker pull cloudera/quickstart:latest

2 运行镜像

官方文档提供的命令是：

docker run --hostname=quickstart.cloudera --privileged=true -t -i [OPTIONS] [IMAGE] /usr/bin/docker-quickstart

#经测试有点问题，后面会给出改进命令
参数 描述
--hostname=quickstart.cloudera 必要参数：主机地址为 quickstart.cloudera
--privileged=true 必要参数：HBase, MySQL-backed Hive metastore, Hue, Oozie, Sentry, 和 Cloudera Manager 的权限开关
-it 开启交互式容器
最低0.47元/天 解锁文章
Carlos_v
关注
专栏目录
Kafka的数据备份与恢复
AI天才研究院
08-03 444
Kafka的数据备份与恢复 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：Kafka，数据备份，数据恢复，分布式系统，消息队列 1.
基于Docker搭建单机的Cloudera CDH及编程实践
TechInk的博客
08-16 461
Cloudera CDH是一个基于Apache Hadoop生态系统的开源分布式数据管理平台，它提供了一系列组件和工具，用于存储、处理和分析大规模的数据集。通过使用Docker，我们可以轻松地在单个主机上搭建自己的CDH环境，并进行实践和编程。通过这种方式，我们可以方便地创建和管理自己的CDH集群，并利用CDH提供的工具和组件进行大规模数据处理和分析。希望本文对您有所帮助！在Cloudera Manager的界面中，选择Hive服务，然后点击"Query Editors"标签，进入Hive的查询编辑器。
cloudera-cluster-docker:Docker镜像运行cloudera集群
05-18
Cloudera集群Docker 该存储库包含Docker上下文，以构建用于运行cloudera集群的docker映像。 该项目的目标是提供一个多节点cloudera集群作为用于集成测试的docker映像（不应在生产中使用）。 网络 您必须先创建网络，然后才能从docker-compose运行集群。 docker network create cloudera-cluster-net 基本的docker命令 要使用bash运行新容器： docker run --rm -i -t CONTAINER_ID bash 要在已启动的容器中运行bash会话，请docker exec -i -t CONTAINER_ID bash ： docker exec -i -t CONTAINER_ID bash 要删除本地缓存中的所有cloudera集群映像：docker docker rmi
在Docker中启动Cloudera
留歌__36的博客
10-15 1570
写在前面 记录一下，一个简单的cloudera处理平台的构建过程和一些基本组件的使用 前置说明 需要一台安装有Docker的机器 docker常用命令： docker ps docker ps -a docker images docker rm 容器 docker rmi 镜像 docker stop 容器 docker build -t 镜像名 dockerfile的位置 docker ru...
Hadoop集群docker部署整理
最新发布
Wha1eFa11的博客
09-07 1644
本文是关于如何使用Docker部署Hadoop集群的详细指南。
docker安装cloudera
流的博客
12-16 2186
环境：ContOS6.7 安装docker 1.虚拟机安装CentOS6.7 2.安装docker yum install -y epel-release yum install docker-io 如果安装失败,确保yum库是最新的： yum -y updata 如果出现No package docker-io available.这种错误yum没有找到docker包，更新epel第三方软件...
docker-cloudera-quickstart:在Ubuntu 14.04中使用Docker安装Hadoop
05-09
docker-cloudera-quickstart 此仓库从和修改中克隆而来。非常感谢caioquirino。 Docker Cloudera快速入门映像 Cloudera Hadoop 5（CDH5） 现在，您可以运行Cloudera快速入门映像，而无需承担虚拟机的所有开销。 只需使用docker-cloudera-quickstart映像即可。 基于Ubuntu 14.04（Trusty LTS） 与Cloudera CDH 5一起使用 ＃指示 ## Install要从docker-hub安装docker-cloudera-quickstart，只需使用以下命令： docker pull thanhson1085/docker-cloudera-quickstart ##用于在Background（作为守护程序）中启动实例： docker run -i -t -d ca
docker安装cloudera版本的hadoop
争当鲲鹏飞万里 不做燕雀恋子巢
07-16 695
官网：https://hub.docker.com/r/cloudera/quickstart/ 前提条件：机器已安装好docker 1、执行以下命令，获取docker版hadoop： docker pull cloudera/quickstart:latest 2、启动Hadoop： docker run --privileged=true --hostname=quickstart.cloudera -p 8020:8020 -p 7180:7180 -p 21050:21050 -p 5007
数据中台建设方案-基于大数据平台
2301_76549664的博客
03-14 4648
通过对客户大数据应用平台服务需求的理解，根据建设目标、设计原则的多方面考虑，建议采用星环科技Transwarp Data Hub（TDH）大数据基础平台的架构方案，基于Transwarp Operating System（简称TOS）云平台方式部署构建。 通过建立大数据集成平台、大数据计算平台、大数据开发平台及大数据运维平台来满足客户大数据应用平台服务建设的要求。
Nagios插件：450多个AWS，Hadoop，云，Kafka，Docker，Elasticsearch，RabbitMQ，Redis，HBase，Solr，Cassandra，ZooKeeper，HDFS，Yarn，Hive，Presto，Drill，Impala，Consul，Spark，Jenkins，Travis CI ，Git，MySQL，Linux，DNS，Whois，SSL证书，Yum安全更新，Kubernetes，Cloudera等。
01-29
先进的Nagios插件集 最大，最先进的生产级Nagios监视代码集合（超过450个程序）... 在命令行上运行以进行测试或在脚本中运行以进行依赖项可用性检查也很有用，并且为这些技术提供了一系列，以使对集群技术的监视和编写
我是一名IT从业者,31岁,大专学历,不是it相关专业学校毕业生, 以下是我的一些工作技能,我会一点些的java基础,可以运用Springboot开发后端项目,可以用java书写数据库相关操作,可以用java书写flink相关流处理应用,同时我还会安装Linux系统,会基本操作centos7系统,会部署cloudera大数据集群,同时我还会使用docker部署各种软件 请根据我目前所掌握的技能和自身条件,帮我分析我应该往哪个方向发展
03-26
2. 大数据方向：您已经掌握了Linux系统和Cloudera大数据集群的部署，可以在这个方向上继续深耕，学习更多的大数据技术，比如Hadoop、Spark、Kafka等，成为一名优秀的大数据工程师。 3. DevOps方向：您已经掌握了...
cdh5-wc-docker:用于 cloudera hadoop 5 的 Docker 容器，带有字数统计示例应用程序
06-08
WordCount 示例应用程序 这个例子使用了提供的： 先决条件： 安装码头工人： 下载修改（双计数“cloudera”）字数： 执行： 拉取 Docker 镜像： docker pull karthicks/cdh5-docker 在后台运行图像并挂载 wordCount.java ： docker run -i -t -v /root/WordCount.java:/root/WordCount.java --name cdh_wc7 -d -p 9020:9020 -p 60070:60070 -p 60010:60010 -p 60020:60020 -p 60075:60075 -p 9030:9030 -p 9031:9031 -p 9032:9032 -p 9033:9033 -p 9088:9088 -p 9040:9040 -p 9042:9042 -p 1002
利用 Docker 搭建单机的 Cloudera CDH 以及使用实践
杨航的专栏
05-21 1674
利用 Docker 搭建单机的 Cloudera CDH 以及使用实践 想用 CDH 大礼包，于是先在 Mac 上和 Centos7.4 上分别搞个了单机的测试用。其实操作的流和使用到的命令差不多就一并说了: 首先前往官方下载包： https://www.cloudera.com/downloads/quickstart_vms/5-13.html 如果使用 mac 并且安装 docker。 我们可以很轻松的使用 kitematic 来获取最新版本的 cloudera docker 镜像。只需要搜
基于cloudera搭建大数据集群（docker）记录
u013093426的博客
06-01 1111
1安装docker 安装最新稳定版的 # step 1: 安装必要的一些系统工具 sudo yum install -y yum-utils device-mapper-persistent-data lvm2 # Step 2: 添加软件源信息 sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo # Step 3: 更新并安装Docker-CE sudo
六十七、搭建Cloudera Manager环境管理大数据集群
象在舞的技术专栏
03-12 8310
本文主要介绍如何搭建Cloudera Manager环境来管理大数据集群。这里注重的是搭建的过程，所以小编没用公司的服务器，而是在自己电脑上建了三台虚拟机（使用的是CentOS6.5），用作搭建Cloudera Manager环境。废话不多说，直接开始~一、环境准备（在所有机器上操作）查看系统空间的使用情况等配置ip、主机名、主机映射等（重启生效！！）禁用ipv6（重启生效！！）# ...
通过Docker快速部署启动Apache Hadoop及Cloudera
xinxinyunli的博客
04-26 1444
玩Apache Hadoop和Cloudera的人可能都知道QuickStart VM，但是大家可能还不知道，Docker也可以作为快速启动项来部署启动Apache Hadoop和Cloudera，而且速度要比其他启动方式更快。 说到QuickStart VM，大家可能都很熟了，从本质上来说QuickStart VM就是一个包含了分布式数据处理平台的虚拟镜像。一开始的时候Quic
大数据平台docker一键搭建
多一份贡献,多一份环保
12-07 6839
想不想快速拥有大数据环境?如何才能一键安装？傻瓜式引导？这里就有你想要的，我们可以使用hortonworks出品的sandbox-hdp来搭建，它是建立在docker环境之上的集群，很轻易的主可以把环境搭建起来。 使用方法 这里我会使用HDP的最新版本3.0.1作为演示,包含的组件版本如下 组件 版本 HDFS 3.1.1 YARN 3.1.1 MapReduce2 ...
centos7下docker搭建cdh
flam_e的博客
01-08 2326
一.安装jdk rpm -qa|grep jdk yum -y install java-1.8.0-openjdk* 设置环境变量： jhometip='# add JAVA_HOME' jhomescript='export JAVA_HOME=/etc/alternatives/java_sdk_1.8.0' sudo echo $jhometip >> /...
基于docker搭建Hadoop CDH高可用集群
fengxiandada的博客
07-11 1392
基于单节点docker搭建Hadoop CDH高可用集群
DockerSwarm在持续集成测试中的自动化脚本执行环境搭建
"DockerSwarm在持续集成测试中的应用，结合Jenkins实现高效自动化测试环境" 在当前的敏捷开发环境中，测试已经成为不可或缺的一环。随着软件版本迭代速度的加快，频繁执行测试用例以确保软件质量变得至关重要。在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值