Hadoop集群启动,zookeeper,hive,kafka和flume等相关工具启动

最新推荐文章于 2024-04-08 19:45:33 发布
最新推荐文章于 2024-04-08 19:45:33 发布
阅读量529 收藏 3
点赞数 2
分类专栏： 程序媛 原创作者 女程序员 好用的东西 分享 文章标签： hadoop集群启动 zookeeper启动 hive启动 flume启动
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43430824/article/details/88934354
版权
本文详细介绍了如何启动Hadoop集群，包括zookeeper、mysql、hive、flume和kafka等组件。通过一键启动脚本简化操作，确保集群正常运行，并提供telnet测试验证服务状态。
摘要由CSDN通过智能技术生成

Hadoop集群启动,zookeeper,hive,kafka和flume等相关工具启动

Hadoop集群启动

进入Hadoop的bin目录下,输入:start-all.sh 即可启动你所搭建的集群.
当你看到下列画面时,就成功了(我搭了三个node供参考).
在这里插入图片描述
如果你要启动oozie,需要执行此命令：sbin/mr-jobhistory-daemon.sh start historyserver

zookeeper服务的启动

首先进入zookeeper的bin目录下,输入:zkServer.sh start 即可启动zookeeper,
看到下图说明zookeeper启动成功.
注意:三台机器上都要去执行一遍zookeeper的启动.
在这里插入图片描述
然后输入:zkServer.sh status 检查启动状态
我的node-1这台机是follower,你可以每天机器上都查看一下状态 ,找到你的leader.
在这里插入图片描述

我有一键启动zookeeper的脚本,

所以我不会每台机器都自己去启动,不知道脚本怎么才能和大家分享啊,你们自己去找一下吧,或者我把脚本的内容单独写一篇博客和大家分享一下吧.
如果你有一键启动脚本,输入:sh

最低0.47元/天 解锁文章
全能小孩
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop集群中Hive的使用
weixin_43361166的博客
12-27 404
标题【实验目的】 1.掌握数据仓库Hive的使用； 标题【实验要求】 1.能够正常操作数据库、表、数据。 【实验环境】 一台独立PC机或虚拟机 每台主机内存2G以上，磁盘剩余空间50OM以上 已安装CentOS 7.4操作系统 已安装JDK 已完成Hadoop平台的搭建 已完成MySQL数据库平台的搭建 已完成Hive数据仓库的安装 项目十一 数据仓库Hive的使用 标题任务一 数据仓库Hive的使用 1.启动Hover，进入Hive的控制台。查看当前的数据库列表： 2.修改参数允许强制分桶
Hadoop、zookeeper、kafka、flume启动
qq_46659912的博客
11-25 285
1.hadoop start-dfs.sh | stop-dfs.sh start-yarn.sh | stop-yarn.sh zookeeper zookeeper的bin目录下： ./zkServer.sh start | ./zkServer.sh stop kafka(需要先启动zookeeper)， 在kafka的bin目录里执行 kafka-server-start.sh /training/kafka_2.11-2.3.1/config/se
启动hadoop集群（三）-启动hive
qq_20790447的博客
05-09 1207
当hdfs和yarn都启动成功之后，启动hive。 [hadoop@hadoop102 ~]$ cd /opt/module/hive/ [hadoop@hadoop102 hive]$ bin/hive
hadoop-zookeeper-flume-kafka启动关闭脚本
大数据学习之路Xy的博客
05-08 138
#! /bin/bash case $1 in "start"){ echo " -------- 启动 集群 -------" echo " -------- 启动 hadoop集群 -------" /opt/module/hadoop-2.7.2/sbin/start-dfs.sh ssh hadoop103 "/opt/module/hadoop-2.7.2/sbin/start-yarn.sh" #启动 Zookeeper集群 zk.sh start sleep 4s;
hadoop hive 2.1.1 将Hive启动为服务
杨航的专栏
04-17 5583
我们之前使用的Shell方式与Hive交互只是Hive交互方式中的一种，还有一种就是将Hive启动为服务，然后运行在一个节点上，那么剩下的节点就可以使用客户端来连接它，从而也可以使用Hive的数据分析服务。 前台模式 可以使用下面的命令来将Hive启动为服务。 /root/apps/hive-1.2.1/bin/hiveserver2 后台模式 也可以用下面的命令在后台
大数据hadoop分布式集群搭建（Hadoop、hbase、hive、mysql、zookeeper、Kafka、flume）
08-23
自己整理的Hadoop环境的一些安装，和一些简单的使用，其中包括Hadoop、hbase、hive、mysql、zookeeper、Kafka、flume。都是一些简单的安装步骤和使用，只在自己的虚拟机（Linux centOS7）上使用测试过。按照步骤一步...
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
在大数据领域，构建一个完整的生态系统是至关重要的，其中包括多个组件，如Hadoop、Spark、Hive、HBase、Oozie、Kafka、Flume、Flink、Elasticsearch和Redash。这些组件协同工作，提供了数据存储、处理、调度、流...
Hadoop+Hive+Spark+Kafka+Zookeeper+Flume+Sqoop+Azkaban+Scala
05-05
基于 Zookeeper 搭建 Hadoop 高可用集群 二、Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作 分区表和分桶表 视图和索引 常用 DML 操作 数据查询详解 三、Spark ...
大数据综合实验环境搭建（3个集群、Zookeeper、Hive、HBase）
01-25
大数据综合实验环境搭建（3个集群、Zookeeper、Hive、HBase） 本资源摘要信息主要对大数据综合实验环境搭建进行了详细的介绍，涵盖了 JDK 的安装和配置、免密码登录的设置、Zookeeper 的安装、Hive 和 HBase 的安装...
kafka+flume 实时采集oracle数据到hive中.docx
08-11
为了实现这一点，需要先安装ZooKeeper和Kafka，然后配置Kafka Connector，最后启动Kafka Server和Connector。 首先，需要安装ZooKeeper，版本号为apache-zookeeper-3.5.8-bin.tar.gz。然后，安装Kafka，版本号为...
集群环境搭建-Centos+kafka+zookeeper+hadoop+Spark
12-19
通过VirtualBox安装多台虚拟机，实现集群环境搭建。 优势：一台电脑即可。 应用场景：测试，学习。 注意事项：请严格按照文档操作，作者已经按照文档操作实现环境搭建。 内附百度网盘下载地址，有hadoop+zookeeper+spark+kafka等等·····需要的安装包和配置文件
HA 模式下的 Hadoop+ZooKeeper+HBase 启动关闭管理脚本
Zephyr's Blog
01-01 3012
HA 集群启动与关闭的顺序请参考：http://blog.csdn.net/u011414200/article/details/50437356 笔者的集群规划如下：
hadoop集群 中 加入 搭建 kafka集群 三台机器 kafka基础操作
qq_43066912的博客
09-17 1046
1.下载kafka （自己选择版本） kafka 各个版本差异总结：https://www.cnblogs.com/yinzhengjie/p/9986554.html Apache kafka下载地址：http://kafka.apache.org/downloads.html#2.1.0 2.上传到集群 root 用户上传 kafka 压缩包 到集群 注：我这里是 Ubuntu ...
flume自定义拦截器
qq_31866793的博客
09-03 422
1，部分代码： 注意： redisDir 是配置文件传入的redis配置文件的地址 package com.dianyou.filter; import com.dianyou.filter.action.ActionMapping; import com.dianyou.filter.action.InterfaceKeyService; import com.dianyou.filte...
【Hadoop部署】Hadoop环境部署5-Zookeeper、Kafka安装
refbit的博客
02-19 207
zookeeper配置 cd zk/conf cp zoo_sample.cfg zoo.cfg vim zoo.cfg 修改： dataDir=/usr/local/zk/data 新增： server.0=sparkproject1:2888:3888 server.1=sparkproject2:2888:3888 server.2=sparkproject3:2888:3888 同步...
hadoop的hive安装与配置教程
最新发布
qsl428的博客
04-08 730
(1)将MySQL数据库驱动（/opt/software/mysql-connector-java-5.1.46.jar）拷贝到 Hive安装目录的lib下；将/usr/local/src/hive/conf文件夹下hive-default.xml.template文件，更名为 hive-site.xml。（1）MySQL 软件包路径 [root@master ~]# cd /opt/software/mysql-5.7.18/“/usr/local/src/hive/tmp”目录及其子目录。
zookeeper集群配置&kafka安装常见问题
战五渣
02-27 991
一 简介 Zookeeper是一个分布式应用服务协调服务，为分布式应用提供一致性服务，包括配置维护、域名服务、分布式同步、组服务等（源自百科） kafka是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者规模的网站中的所有动作流数据。具有以下特性 通过O(1)的磁盘数据结构听过消息的持久化 高吞吐量 支持通过Kafka服务器和消费机集群来分区消息 支持Hadoop并行数据加载...
Kafka和flume安装和群起
m0_66057675的博客
08-29 495
kfka和flume安装和配置
flume-kafka-zookeeper的配置及使用
koko创作
10-27 921
一、Zookeeper的安装 1、上传zookeeper-3.4.14.tar.gz到服务器，解压到/usr/local （1）解压 tar -zxf zookeeper-3.4.14.tar.gz -C /usr/local （2）将zookeeper-3.4.14重命名为zookeeper mvzookeeper-3.4.14 zookeeper 2、修改Zookeeper保存数据的目录，dataDir # 进入conf配置目录 cd /usr/local/zooke..
为什么要选择emqx kafka zookeeper flume hadoop hive 搭建大数据平台
03-08
作为一个 AI 语言模型，我认为选择这些工具是因为它们都是大数据处理中常用的工具，可以协同工作，提高数据处理的效率和准确性。EMQX 是一个高性能、高可靠、可扩展的 MQTT 消息服务器，可以用于物联网、即时通讯、实时数据处理等场景；Kafka 是一个分布式的流处理平台，可以处理大量的实时数据流；Zookeeper 是一个分布式的协调服务，可以用于分布式应用程序的协调和管理；Flume 是一个分布式的日志收集和聚合系统，可以将数据从各种来源收集到 Hadoop 中；Hadoop 是一个分布式的大数据处理框架，可以处理大量的结构化和非结构化数据；Hive 是一个基于 Hadoop 的数据仓库，可以用 SQL 查询和分析大规模的数据。这些工具的组合可以构建一个高效、可靠、可扩展的大数据平台，帮助企业更好地处理和分析数据，提高业务决策的准确性和效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值