虚拟机安装hadoop+hbase+spark+kafka

最新推荐文章于 2024-09-25 20:23:12 发布
最新推荐文章于 2024-09-25 20:23:12 发布
阅读量2k 收藏 19
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50529973/article/details/117770878
版权
本文档详细介绍了如何在Linux虚拟机中安装和配置Hadoop、HBase、Spark和Kafka集群。首先，通过虚拟机安装Linux，配置网络，克隆虚拟机以创建集群节点。然后，安装JDK，配置Hadoop环境，格式化文件系统，并启动Hadoop集群。接着，部署Zookeeper和HBase，确保时间同步并启动HBase集群。接下来，搭建Spark开发环境，包括安装Spark、配置Spark-HA集群，并启动集群。最后，安装并启动Kafka服务，完成整个大数据处理环境的搭建。
摘要由CSDN通过智能技术生成

文章目录

一、虚拟机的安装

1.1安装虚拟机-Linux

1.创建新的虚拟机，选择自定义–>下一步
在这里插入图片描述
2.默认选项，直接单击下一步
在这里插入图片描述
3.选择稍后安装操作系统–>下一步
在这里插入图片描述4.操作系统选择Linux,版本这里选了Red Hat Enterprise Linux 6 64位，单击下一步
在这里插入图片描述
5.更改虚拟机的名称为hadoop01,先在G盘创建hadoop_linux文件，再在其下新建一个文件夹hadoop01，更改安装路径，点击浏览（选择刚刚创建的文件夹）–>下一步
在这里插入图片描述
6.每个处理器的内核数量选择2，单击下一步在这里插入图片描述
7.设置虚拟机内存，根据自己计算机内存大小设置，这里选择1024，单击下一步
在这里插入图片描述
8.网络类型选择NAT，单击下一步
在这里插入图片描述
9.选择I/O控制器类型默认推荐,直接单击下一步
在这里插入图片描述
10.磁盘类型默认推荐，直接下一步
在这里插入图片描述
11.默认创建新虚拟磁盘，直接单击下一步
在这里插入图片描述
12.磁盘容量大小改为50GB（要大一些，不然集群处理时因磁盘太小进入安全模式），单击下一步
在这里插入图片描述
13.默认磁盘文件，直接单击下一步
在这里插入图片描述
14.单击完成，虚拟机创建成功
在这里插入图片描述
在这里插入图片描述

1.2初始化虚拟机

1.点击虚拟机编辑设置，选择CD/DVD，点击使用ISO映像文件，这里选择redhat-x86_64位映像，单击确定
在这里插入图片描述
2.开启虚拟机，选择第一个，直接回车
在这里插入图片描述
3.鼠标放进去点一下（ctrl+alt出现鼠标），按tab键，选择skip，回车
在这里插入图片描述
4.单击next
在这里插入图片描述
5.语言选中文简体，单击next
在这里插入图片描述
6.键盘选美国英语式，单击next
在这里插入图片描述
7.安装类型选择基础存储设备–>下一步
在这里插入图片描述
8.选泽 是，忽略所有数据
在这里插入图片描述
9.更改主机名为hadoop01,点击配置网络
在这里插入图片描述
10.选择System eth0,点击编辑
在这里插入图片描述
11.勾选自动连接，单击应用–>关闭–>next
在这里插入图片描述
12.地区选择亚洲/上海，单击下一步
在这里插入图片描述
13.设置密码，单击下一步在这里插入图片描述
14.安装类型选择使用所有空间，并写入磁盘
在这里插入图片描述
在这里插入图片描述
15.选择基本服务器，单击next在这里插入图片描述
16.安装完成，单击重新引导
在这里插入图片描述

17.输入账号，密码（密码打完看不到，直接按回车），创建三个目录
在这里插入图片描述

1.3虚拟机的克隆

1.虚拟机处于关闭状态，右键管理–>克隆–>下一步在这里插入图片描述
2.默认选择虚拟机中的当前状态，直接下一步
在这里插入图片描述
3.选择创建完整克隆，单击下一步
在这里插入图片描述
4.修改虚拟机名称为hadoop02，更改路径，单击完成，克隆成功
（克隆第三台虚拟机hadoop03重复以上虚拟机的克隆操作）
在这里插入图片描述
在这里插入图片描述

二、Linux系统网络配置

2.1修改虚拟机的网络配置

1.计算机–>右键管理–>服务，确定虚拟机的5个相关服务都在运行
在这里插入图片描述
2.点击编辑–>虚拟网络编辑器–>选择NAT模式–>更改设置（会跳到第一个模式，再点击一次NAT模式）,将子网IP改成192.168.121.0
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
3.打开NAT设置，将网关改成192.168.121.2，单击确定
在这里插入图片描述
在这里插入图片描述
4.打开DHCP设置，设置起始IP和结束IP都在121网段，单击确定–>应用–>确定
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.2修改Windows网络配置

1.电脑右下角网络图标单击，打开“网络和Internet”配置，打开以太网，更改适配器选项
在这里插入图片描述
在这里插入图片描述
2.选择VMnet8–>属性–>IPv4协议属性修改，单击确定
在这里插入图片描述

2.3配置主机名

具体命令如下：vi /etc/sysconfig/network
在这里插入图片描述在这里插入图片描述

2.4配置每台虚拟机的IP映射

在三台服务器都使用命令配置：vi /etc/hosts
都增加
192.168.121.134 hadoop01
192.168.121.135 hadoop02
192.168.121.136 hadoop03
在这里插入图片描述

2.5网络参数配置

2.5.1.配置网卡设备的Mac地址
在hadoop02、hadoop03使用命令：vi /etc/udev/rules.d/70-persistent-net.rules
删去第一套参数，留第二套，修改NAME=“eth0”
在这里插入图片描述
2.5.2配置静态IP地址
在三台虚拟机使用命令：vi /etc/sysconfig/network-scripts/ifcfg-eth0,修改BOOTPROTO=static,Mac地址要一致，添加
IPADDR=192.168.121.134（IPADDR=192.168.121.135，IPADDR=192.168.121.136）
NETMASK=255.255.255.0
GATEWAY=192.168.121.2
DNS1=8.8.8.8
在这里插入图片描述
2.5.3配置效果验证
1.三台虚拟机都重启，输入命令：reboot
2.登录之后查看各自的ip并测试连接百度，连接成功
查看ip命令：ifconfig
在这里插入图片描述

三、SSH服务

3.1查看安装并开启SSH服务

1.查看是否安装了SSH命令：rpm -qa | grep ssh
查看是否启动了SSH服务：ps -e | grep sshd
安装SSH服务命令：yum install openssh-server（默认已安装和开启SSH服务，无需再安装开启）
在这里插入图片描述
2.使用Xshell工具远程连接服务器
打开文件-新建
在连接中填写主机号，端口号选择22
在这里插入图片描述
点击用户身份验证，填写登录用户名和密码
在这里插入图片描述
点击确定。
第一次连接会有安全警告，可以选择接收并保存，这样下次连接不用输入用户名密码
在这里插入图片描述
3.连接成功
在这里插入图片描述
4.再以同样的方式连接另外两台主机

在这里插入图片描述

3.2实现免密登录–公钥私钥

  1. 在三台虚拟机执行命令，产生密钥对：ssh-keygen -t rsa
    不设置密码，一直回车
    在这里插入图片描述
    查看目录发现已生成公钥和私钥
    在这里插入图片描述
  2. 再以同样方式使另外两台主机生成密钥对
  3. 拷贝公钥给同一台主机
    三台主机都执行命令将公钥保存在第一台主机：ssh-copy-id hadoop01
    在这里插入图片描述
  4. 查看第一台主机目录可以看见三台主机的公钥
    在这里插入图片描述
  5. 使用远程拷贝将数据发送给其余两台主机
    在第一台主机执行命令：
    scp /root/.ssh/authorized_keys hadoop02:/root/.ssh
    scp /root/.ssh/authorized_keys hadoop03:/root/.ssh
    在这里插入图片描述
    6.连接测试，测试成功
    在这里插入图片描述

四、Hadoop集群配置

4.1JDK安装

1.安装lrzsz软件
使用命令挂载光盘：mount /dev/cdrom /mnt
打开：cd /mnt/Packages
安装软件: rpm -ivh lrzsz-0.12.20-27.1.el6.x86_64.rpm
在这里插入图片描述
2.JDK安装
进入software目录：cd /export/software
使用命令：rz 回车，上传jdk

最低0.47元/天 解锁文章
大数据学习之路 Hadoop篇（一）：超简单的虚拟机搭建Hadoop+Hive+Spark+HBase环境
GodxvA
03-14 4754
这么长时间没有写博客，期间也发生了很多事情，我也一不小心从萌萌的开发变成了萌萌的数据。 我在写这篇博客的时候还是数据方面的初学者，一来可以回顾总结自己最近学习的内容，督促自己更快更仔细的学习；二来可以为和我一样的初学者提供方便，不必花很多精力去找一些资源和技巧或者环境的搭建，而是专注于知识的学习。 工欲善其事，必先利其器。要想学好大数据，得先有大数据方面的环境。我看过网上很多搭建的教程，自己一...
ubuntu虚拟机搭建hadoop+spark+zookeeper+hbase+kafka环境
szk171848581的专栏
09-07 804
准备工作（软件所需及作用） 1.1- vmware安装包，ubuntu系统 --> 搭建虚拟机环境 1.2- jdk --> 安装java环境 1.3- xshell --> 本机可以连接虚拟机，可选择其他 1.4- scala --> 虚拟机用到的编程环境，可选择其他 1.5- hadoop --> 搭建hadoop环境 1.6- spark --> 搭建spark环境 注- （软件如有需，文章后面会有网盘链接） 流程大致说明：为了简化操作，选用了图形版ubuntu..
spark+hadoop+kafka+zookeeper 大数据平台搭建脚本
07-04
spark+hadoop+zookeeper 大数据平台搭建脚本，亲测通过，适用于大数据初学者在虚拟机玩
虚拟机设置及Hadoop安装配置
最新发布
2203_75380029的博客
09-25 2388
虚拟机设置及Hadoop安装配置启动HDFS
HADOOP+KAFKA+SPARK
04-18
HADOOP+KAFKA+SPARK
虚拟机搭建及hadoop安装
java_writer的博客
07-22 1310
如果按照我的流程走，是没有问题的，有问题可以讨论，看到会回复。这里使用的使ubuntu18.04，创建三个虚拟机。 一、创建虚拟机 用户名hadoop 虚拟机名 datanode1 datanode2 datanode3 用户名 hadoop 密码 123 二、安装必要软件 获取root权限 sudo passwd root 设置root密码 sudo -s进入root状态 sudo su 给与root权限 安装vmware-tools ，安装后课自动调节虚拟机尺寸，并且可以虚拟机与主机互相传输文
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
在大数据领域，构建一个完整的生态系统是至关重要的，其中包括多个组件，如Hadoop、Spark、Hive、HBase、Oozie、Kafka、Flume、Flink、Elasticsearch和Redash。这些组件协同工作，提供了数据存储、处理、调度、流...
集群环境搭建-Centos+kafka+zookeeper+hadoop+Spark
12-19
通过VirtualBox安装多台虚拟机，实现集群环境搭建。 优势：一台电脑即可。 应用场景：测试，学习。...内附百度网盘下载地址，有hadoop+zookeeper+spark+kafka等等·····需要的安装包和配置文件
Kafka集成Spark Streaming并写入数据到HBase
01-17
使用方法： 请使用eclipse的maven导入方式导入，代码在http://blog.csdn.net/q79969786/article/details/42793487有介绍
使用kafka，spark，hbase开发日志分析系统
10-12
# 日志分析系统 ## 系统架构 本使用kafka，spark，hbase开发日志分析系统。 ![architecture](/docs/images/architecture.png "architecture") ### 软件模块 * Kafka：作为日志事件的消息系统，具有分布式，可分区，可冗余的消息服务功能。 * Spark：使用spark stream功能，实时分析消息系统中的数据，完成计算分析工作。 * Hbase：做为后端存储，存储spark计算结构，供其他系统进行调用 ## 环境部署 ### 软件版本 * hadoop 版本 ： Hadoop相关软件如zookeeper、hadoop、hbase，使用的是cloudera的 cdh 5.2.0 版本。 * Kafka ： 2.9.2-0.8.1.1
CentOS Linux中搭建Hadoop和Spark集群详解
计算机毕业论文源码，学生个人网页制作html源码。贴近用户做网络推广和互联网优化。
08-10 575
　　背景： 　　阅读新闻 　　[日期：2018-06-10] 　　来源：Linux社区 　　作者：suhaha 　　[字体：大 中 小] 　　前言 　　1.Linux操作系统为CentOS7 　　2.所有操作都是使用root用户去操作。也可以使用其他用户，非root的话要注意...
大数据（hadoop+spark+hbase+zookeeper+kafka+scala+ambari）全套视频教程（花3000￥买的）
06-24
大数据 hadoop spark hbase ambari全套视频教程（购买的付费视频）
Hadoop+Hbase+Spark+Hive搭建
08-12
全套的Hadoop+Hbase+Spark+Hive搭建指导手册
大数据hadoop分布式集群搭建（Hadoop、hbase、hive、mysql、zookeeper、Kafka、flume）
08-23
自己整理的Hadoop环境的一些安装，和一些简单的使用，其中包括Hadoop、hbase、hive、mysql、zookeeper、Kafka、flume。都是一些简单的安装步骤和使用，只在自己的虚拟机（Linux centOS7）上使用测试过。按照步骤一步一步来，安装就没有问题。
Mac系统下使用VMware Fusion12.1.0安装Ubuntu16.04虚拟机，并搭建Hadoop+Hive+HBase+Spark伪分布集群
sddfnsff的博客
02-28 2308
@Mac系统下安装Ubuntu16.04并安装Hadoop+Hive+HBase+Spark伪分布集群 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验； 在
HadoopHA启动步骤,三台虚拟机启动
好民小张的博客
04-15 431
HadoopHA启动步骤,三台虚拟机启动 1.我这里是三台虚拟机 2.先在每台虚拟机上启动zookeeper和Journalnode zkServer.sh start hadoop-daemon.sh start journalnode 3.然后启动DFS start-dfs.sh 4启动yarn.sh start-yarn.sh 5使用jps查看进程 namenode datanode resourcemanager nodemanager zkfc journalnode zookeepe
8节点(hadoop+yarn+hbase+storm+kafka+spark+zookeeper)高可用集群详细配置
皮皮的雅客
11-03 3074
配置 hadoop+yarn+hbase+storm+kafka+spark+zookeeper 高可用集群，同时安装相关组建：JDK，MySQL，Hive，Flume 文章目录环境介绍节点介绍集群介绍软件版本介绍前期准备相关配置新建用户 centos添加sudo权限更改用户名主机名与IP映射显示当前文件的绝对路径ssh免密登录关闭防火墙两个批处理脚本批分发指令脚本(xcall.sh)批同步...
基本环境安装: Centos7+Java+Hadoop+Spark+HBase+ES+Azkaban
weixin_30567225的博客
11-26 143
1. 安装VM14的方法在 人工智能标签中的《跨平台踩的大坑有提到》 2. CentOS分区设置: /boot：1024M，标准分区格式创建。 swap：4096M，标准分区格式创建。 /：剩余所有空间，采用lvm卷组格式创建 其他按需要设置就好， 配置好后使用vi /etc/sysconfig/network-scripts/ifcfg-eno16777736 设置网络连接...
kafka-spark streaming-hbase
likeChocolates的博客
07-24 1193
CPU： 8核 内存： 32 GB 操作系统： Aliyun Linux 17.1 64位 jar包 kafka_2.11-0.10.0.0.tgz spark-2.1.1-bin-hadoop2.7.tgz hadoop-2.7.1_64bit.tar.gz  jdk-8u65-linux-x64.tar.gz   环境搭建顺序 kafka->hadoop->spark->hb
一站式CentOS大数据分布式集群搭建教程：Hadoop+Spark+HBase等
我们将深入探讨如何在CentOS操作系统上搭建一个包含多个组件的大数据分布式集群环境，以支持Hadoop、Spark、HBase、Hive、Solr、Elasticsearch、Redis、Zookeeper、RocketMQ、MongoDB、MariaDB、Storm和Kafka等关键...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值