大数据--Hadoop环境部署(1)Linux环境搭建

最新推荐文章于 2024-10-07 16:43:40 发布
最新推荐文章于 2024-10-07 16:43:40 发布
阅读量646 收藏 4
点赞数 1
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51641196/article/details/128157277
版权

一.安装三台Linux虚拟机

使用centos7系统,命名node_01,node_02,node_03,具体在VMware上的各种安装过程见其他博客

二.虚拟机参数设置

(温馨提示:直接在root权限下进行配置会减少很多困扰~)

1.配置Linux系统网络及主机名

创建完成的三台虚拟机默认为动态IP地址，且虚拟机Node_02和Node_03是通过克隆虚拟机Node_01创建的，会导致这两台虚拟机的主机名与虚拟机Node_01的主机名一致，需要配置系统网络及主机名。

(1)虚拟机网络设置

!!!注意:这里也是保证虚拟机能够连接网络的重要设置,平时虚拟机连不上网也可以通过这里的设置方式连接网络

a.虚拟机设置

选择VMnet8，取消“使用本地DHCP服务将IP地址分配给虚拟机”。我们自己来手动设置IP地址。(这里的IP地址与下面虚拟机的网络设置相关,需要注意进行灵活更改)

image

image

b.windows虚拟网卡设置

image

(2)修改主机名

在虚拟机Node_02的操作窗口执行修改主机名的命令，将主机名修改为node02。

hostnamectl set-hostname node02

(3)修改网络配置

a.查看网卡配置文件

cd /etc/sysconfig/network-scripts

image

b.添加网卡配置文件的写权限

sudo chmod -v a+w ifcfg-ens33

具体见博客:https://www.cnblogs.com/Studywith/p/16946106.html

c.编辑网卡配置文件

vim ifcfg-ens33

①将参数BOOTPROTO的值由dhcp(动态路由协议)修改为static(静态路由协议)。

②添加参数IPADDR(IP地址，根据虚拟机IP取值范围而定)为192.168.121.131。

③添加参数GATEWAY(网关)为192.168.121.2。(对应虚拟机网关)

④添加参数NETMASK(子网掩码)为255.255.255.0。

⑤添加参数DNS1(域名解析器)为8.8.8.8。

image 

BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="5018ef5d-81b9-4401-b986-bf83d391ed3c"
DEVICE="ens33"
ONBOOT="yes"

IPADDR=192.168.121.131
GATEWAY=192.168.121.2
NETMASK=255.255.255.0
DNS1=8.8.8.8

(4)修改UUID

在虚拟机Node_02的操作窗口执行修改网卡配置文件中UUID的命令。UUID作用是使分布式系统中的所有元素都有唯一的标识码。

sudo sed -i '/UUID=/c\UUID='`uuidgen`'' /etc/sysconfig/network-scripts/ifcfg-ens33

通过执行sed命令，将uuidgen工具生成的新UUID值替换网卡配置文件中默认UUID参数的值。

(5)重启虚拟机和网卡

在虚拟机Node_02的操作窗口执行重启虚拟机或重启虚拟机网卡的命令，使虚拟机Node_02中网卡配置文件配置的内容生效。重启后在虚拟机Node_02的操作窗口执行查看网络信息的命令。

service network restart #重启虚拟机网卡
reboot #重启虚拟机
ip addr #查看网络信息

image

(6)测试连接

使用windows主机ping 192.168.121.131,可以成功

image

(7)重复操作,完成三台虚拟机的配置

(在vim的普通模式下键入“ggdG”即可删除其中全部内容,直接复制上文网卡配置,改变IP地址即可)

服务器名称

IP地址

主机名

子网掩码

网关

DNS1

Node_01

192.168.121.130

node01

255.255.255.0

192.168.121.2

8.8.8.8

Node_02

192.168.121.131

node02

255.255.255.0

192.168.121.2

8.8.8.8

Node_03

192.168.121.132

node03

255.255.255.0

192.168.121.2

8.8.8.8

2.配置SSH服务

(1)查看OpenSSH

在配置SSH实现远程登录之前，需要在虚拟机Node_02的操作窗口执行查看虚拟机是否安装OpenSSH的命令

rpm -qa | grep openssh

在虚拟机Node_02的操作窗口执行查看虚拟机是否开启OpenSSH服务的命令

service sshd status

开启方法见博客:

https://blog.csdn.net/qq_35731100/article/details/126244176

注意:只有开启OpenSSH服务后才能使用远程连接工具进行连接,否则会无法连接

image

(2)创建快速连接(在windows主机上操作)

使用远程连接工具创建到虚拟机上的远程连接,这里我使用的是MobaXterm,创建好SSH链接后启动,输入密码即可远程连接到Node_02虚拟机上

image

image

3.完整快速操作

网卡配置—测试连通--SSH开启--远程连接--完成连接

image

image

image

image

image

文章参考:https://www.cnblogs.com/dhanchor/p/11392002.html

脑袋凉凉
关注
专栏目录
Linux-Hadoop部署
Pythonwudud的博客
11-30 1062
在伪分布式模式下， Hadoop程序的守护进程都运行在一台节点上，该模式主要用于调试Hadoop分布式程序的代码，以及程序执行是否正确。在完全分布式模式下，Hadoop的守护进程分别运行在由多个主机搭建的集群上，不同节点担任不同的角色，在实际工作应用开发中，通常使用该模式构建企业级Hadoop系统。由于Hadoop是由Java语言开发的，Hadoop集群的使用依赖于Java环境，因此安装Hadoop集群之前，需要先安装并配置好JDK。(-r：recursive - 递归)在配置Hadoop时，常用的就是。
大数据学习----Hadoop分布式环境搭建
lovewuye的博客
05-04 438
大数据学习----Hadoop完全分布式环境搭建 第一章 Linux安装 第二章 Linux配置 第三章 Hadoop完全分布式环境搭建 参考文章：Linux系统（Ubuntu16.04）ssh配置无密码登录 Hadoop完全分布式环境搭建大数据学习----Hadoop完全分布式环境搭建前言一、所需要的资源二、Hadoop概要及原理介绍Hadoop概要三、Hadoop环境搭建前的准备（一）创建Hadoop用户（二）更新apt(三)安装SSH1.每个节点生成公私密钥。2.将公钥文件复制成为成authoriz
Hadoop0.20.2版本在Ubuntu10下安装和配置
u013646747的博客
06-28 214
1、安装JDK　　（1）下载安装JDK：确保计算机联网之后命令行输入下面命令安装JDK　　     sudo apt-get install sun-java6-jdk　　（2）配置计算机Java环境：打开/etc/profile，在文件最后输入下面内容　　     export JAVA_HOME = （Java安装目录）　　     export CLASSPATH = ".:$JAVA_HO...
Linux搭建Hadoop集群（详细步骤）
最新发布
沃和莱特的博客
10-07 2294
Hadoop集群搭建
Linux中Hadoop的环境搭建
qq_38983002的博客
03-18 198
一：下载安装 Hadoop 1.1：下载指定的Hadoop 1.2：通过XFTP把文件上传到master电脑bigData目录下 1.3：解压hadoop压缩文件 tar -xvf hadoop-2.8.0.tar.gz 1.4：进入压缩文件之后 复制路径 /bigData/hadoop-2.8.0 1.5：配置Ha...
【Linux】—Hadoop运行环境搭建（完全分布式）
sodaloveer的博客
07-03 1449
【Linux】—Hadoop运行环境搭建（完全分布式）
Linux部署Hadoop集群
weixin_44744442的博客
10-10 305
文章目录1、获取安装包2、上传3、安装jdk4、准备服务器5、设置映射 1、获取安装包 官网：http://hadoop.apache.org/ 2、上传 把安装包上传到服务器 上传的方式 通过xftp上传 通过lrzsz上传 两种上传方式详见jdk部署：https://blog.csdn.net/weixin_44744442/article/details/119815062 3、安装jdk 详见：https://blog.csdn.net/weixin_44744442/article
大数据框架入门-hadoop(基于VMware的linux环境搭建/hadoop完全分布式部署/hadoop底层原理讲解)
02-19
1.您将获取关于hadoop大数据框架的基础资料 2.您将大致了解hadoop基础原理知识 适用人群： 掌握基础编程语言(有相关的编程经验的话更好)的对于大数据感兴趣的大数据入门初学者 资源文件的内容： 1.相关课件 2.专业...
大数据平台环境搭建---- Hadoop组件配置
qq_74400992的博客
07-19 240
配置三台主机作为Hadoop数据仓库，一台主机作为管理机（master），两台主机作为服务机（slave1，slave2）进入Hadoop配置目录：cd /usr/local/src/hadoop/etc/hadoop/线程：master——六个 slave1——三个 slave2——三个。免密登录就会出错，三台虚拟机互通的前提就是做好映射，否者是没有办法把文件拷贝给其两台的 ——格式：IP地址：50070 ——这里有个小细节，冒号一定要是英文的状态下去输入。
大数据-2：Hadoop生态以及HDFS部署
Fancyll_Lee的博客
09-23 473
文章目录1. Haoop简介2. 安装单机版Hadoop3. Hadoop运行3.1 独立运行/Local (Standalone) Mode3.2 伪分布式集群/Pseudo-Distributed Mode3.3 全分布式集群/Fully-Distributed Mode 1. Haoop简介 MFS作为分布式文件系统，有很强的灵活扩展性，常用于网盘等；但做数据挖掘，分析用户数据时，常用Hadoop生态下的HDFS文件系统； HDFS起源于GFS，GFS为Google的分布式文件系统Google Fi
大数据教程之搭建Hadoop集群.zip_大数据环境搭建hadoop
01-09
4. "细细品味Hadoop_Hadoop集群（第5期）_Hadoop安装配置.pdf"：这是关于Hadoop安装配置的高级部分，可能包括了Hadoop环境变量设置、配置文件修改等。 5. "细细品味Hadoop_Hadoop集群（第3期）_VSFTP安装配置.pdf...
大数据开发Linux环境搭建
11-12
大数据开发环境搭建--centOS在VMWare下安装--jdk1.8安装，内附完整步骤的安装文档
linux搭建hadoop环境
北暖的博客
02-28 1128
一、搭建思路 1. 拥有配置好的Linux操作系统 2. 将hadoop2.7.2.tar.gz 和jdk1.8.0_144.tar.gz 3. 配置jdk和hadoop的环境变量 4. 配置hadoop的相关配置 5. 启动并且访问web页面 二、环境说明 1. 物理机win10系统 2. 虚拟机LinuxCentOS6.10 3. Hadoop版本 hadoop2.7.2 4.jdk版本 j...
Hadoop安装部署
11-30 152
1.说明共有两台机器（一台式一笔记本），主机名为gislq-1，gislq-2IP地址：192.9.116.20，192.9.116.67操作系统：均为Ubuntu 10.10hadoop：hadoop-0.16.3.tar.gz[1]gislq-1作为namenode（master），gislq-2作为datanode（slave）【1】遇到问题 我最初下载的是最新的hadoop版本0.21...
Linux CentOS下大数据环境搭建（zookeeper+hadoop+hbase+spark+scala）
qq_52836012的博客
03-22 1621
本篇文章是结合我个人学习经历所写，如果遇到什么问题或者我有什么错误，欢迎讨论。
linux下hadoop 环境搭建
l576754326的博客
12-29 2113
准备 3台linux 分别hostname为: node-1,node-2,node-3 vi /etc/sysconfig/network HOSTNAME=yourhostname #保存 hostname yourhostname hostname 安装 JDK 并配置 环境变量 通过xshell等ssh 工具 查看3台机子的时间是否一致(需通过成一致的时间) xshell 查看-撰写-撰写窗口-全部会话(可以在敲一遍命名 在所有窗口生效) Vi /etc/hosts 12..
Linux环境Hadoop环境搭建
baidu_38216965的博客
11-26 1364
在安装Hadoop之前，要求先预装： 1- 安装JDK 8 2- 下载Hadoop,下载地址如下： https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 开始部署： 1.将下载完成的压缩包传输到Liunx服务器。 2.解压Hadoop压缩包 tar -xvf hadoop-3.2.2.tar.gz 3.配置环境变量 在 /etc/profile 文件中加入以下内容： 1) 编辑profile文件： vim /ect/profile 2) 在文
大数据-linux环境搭建
zcg_good的博客
10-23 1193
一、虚拟机安装 VMware虚拟机下载地址：https://pan.baidu.com/s/1gXspKov4RC_kHnhdYqcZlQ 提取码：8nqy 二、Linux操作系统安装 1.引入库 代码如下（示例）： import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import warnings warnings.filterwarnings('ig..
大数据学习之路：从Java到Hadoop环境搭建
此外，文档还涵盖了大数据环境的搭建，从安装Linux系统到在VM虚拟机上部署Hadoop，包括独立模式、伪分布模式和全分布模式，并涉及到Hadoop的一键启动脚本制作和常用命令操作。" 在大数据领域，Java是一种基础且重要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值