Hadoop环境搭建

已于 2022-01-23 10:26:19 修改
阅读量1.1k 收藏 1
点赞数
文章标签： hadoop 大数据 big data
于 2022-01-20 21:52:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37837061/article/details/122605738
版权

目录

搭建模板虚拟机

vmware安装

        下载方法1（下载特定版本）：

下载方法2（下载最新版本）：

 vmware安装

vmware的使用

centos

安装步骤

搭载硬件

安装软件（安装操作系统）

配置ip地址

远程工具

xshell 

xftp

模板虚拟机准备

安装epel-release

关闭防火墙

关闭单机防火墙

 新建用户

配置用户具有root权限

拷贝三台虚拟机

拷贝虚拟机

修改虚拟机主机名称和ip地址

配置xshell

搭建模板虚拟机

  • 原因
    • 搭建好模板虚拟机之后，后续若想继续增加服务器，不需要每次都安装操作系统和其他配置，只需要拷贝就可以了
  • 配置项
    • 内存：4g/8g
    • 硬盘：至少50G
    • ip：后面增加服务器的时候不能直接拷贝，需要修改
    • 主机名称：后面增加服务器的时候不能直接拷贝，需要做修改

vmware安装

下载方法1（下载特定版本）：

打开链接

官方网址

选择适当的版本之后转至下载 

下载方法2（下载最新版本）：

安装教程

官方网址

选择resources-product trails-desktop hypervisor-vmware workstation pro

 

 vmware安装

根据自己的需要更改安装位置，且不勾选增强型键盘驱动。

取消勾选图中的两个复选框

vmware的使用

密钥获取 

这里可以根据自己的版本选择密钥

centos

安装步骤

首先搭建硬件基础，在此基础上安装软件，配置ip和主机名称 

搭载硬件

安装软件（安装操作系统）

配置ip地址

  • 需要配置的地方：Linux服务器需要配置，VMware需要配置，windows服务器
  • 相关链接
  • 按照上面的链接操作之后，我发现我依旧无法联网，解决方法如下：相关链接
    • 即在图形化界面把之前配置的东西再输入一遍就可以了

远程工具

xshell 

  •  目标
    • 在办公室可以远程操控服务器
  • 工具：xshell
    • 按照下面的链接安装：相关链接
    • 安装之后会报错：
      • 按照下面的链接修改：相关链接
        • 用notepad++打开
        • 然后显示为十六进制（plugins - hex-editor - show in hex ），若没有安装十六进制插件需要先安装插件（安装方法）
        • 查找
        • 7F 0C 81 F9 80 33 E1 01 0F 86 81
        • 将86修改为83，然后保存
      • 这个错误产生的原因：相关链接
  • 新建一个远程连接

xftp

  • 目标：xshell用来建立远程连接，xftp用来再这个连接中传输文件
  • 安装方式：
    • 相关链接
    • 安装完成后报错
      • 和上面安装xshell产生的报错是一样的，那么解决方法也是一样的
  • 使用方法：相关链接

模板虚拟机准备

安装epel-release

epel-release相当于一个软件仓库，其提供额外的软件包

安装命令：

yum install -y epel-release

关闭防火墙

防火墙部署：单个机器不部署防火墙，访问外网时部署防火墙

关闭单机防火墙

命令：

systemctl stop firewalld
# 关闭防火墙
systemctl disable firewalld.service
#关闭防火墙开机自启

 

 新建用户

useradd me
passwd 123456

配置用户具有root权限

vim /etc/sudoers

打开之后

可以看到root用户具有任何权限，可以做任何事情

那么如何配置me用户具有root用户的权限哪？

在wheel后面加一句

me ALL=(ALL) NOPASSWD:ALL

 

 详细内容查看：相关链接

拷贝三台虚拟机

拷贝虚拟机

拷贝虚拟机之前需要将虚拟机关机

右键虚拟机 - 管理 - 克隆 - 创建完整克隆

修改虚拟机主机名称和ip地址

首先切换至root用户态下

其次打开终端，修改IP地址

 然后修改主机名称

vim /etc/hostname

接着重启虚拟机

reboot

 重启之后检查ip地址是否正确：

ifconfig

 

 发现这里产生错误，（此错误可能时因为版本引起的，有些童鞋不会出现这个错误，那就不用管了），这里的ip地址时192.168.10.130，和我们设置的192.168.10.104不同，只需要在图形化页面重新改一次就可以了，修改方法查看连接：相关连接

然后检查hostname是否正确：

hostname

 

配置xshell

新建连接，修改名称和主机，然后点击用户身份验证，填写用户名和密码

安装hadoop

按照如下链接安装：相关链接

steven~~~
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoop环境搭建
05-21
关于环境搭建流程的方法，大家可以参考一下，Hadoop以及spark的环境搭建
HDFS核心参数配置
zhongmingyu
03-13 682
Hadoop里面NameNode和DataNode是动态分配的（hadoop3.x），并且都是984M。，如果服务器内存4G，NameNode内存可以配置3g。开启回收站功能，可以将删除的文件在不超时的情况下，恢复原数据，起到防止误删除、备份等作用。回收站目录在HDFS集群中的路径：/user/mingyu/.Trash/…企业经验：dfs.namenode.handler.count=修改core-site.xml，配置垃圾回收时间为60分钟。）注意：通过网页上直接删除的文件也不会走回收站。
安装Hadoop
weixin_52938172的博客
04-24 2869
今天记录一下，安装Centos系统，相当于虚拟化一个计算机系统，而一个计算机系统包括软件和硬件。 处理器数量一般是2，每个处理器的内核数量看母机window的内核数量。 打开任务管理器，点资源监视器，我的是8个内核。 这样设置一台虚拟机是2*1个内核，待会你开机的虚拟机总的内核数量<母机的内核数量8即可。 比如:待会你要同时开4台虚拟机,那么它的内核总数是4*2=8,没有超过8,就是可以的. ...
Hadoop集群环境配置及安装配置（详细过程包含安装包）_hadoop安装与配置
2401_84164617的博客
04-08 928
外链图片转存中…(img-7CJpwEiM-1712519919597)][外链图片转存中…(img-wqqfoXTX-1712519919597)]
Hadoop学习之Hadoop完全分布式集群安装
AlienTech for better life!~
12-16 1572
注：本文的主要目的是为了记录自己的学习过程，也方便与大家做交流。转载请注明来自： http://blog.csdn.net/ab198604/article/details/8250461   要想深入的学习hadoop数据分析技术，首要的任务是必须要将hadoop集群环境搭建起来，可以将hadoop简化地想象成一个小软件，通过在各个物理节点上安装这个小软件，然后将其运行起来
大数据技术之Hadoop-入门
sinat_29950703的博客
05-03 3072
Hadoop Distributed File System，简称HDFS，是一个Hadoop分布式文件系统。1）NameNode（老板）：负责数据存在什么位置，整个数据的存储情况。2）DataNode：负责数据具体存在哪，存的什么信息。3）2NN（秘书）：备份，辅助NameNode工作，防止NameNode出bug导致整个集群的瘫痪。Yet Another Resource Negotiator简称YARN ，另一种资源协调者，是Hadoop的资源管理器（主要管理CPU和内存两大组件。
大数据集群搭建全部过程（Vmware虚拟机、hadoop、zookeeper、hive、flume、hbase、spark、yarn）
m0_55901666的博客
04-28 9611
大数据集群搭建进度及问题总结 所有资料在评论区那里可以得到 第一章： 1.网关配置（参照文档） 注意事项：第一台虚拟机改了，改为centos 101 ，地址为192.168.181.130 网关依然是192.168.181.2,但是一定要注意，它在D盘的文件名称是Hadoop 101,后面重新搭建的会命名文件夹为hadoop 101,hadoop 102和hadoop 103,然后发到一个总的文件夹hadoop_03里面去 VMnet8的IP地址一定是自己的，自动获取的，不能和张部长的192.168.
hadoop环境搭建.docx
01-06
该文档详细描述了Hadoop的环境搭建过程，每一个步骤都包含在内。该文档详细描述了Hadoop的环境搭建过程，每一个步骤都包含在内。该文档详细描述了Hadoop的环境搭建过程，每一个步骤都包含在内。该文档详细描述了...
hadoop环境搭建资源
08-30
hadoop环境搭建资源 hadoop环境搭建资源 hadoop环境搭建资源 hadoop环境搭建资源
hadoop环境搭建.jpg
最新发布
05-15
Hadoop是一个由Apache基金会所开发的分布式系统基础架构，它允许用户在不了解分布式底层细节的情况下，开发分布式程序。Hadoop充分利用集群的威力进行高速运算和存储，其核心设计包括HDFS（Hadoop Distributed File ...
hadoop集群虚拟机环境准备.txt
04-24
虚拟机配置 硬盘50G 内存4G cpu 6*2 2*2 /boot 200M /swap 2G / 全部 虚拟机准备 1. 防火墙关闭 service iptables stop //服务关闭 chkconfig iptables off //关闭开机自启 查看是否关闭成功 service iptables status #iptables：未运行防火墙。 chkconfig --list iptables #iptables 0:关闭 1:关闭 2:关闭 3:关闭 4:关闭 5:关闭 6:关闭 2. 创建一个一般用户atguigu useradd usr100 passwd usr100 （密码111111 ） 3. 在/opt目录下创建software module文件夹 mkdir /opt/software /opt/module chown usr100:usr100 /opt/software /opt/module #把这二个文件夹的权限从root改到usr100用户下 4. 把这个用户加到sudoers vim /etc/sudoers usr100 ALL=(ALL) NOPASSWD: ALL :wq!强制保存 su usr100 #切换到usr100用户 sudo ls #没有报错，说明添加成功 exit #回到root 5. 改Hosts vim /etc/hosts在文件后拷贝追加 192.168.1.100 hadoop100 192.168.1.101 hadoop101 192.168.1.102 hadoop102 192.168.1.103 hadoop103 192.168.1.104 hadoop104 192.168.1.105 hadoop105 192.168.1.106 hadoop106 192.168.1.107 hadoop107 192.168.1.108 hadoop108 192.168.1.109 hadoop109 查看自己的机器的ip用ifconfig命令 如果不支持拷贝则要写sell脚本添加 以下6,7,8步每克隆一台都需要做一遍
Hadoop环境搭建.pdf
10-11
Hadoop环境搭建.pdf Hadoop环境搭建.pdf Hadoop环境搭建.pdf
Hadoop环境搭建笔记
01-07
声明：个人笔记，我自己看的不想看勿喷 配置jdk 在根目录opt文件夹下创建两个文件夹：module和software（命令：...配置环境变量： sudo vi /etc/profile 在最后面添加 ##JAVA_HOME //JAVA环境变量 export JAVA_HOM
最详细的Hadoop环境搭建
09-30
最详细的Hadoop环境搭建
Hadoop环境搭建过程中遇到的问题及解决方法
10-16
主要介绍了Hadoop环境搭建过程中遇到的问题及解决方法，本文给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友参考下吧
【Hadoop配置】用最短的时间配置伪分布式Hadoop（个人亲身经历）
m0_56406353的博客
10-27 1861
2022.10.26晚进行实验时，需要使用到hdfs上传文件，但是半年没用过虚拟机了，忘记了hadoop的安装位置，导致无法启动节点，于是将虚拟机上的原hadoop文件夹删除，将hadoop用户删除，重新配置了hadoop，为帮助遇到类似问题的小伙伴，同时也做一个记录以备我需要时查阅，特此记录全过程如下。
Hadoop运行环境搭建
qq_45491549的博客
08-24 321
目录测试环境网络配置VMware的网络配置Windows的网络配置虚拟机网络IP修改地址配置修改主机名和hosts文件Hadoop运行环境搭建模拟虚拟机环境准备克隆虚拟机在hadoop102安装JDK在hadoop102安装HadoopHadoop目录结构 测试环境 Linux系统版本：CentOS 7 x86 Hadoop版本：hadoop-3.1.3 终端模拟软件：SecureCRT Java版本：jdk-8u162-linux-x64 安装模板虚拟机，IP地址192.168.10.100、主机名称.
Hadoop (三) --------- Hadoop 运行环境搭建 (虚拟机)
在森林里麋了鹿
07-11 2631
Hadoop 运行环境配置

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值