Hadoop-2.6.0配置

最新推荐文章于 2024-09-18 10:39:18 发布
最新推荐文章于 2024-09-18 10:39:18 发布
阅读量1.5k 收藏 8
点赞数 4
文章标签： Hadoop CentOS MapReduce VirtualBox
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Robin_John/article/details/90743585
版权
本文详细记录了在VirtualBox中使用CentOS配置Hadoop-2.6.0的全过程，包括网络环境设置、JDK安装、SSH免密登录以及Hadoop的安装和配置。通过一步步的指导，帮助读者顺利完成Hadoop集群的搭建。
摘要由CSDN通过智能技术生成

我自己配置Hadoop的过程挺艰难的，东拼西凑找遍教程，可算把这配好了。特此写一个记录，以防日后所需，同时也希望能帮到大家。

目录

事先准备

软件 下载地址
CentOS 7.4 https://www.centos.org/download/
VirtualBox 6.0 https://www.virtualbox.org/wiki/Downloads
JDK 1.8 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
Hadoop 2.6 https://hadoop.apache.org/releases.html
XShell 6 https://www.netsarang.com/zh/xshell/
XFtp 6 https://www.netsarang.com/zh/xftp/

VirtualBox

安装CentOS

  1. 新建虚拟机
    类型：Linux；版本：Red Hat 32/64依自身情况在这里插入图片描述
  2. 挂载镜像文件 ，将会带来全新的写作体验；
  3. 启动并安装 ；安装时选择最小安装即可
    在这里插入图片描述

配置网络环境

  1. 网卡1
    在这里插入图片描述

  2. 网卡2（这里使用的是WIFI，如果是有线网络 见3）
    在这里插入图片描述

  3. 网卡2（有线网络）在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  4. CentOS中的网络设置：
    首先在windows中输入ipconfig /all查看网络配置。如图，我的虚拟机软件所分配到的ipv4为192.168.56.1；那么我们实际在虚拟机中的ipv4地址的范围应该是192.168.56.2~192.168.56.255。

    在这里插入图片描述接下来在CentOS中操作：
    输入ip add查看网络配置

    1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
   valid_lft forever preferred_lft forever
inet6 ::1/128 scope host 
   valid_lft forever preferred_lft forever
2: enp0s3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 08:00:27:e7:0e:5b brd ff:ff:ff:ff:ff:ff
inet 192.168.56.2/24 brd 192.168.56.255 scope global enp0s3
   valid_lft forever preferred_lft forever
inet6 fe80::9f23:fc55:29a7:6e2c/64 scope link 
   valid_lft forever preferred_lft forever
3: enp0s8: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 08:00:27:6d:1e:ed brd ff:ff:ff:ff:ff:ff
inet6 2408:84ef:22:eab6:3cd8:95a0:8ce9:4ad9/64 scope global noprefixroute dynamic 
   valid_lft 3363sec preferred_lft 3363sec
inet6 fe80::22ed:6b14:3db9:426f/64 scope link 
   valid_lft forever preferred_lft forever

    输入vi /etc/sysconfig/network-scripts/ifcfg-enp0s3编辑enp0s3网卡
    修改其中的ONBOOT;IPADDR;NETMASK;GATEWAY

    TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=enp0s3
UUID=8b84fb8e-0a8c-4ed8-9d81-b33f2043980c
DEVICE=enp0s3
ONBOOT=yes
IPADDR=192.168.56.2
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
PREFIX=24
DNS1=114.114.114.114

    设置完成后输入service network restart来重启网络
    方便起见，这里可以先把防火墙关了，输入systemctl stop firewalld.service
    输入systemctl status firewalld.service确认防火墙已被关闭
    在这里插入图片描述
    如图: 防火墙已被关闭

    Active: inactive (dead)

    测试与实体机的连接ping 192.168.43.1，Ctrl/Command + Z停止ping
    在这里插入图片描述
    测试与外网的连接ping www.baidu.com
    回到实体机，打开cmd，输入ping 192.168.56.2测试与虚拟机的连接

Linux常用命令

管理员权限:sudo（下文配置时的指令操作如果出现错误，就在指令前加sudo）
防火墙状态:systemctl status firewalld.service
关闭防火墙:systemctl stop firewalld.service
编辑enp0s3网卡:vi /etc/sysconfig/network-scripts/ifcfg-enp0s3
重启network:service network restart
更改DNS
查看当前启动的连接:nmcli connection show
更改DNS:nmcli con mod enp0s3 ipv4.dns 114.114.114.114
配置生效:nmcli con up enp0s3
配置hadoop文件:cd /usr/local/hadoop-2.6.0/etc/hadoop

取消当前指令：Ctrl/Command + Z
保存文件并退出：先按Esc;然后 Shift + ; （即输入“：”）最后输入wq

XFtp 连接 CentOS

左上角新建连接
在这里插入图片描述

连接成功后，左边为本机文件，右边为虚拟机文件；可以通过右键本机文件将其上传至虚拟机
在这里插入图片描述

XShell 连接 CentOS

左上角新建连接
在这里插入图片描述

点击用户身份验证，输入用户名和密码
在这里插入图片描述

安装JDK

下载JDK 1.8: 链接；在这里插入图片描述
利用XFtp将文件发送到CentOS中。
输入tar -zxvf jdk-8u202-linux-x64.tar.gz解压文件
输入mv jdk1.8.0_202 /usr/local/将解压好的文件夹移动到usr/local文件夹下(个人习惯问题，可不移)
在这里插入图片描述

输入vim /etc/profile配置JDK环境；在文件最下面输入：

export JAVA_HOME=/usr/local/jdk1.8.0_202/
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

如图在这里插入图片描述
输入source /etc/profile使方才的修改生效
输入java -version测试是否生效，如图：
在这里插入图片描述

Hadoop配置前期准备(Hadoop安装&SSH免密登录)

最低0.47元/天 解锁文章
Robin_John
关注
hadoop-2.6.0
07-24
博客对应的hadoop文件。　
hadoop 2.6全分布安装
weixin_33752045的博客
02-12 170
环境：centos 6.6 + hadoop2.6 虚拟机：（vmware fusion 7.0.0） 虚拟机hostname      /    IP地址 master / 192.168.187.102 slave01 / 192.168.187.103 slave02 / 192.168.187.104 注：前三个步骤都是准备工作，如果已经完成，可直接进入步骤四 步骤一: 先在...
【大数据】深入了解Hadoop
最新发布
m0_46181896的博客
09-18 3770
hdfs的元数据两个部分内存上的元数据在服务运行期间,所有的元数据会先存储在内存上文件信息,datanode信息,块信息元数据文件为了避免内存上的元数据丢失,会将内存的上的元数据保存在磁盘上secondarynamenode完成元数据文件的保存存储位置在hadoop的指定数据edits_xxxxx 编辑日志文件,记录所有的文件操作信息fsimage_xxxxx 镜像文件,保存了元数据内容 文件和块内容datanode会汇报自身状态给NameNode,默认是3秒。
hadoop2.6.0版本-hadoop-2.6.0.tar.gz
10-28
用于在ubuntu上搭建hadoop集群的工具，使用wget下载太慢，放到csdn上来下载，速度贼快
hadoop2.6版本集群环境搭建
stark_summer
01-05 425
一、环境说明 1、机器：一台物理机 和一台虚拟机 2、linux版本：[spark@S1PA11 ~]$ cat /etc/issueRed Hat Enterprise Linux Server release 5.4 (Tikanga) 3、JDK:[spark@S1PA11 ~]$ java -versionjava version "1.6.0_27"Java(TM) SE Run...
hadoop-2.6.0完全分布式配置
agent_bin的博客
05-15 1248
SSH互信 配置环境变量 java安装 hadoop集群搭建
hadoop-eclipse-plugin-2.6.0.jar.zip_2.6.0_hadoop_hadoop plugin
07-15
2. **配置Hadoop环境**：在Eclipse中，需要配置Hadoop的运行环境，包括Hadoop的安装路径、HDFS地址等信息。 3. **创建Hadoop项目**：在Eclipse的“文件”菜单中选择“新建” -> “其他”，在弹出的对话框中找到...
hadoop-2.6.0.tar.gz&hadoop-2.6.0-cdh5.16.2.tar.gz
02-17
《Hadoop 2.6.0：Apache与CDH版本详解》 Hadoop，作为大数据处理领域的核心组件，是开源社区的重要成果，尤其在2.6.0版本中，其功能更加完善，性能显著提升。这里我们将深入探讨两个重要的Hadoop 2.6.0发行版——...
hadoop-2.6.0-cdh5.7.0版本.zip
03-25
6. **Hadoop安装与配置**: 安装Hadoop-2.6.0-cdh5.7.0版本需要配置集群环境，包括设置环境变量、配置集群节点间通信、初始化HDFS和YARN等。同时，还需要考虑安全性、监控和性能优化等方面。 7. **Hadoop应用开发**:...
hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz
03-14
这个压缩包“hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz”是针对CDH（Cloudera Distribution Including Apache Hadoop）版本5.14.0的Hadoop 2.6.0安装包，特别优化以适应CentOS 6.9操作系统。在大数据领域，...
hadoop-common-2.6.0-bin-master.zip
04-07
Hadoop Common 2.6.0-bin-master.zip包含了搭建这种环境所需的所有文件和配置。 1. 安装步骤：首先，解压下载的zip文件，然后根据官方文档或教程进行环境变量配置，如HADOOP_HOME、PATH等，确保系统能够找到Hadoop...
hadoop-2.6.0.tar.gz
04-24
hadoop-2.6.0.tar.gz
hadoop-2.6.0 Window客户端
05-08
hadoop-2.6.0 Window客户端，解压到目录，设置环境变量即可使用。java调用实例：// windows环境下需要配置Hadoop的客户端 System.setProperty("hadoop.home.dir", "E:/hadoop-2.6.0/"); conf = new Configuration(); fs = FileSystem.get(new URI("hdfs://192.168.1.222:8020"), conf, "hdfs");
hadoop-2.6.0.tar
12-26
hadoop-2.6.0.tar.gz hadoop2.6版本在linux上的安装包
hadoop-2.6.0 windows版本
10-13
windows 可用 hadoop2.6.0版本，解压后、配置环境变量即可使用。注意：hadoop-env.cmd是1.8的，记得修改第26行的JAVA_HOME 如下： set JAVA_HOME=C:\\Progra~1\Java\jdk1.8.0_172 如果JDK安装在C盘Program Files下面，请用Progra~1替代
Hadoop 2.6的安装配置
lbship的博客
09-25 327
之前已经按照了Hadoop1.2和java 1.6了 现在准备再安装一个Hadoop2.6.具体安装过程就不重复了。 这里主要记录几个重要的配置参数。 1.bashrc export JAVA_HOME=/usr/local/src/jdk1.6.0_45 export SQOOP_HOME=/usr/local/src/sqoop-1.99.4-bin-hadoop200 export...
Hadoop2.6.2完全分布式集群HA模式安装配置详解
Meyao's Blog
04-13 7452
一、机器配置清单(8节点) hadoop100 节点：NameNode、DFSZKFailoverController(ZKFC) hadoop101 节点：NameNode、DFSZKFailoverController(ZKFC) hadoop102: 节点：ResourceManager hadoop103: 节点：ResourceManager hadoop104: 节点：Data
hadoop2.6.0安装
shiminle的博客
02-01 508
1安装位置  /usr/local/hadoop/ 输入如下命令来检查 Hadoop 是否可用 cd /usr/local/hadoop ./bin/hadoop version Hadoop 默认模式为非分布式模式(单机模式)直接可运行 运行例子 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapredu
CDH5.5.0环境下Hadoop-2.6.0详细安装指南
此外，还应注意一些本地库的配置问题，特别是当Hadoop依赖于其他库时，如在`/home/toptea/hadoop-2.6.0-cdh5.5.0`路径下可能需要配置相关的本地库路径。这一步骤可能因具体环境而异，确保所有必要的库都能被正确引用...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值