[Java大数据入门]Hadoop伪分布式安装与配置

最新推荐文章于 2024-10-16 10:56:54 发布

Russell_Liu

最新推荐文章于 2024-10-16 10:56:54 发布

阅读量238

点赞数

分类专栏： Java大数据入门文章标签：大数据 Hadoop

本文链接：https://blog.csdn.net/Russell_Liu/article/details/88083238

版权

本文介绍了Hadoop的伪分布式安装过程，适用于个人学习。内容包括下载安装2.6.0-cdh5.7.0版本，配置核心及HDFS参数，设置SSH免密登录，启动Hadoop并访问web界面，为后续Hbase安装奠定基础。

摘要由CSDN通过智能技术生成

Hadoop是由Apache基金会所开发的分布式系统基础架构。它的核心概念主要有两个：

HDFS分布式文件系统，为海量数据提供存储
MapReduce计算框架，为海量数据提供了计算途径

现在Hadoop已经成为了一种生态，并且其底层的HDFS为许多数据库的底层实现，例如Hbase，就是DataBase on Hadoop，也就是基于Hadoop的数据库。由于后面数据的存储需要使用Hbase以及OpenTsdb，因此必须首先安装Hadoop。这篇文章不会讲解Hadoop的各种概念，只会讲解Hadoop的安装方式。如果需要了解Hadoop的基础概念，可以参考这篇博文：Hadoop 系列（一）基本概念。

一、下载与安装

版本：2.6.0-cdh5.7.0

安装包：hadoop-2.6.0-cdh5.7.0.tar.gz或者直接在官网上下载，地址为：

wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz

下载完安装包后，开始进行安装

## 下载hadoop安装包
wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz

## 解压
tar -zvxf hadoop-2.6.0-cdh5.7.0.tar.gz

## 设置软链接
ln -s /Users/liumenghao/bigData/hadoop-2.6.0-cdh5.7.0 /opt/hadoop

## 设置环境变量，在文件中添加下述内容
vim ~/.zshrc
#hadoop
export HADOOP_HOME=/opt/hadoop
export PATH