学习Hadoop

最新推荐文章于 2024-05-06 11:37:09 发布

@zhouQuan

最新推荐文章于 2024-05-06 11:37:09 发布

阅读量190

点赞数

分类专栏：大数据学习运维实施文章标签： hadoop linux

本文链接：https://blog.csdn.net/qq_42453104/article/details/106560513

版权

运维实施同时被 2 个专栏收录

5 篇文章 0 订阅

订阅专栏

大数据学习

2 篇文章 0 订阅

订阅专栏

文章目录

- 基本知识

此文章为观看慕课网Kit_Ren老师录制的免费课程之后所写的笔记。

基本知识

Hadoop的功能及应用场景

Hadoop的组成

HDFS：分布式文件系统，存储海量数据。
MapReduce:并行处理框架，实现任务分解和调度。

Hadoop可以干什么

搭建大型数据仓库，PB级数据的存储、处理、分析、统计等业务。例如：搜索引擎、日志分析、数据挖掘等。

Hadoop生态圈

Hive: 使用SQL语句查询Hadoop数据，简化Hadoop的操作。
HBase: 存储结构化数据的分布式数据库(放弃了事务），实现对表数据的读写功能。
Zookeeper: 监控节点状态，维护节点配置，保持节点间的一致性。

Hadoop的安装

安装前置技能

1.linux环境
2.安装JDK

linux 系统

我的是本地虚拟机，当然也可以申请云虚拟机，等哥有钱了也申请个玩玩。。。
启动本地虚拟机后输入Ifconfig 查看Host地址
在这里插入图片描述
因为我比较喜欢使用Xshell工具连接linux。
配置一下Xshell

安装JDK

首先要知道：Linux系统分为两种：

RedHat系列：Redhat、Centos、Fedora等，包管理工具是yum
Debian系列：Debian、Ubuntu等，包管理工具是apt-get
查看系统版本：

cat /proc/version

Linux version 2.6.32-696.el6.x86_64 (mockbuild@c1bm.rdu2.centos.org) (gcc version 4.4.7 20120313 (Red Hat 4.4.7-18) (GCC) ) #1 SMP Tue Mar 21 1
可以看到我得是RadHat系列，所以使用yum傻瓜式安装：

首先查看可安装的JDK版本

yum -y list java*

选择自己需要的jdk版本进行安装，我安装1.7，执行以下命令：

yum -get install openjdk-7-jdk

3.安装完成之后，查看安装的jdk版本

java -version

查看安装路径：

[root@zq jvm]# which java
/usr/bin/java
[root@zq jvm]# ls -lrt /usr/bin/java
lrwxrwxrwx. 1 root root 22 6月   5 08:04 /usr/bin/java -> /etc/alternatives/java
[root@zq jvm]# ls -lrt /etc/alternatives/java
lrwxrwxrwx. 1 root root 46 6月   5 08:04 /etc/alternatives/java -> /usr/lib/jvm/jre-1.7.0-openjdk.x86_64/bin/java
[root@zq jvm]#

/usr/lib/jvm/jre-1.7.0-openjdk.x86_64/bin/java 这个便是安装路径！

配置JDK环境变量

因为我的是mini版的centOS 所以需要安装vim,才可以使用vim命令。
安装vim：

yum -y install vim*

打开配置环境变量的文件

vim /etc/profile

在这里插入图片描述

从底部输入

export JAVA_HOME=/usr/lib/jvm/jre-1.7.0-openjdk.x86_64
export PATH=$JAVA_HOME/bin:$PATH
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

保存退出

:wq

使之立即生效

source /etc/profile

5.测试是否安装成功
在这里插入图片描述
配置成功！
编写一个java测试类：
新建一个Test.java测试类，里面输入：

public class Test { 
    public static void main(String args[]) { 
    System.out.println("A new jdk test !"); 
    } 
}

保存退出后，执行

[root@zq test]# ls
Test.java
[root@zq test]# javac Test.java 
[root@zq test]# java Test
A new jdk test !

Hadoop安装，配置Hadoop

安装下载命令控制器
由于我本地的虚拟机的linux系统比较干净，所以安装个下载命令器即可使用wget命令.
```
	yum  -y  install wget
```
下载hadoop的安装包

	wget  https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

	mv hadoop-1.2.1.tar.gz /opt/
	tar -zxvf  hadoop-1.2.1.tar.gz

配置hadoop
主要配置以下四个文件

4.1 配置hadoop-env.sh，修改java环境变量

		查看JDK路径
		echo JAVA_HOME
		进入 hadoop-env.sh 修改