hadoop笔记

最新推荐文章于 2024-05-28 13:26:13 发布

shuangmu9768

最新推荐文章于 2024-05-28 13:26:13 发布

阅读量1.7w

点赞数

分类专栏： java笔记文章标签： hadoop java 大数据

本文链接：https://blog.csdn.net/shuangmu9768/article/details/108399355

版权

java笔记专栏收录该内容

59 篇文章 11 订阅 ¥9.90 ¥99.00

订阅专栏

这篇博客详细记录了Hadoop框架的核心组件MapReduce和HDFS，以及从单机到集群的逐步部署过程，包括伪分布式和全分布式部署。同时，涵盖了在Ubuntu上搭建Hadoop2.9集群的步骤，并讨论了Hadoop高可用性（HA）配置。还总结了eclipse-hadoop插件使用中可能遇到的问题。

摘要由CSDN通过智能技术生成

【1】Hadoop框架核心：MapReduce、HDFS。
【2】Hadoop单机部署
【3】伪分布式部署
【4】eclipse-hadoop 插件问题汇总
【5】ubuntu16.04部署hadoop2.9集群
【6】配置hadoop集群HA

【1】Hadoop框架核心：MapReduce、HDFS。
【2】Hadoop单机部署

#本地模式是最简单的模式，所有模块都运行与一个JVM进程中，使用的本地文件系统，而不是HDFS，本地模式主要是用于本地开发过程中的运行调试用。下载hadoop安装包后不用任何设置，默认的就是本地模式。
1.安装ssh
sudo apt-get install ssh
sudo apt-get install rsync	#远程数据同步工具
2.下载hadoop安装包
https://mirror.bjtu.edu.cn/apache/hadoop/common/stable/
3.解压安装包，并配置环境变量。
export  JAVA_HOME=/opt/jdk1.8
export  JRE_HOME=$JAVA_HOME/jre
export  CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export  PATH=$JAVA_HOME/bin:$PATH
export  HADOOP_HOME=/opt/hadoop-2.9.0
export  PATH=$PATH:$HADOOP_HOME/bin:$HADO

了解本专栏