Hadoop集群搭建以及注意事项

一.hadoop的应用

Hadoop是一个大数据技术的集合体，由Java开发，支持多种编程语言。它的应用比较广泛，可以通过Java编写WriteHDFS应用。WriteHDFS应用是用于将数据写入Hadoop分布式文件系统（HDFS）的工具。此外还可以数据导入和导出工具Sqoop，用于在Hadoop和传统数据库之间进行数据传递。

二.hodoop集群搭建

确保你的虚拟机之间可以通过免密登录进行通信。如果不清楚如何进行免密登录，可以参考Linux中root用户之间的免密登录的教程。

将hadoop-2.6.0-cdh5.14.2.tar.gz和hadoop-native-64-2.6.0.tar这两个文件通过xftp传输到vmmaster虚拟机的/opt/install/hadoop目录下。

在vmmaster虚拟机中将hadoop-2.6.0-cdh5.14.2.tar.gz解压到/opt/bigdata/hadoop目录中。你可以将解压后的文件夹名字修改为hadoop260，并将权限修改为root。

配置Java Development Kit(JDK)以便进行Hadoop的编译。

配置Hadoop文件系统，也就是hadoop fs的文件系统。

三.

1. 确保Linux环境配置正确：在Centos6.5上搭建Hadoop集群前，需要进行基础环境配置。这包括安装必要的软件和库文件，设置正确的主机名和网络配置，以及确保系统的内核参数和防火墙设置符合Hadoop的要求。

2. 配置Hadoop集群：在搭建Hadoop集群前，需要对Hadoop的配置文件进行适当的修改。其中，修改"hadoop-env.sh"文件是常见的操作，通过该文件可以设置Hadoop的环境变量和Java虚拟机参数等。

3. 离线部署方式：如果选择离线部署方式，在搭建Hadoop集群前需要准备好必要的安装包和依赖文件。其中，安装"zstd"是一个示例，你可以使用"yum"命令安装。

综上所述，搭建Hadoop集群时需要注意Linux环境的配置、Hadoop的配置文件修改和离线部署方式的准备。遵循这些注意事项可以确保Hadoop集群的成功搭建。

ps:1.Linux环境的配置：①查看全局变量  echo $PATH

②

临时配置

export PATH=$PATH:/usr/local/php/bin  为php环境

export PATH=$PATH:/home/yuqiao/downloads

这样关闭shell之后就会失效。

③

永久配置
 # vim ~/.bash_profile # 用户全局变量配置文件
 vim /etc/profile # 系统全局变量配置文件，修改之
 source /etc/profile # 立即生效
2.hadoop的配置文件修改

①创建Hadoop使用到的目录

先在本地创建目录
/home/hadoop/hadoop
/home/hadoop/hadoop/tmp
/home/hadoop/hadoop/namenode
/home/hadoop/hadoop/datanode

master@master:/home/hadoop$ su hadoop  #切换到hadoop用户
密码： 

hadoop@master:~$ mkdir hadoop
hadoop@master:~$ chmod -R 777 hadoop
hadoop@master:~$ 
hadoop@master:~$ cd hadoop
hadoop@master:~/hadoop$ mkdir tmp
hadoop@master:~/hadoop$ chmod -R 777 tmp
hadoop@master:~/hadoop$ 
hadoop@master:~/hadoop$ mkdir namenode
hadoop@master:~/hadoop$ chmod -R 777 namenode
hadoop@master:~/hadoop$ 
hadoop@master:~/hadoop$ mkdir datanode
hadoop@master:~/hadoop$ chmod -R 777 datanode
hadoop@master:~/hadoop$ 
②修改配置文件

(1)sudo gedit hadoop-env.sh

# The java implementation to use.
export JAVA_HOME=/data/jdk1.8.0_111
(2)sudo gedit yarn-env.sh

# some Java paramet

三.问题集锦

1.修改名字时权限不够要使用超级管理员权限（会出现以下报红情况）

核心代码：①.su root(超级管理员权限）

②.查找用户名 cat /etc/hostname

③.修改用户名 cat/etc/hostname

2.三台虚拟机遇到连接问题（一直连接不上一直断开）

需要打开断开的那台对应的虚拟机，检查它是否开启