Hadoop学习之集群安装

最新推荐文章于 2022-08-25 08:34:51 发布
最新推荐文章于 2022-08-25 08:34:51 发布
阅读量221 收藏
点赞数
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43109532/article/details/105034880
版权

1.虚拟机准备

1.准备一台虚拟机（Centos7）
2.克隆虚拟机
3.修改克隆虚拟机的静态ip
cd /etc/sysconfig/network-scripts
查看当前网卡名称ifconfig
在这里插入图片描述
ens33网卡对应的配置文件为ifcfg-ens33，使用vim编辑如下:

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static			# 使用静态IP地址，默认为dhcp
DEFROUTE=yes				
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=856b0be1-0fce-4abf-bc33-b0b59dd90c2f
DEVICE=ens33
ONBOOT=yes					#是否
IPADDR=192.168.122.110		# 设置的静态IP地址
PREFIX=24
GATEWAY=192.168.122.2		# 网关地址
DNS1=114.114.114.114		# DNS服务器
NETMASK=255.255.255.0		# 子网掩码
NM_CONTROLLED=no

service network restart重启网络服务即可
4.修改主机名
查看主机名 hostname
配置IP地址映射为 vim /etc/hosts
在这里插入图片描述
5.创建用户

useradd jsx
password hadoop

授权sudo权限
查找sudoers文件位置 whereis sudoers
在这里插入图片描述
插看权限

ll /etc/sudoers

在这里插入图片描述
修改文件为可编辑(要在root用户下进行)

chmod -v u+w /etc/sudoers

在这里插入图片描述
编辑文档

vim /etc/sudoers

在这里插入图片描述
收回权限

chmod -v u-w /etc/sudoers

6.关闭防火墙

sudo systemctl stop firewalld 临时关闭
sudo systemctl disable firewalld ，然后reboot 永久关闭
sudo systemctl status  firewalld 查看防火墙状态

7.在/opt目录下创建文件夹
（1）在/opt目录下创建module、software文件夹

sudo mkdir module
sudo mkdir software

（2）修改module、software文件夹的所有者

sudo chown jsx:jsx module/ software/

在这里插入图片描述

2.安装JDK

1.卸载现有JDK
（1）查询是否安装Java软件：
[jsx@hadoop opt]$ rpm -qa | grep java
（2）如果安装的版本低于1.7，卸载该JDK：
[jsx@hadoop opt]$ sudo rpm -e 软件包
（3）查看JDK安装路径：
[jsx@hadoop ~]$ which java
2. 用filezilla工具将JDK导入到opt目录下面的software文件夹下面
在这里插入图片描述
3. 在Linux系统下的opt目录中查看软件包是否导入成功
[jsx@hadoop opt]$ cd software/
[jsx@hadoop software]$ ls
hadoop-2.7.2.tar.gz jdk-8u144-linux-x64.tar.gz
4.解压JDK到/opt/module目录下
[jsx@hadoop software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
5.
（1）先获取JDK路径
[jsx@hadoop jdk1.8.0_144]$ pwd
/opt/module/jdk1.8.0_144
（2）打开/etc/profile文件
[jsx@hadoop software]$ sudo vi /etc/profile
在profile文件末尾添加JDK路径
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
（3）保存后退出
:wq
（4）让修改后的文件生效
[jsx@hadoop jdk1.8.0_144]$ source /etc/profile
6.测试JDK是否安装成功
[jsx@hadoop jdk1.8.0_144]# java -version
java version “1.8.0_144”

3.安装Hadoop

Hadoop下载地址：
https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/
1.用filezilla工具将Hadoop软件导入到opt目录下面的software文件夹下面
2.进入到Hadoop安装包路径下
[jsx@hadoop ~]$ cd /opt/software/
3. 解压安装文件到/opt/module下面
[jsx@hadoop software]$ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
4. 查看是否解压成功
[jsx@hadoop software]$ ls /opt/module/
hadoop-2.7.2
5. 将Hadoop添加到环境变量
（1）获取Hadoop安装路径
[jsx@hadoop hadoop-2.7.2]$ pwd
/opt/module/hadoop-2.7.2
（2）打开/etc/profile文件
[jsx@hadoop hadoop-2.7.2]$ sudo vi /etc/profile
在profile文件末尾添加JDK路径：（shitf+g）
##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
（3）保存后退出
:wq
（4）让修改后的文件生效
[jsx@ hadoop hadoop-2.7.2]$ source /etc/profile
6. 测试是否安装成功
[jsx@hadoop hadoop-2.7.2]$ hadoop version
Hadoop 2.7.2

4.Hadoop目录结构

1、查看Hadoop目录结构
[jsx@hadoop hadoop-2.7.2]$ ll
总用量 52
drwxr-xr-x. 2 jsx jsx 194 4月 21 2019 bin
drwxr-xr-x. 3 jsx jsx 20 4月 21 2019 etc
drwxr-xr-x. 2 jsx jsx 106 4月 21 2019 include
drwxrwxr-x. 2 jsx jsx 147 4月 21 2019 input
drwxrwxr-x. 2 jsx jsx 30 4月 21 2019 jars
drwxr-xr-x. 3 jsx jsx 20 4月 21 2019 lib
drwxr-xr-x. 2 jsx jsx 218 4月 21 2019 libexec
drwxrwxr-x. 2 jsx jsx 88 4月 21 2019 output
drwxr-xr-x. 2 jsx jsx 4096 4月 21 2019 sbin
drwxr-xr-x. 4 jsx jsx 31 4月 21 2019 share
2、重要目录
（1）bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本
（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
（4）sbin目录：存放启动或停止Hadoop相关服务的脚本
（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例

5.Hadoop运行模式

Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。
伪分布式运行模式：启动HDFS并运行MapReduce程序

  1. 分析
    （1）配置集群
    （2）启动、测试集群增、删、查
    （3）执行WordCount案例
  2. 执行步骤
    （1）配置集群
    （a）配置：hadoop-env.sh
    Linux系统中获取JDK的安装路径：
    [jsx@ hadoop ~]# echo $JAVA_HOME
    /opt/module/jdk1.8.0_144
    修改JAVA_HOME 路径：
    export JAVA_HOME=/opt/module/jdk1.8.0_144
    （b）配置：core-site.xml
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
    <value>hdfs://hadoop.jsx:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

（c）配置：hdfs-site.xml

<!-- 指定HDFS副本的数量 -->
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>

2）启动集群
（a）格式化NameNode（第一次启动时格式化，以后就不要总格式化）
[jsx@hadoop hadoop-2.7.2]$ bin/hdfs namenode -format
（b）启动NameNode
[jsx@hadoop hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode
（c）启动DataNode
[jsx@hadoop hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode
（3）查看集群
（a）查看是否启动成功
[atguigu@hadoop101 hadoop-2.7.2]$ jps
13586 NameNode
13668 DataNode
13786 Jps
注意：jps是JDK中的命令，不是Linux命令。不安装JDK不能使用jps
（b）web端查看HDFS文件系统
http://hadoop101:50070/dfshealth.html#tab-overview
注意：如果不能查看，看如下帖子处理
http://www.cnblogs.com/zlslch/p/6604189.html
（c）查看产生的Log日志
说明：在企业中遇到Bug时，经常根据日志提示信息去分析问题、解决Bug。
当前目录：/opt/module/hadoop-2.7.2/logs
[jsx@hadoop logs]$ ls
hadoop-jsx-datanode-hadoop.jsx.log
hadoop-jsx-datanode-hadoop.jsx.out
hadoop-jsx-namenode-hadoop.jsx.log
hadoop-jsx-namenode-hadoop.jsx.out
SecurityAuth-jsx.audit
[jsx@hadoop logs]# cat hadoop-jsx-datanode-hadoop.jsx.log
（4）操作集群
（a）在HDFS文件系统上创建一个input文件夹
[jsx@hadoop hadoop-2.7.2]$ bin/hdfs dfs -mkdir -p /user/jsx/input
（b）将测试文件内容上传到文件系统上
[jsx@hadoop hadoop-2.7.2]$ bin/hdfs dfs -put wcinput/wc.input /user/jsx/input/
（c）查看上传的文件是否正确
[jsx@hadoop hadoop-2.7.2]$ bin/hdfs dfs -ls /user/jsx/input/
[jsx@hadoop hadoop-2.7.2]$ bin/hdfs dfs -cat /user/jsx/ input/wc.input
（d）运行MapReduce程序
[jsx@hadoop hadoop-2.7.2]$ bin/hadoop jar
share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/jsx/input/ /user/jsx/output
（e）查看输出结果
命令行查看：
[jsx@hadoop hadoop-2.7.2]$ bin/hdfs dfs -cat /user/jsx/output/*
（f）将测试文件内容下载到本地
[jsx@hadoop hadoop-2.7.2]$ hdfs dfs -get /user/jsx/output/part-r-00000 ./wcoutput/
（g）删除输出结果
[jsx@hadoop hadoop-2.7.2]$ hdfs dfs -rm -r /user/jsx/output
3.启动YARN并运行MapReduce程序

  1. 分析
    （1）配置集群在YARN上运行MR
    （2）启动、测试集群增、删、查
    （3）在YARN上执行WordCount案例
  2. 执行步骤
    （1）配置集群
    （a）配置yarn-env.sh
    配置一下JAVA_HOME
    export JAVA_HOME=/opt/module/jdk1.8.0_144
    （b）配置yarn-site.xml
<!-- Reducer获取数据的方式 -->
<property>
 		<name>yarn.nodemanager.aux-services</name>
 		<value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop.jsx</value>
</property>

（c）配置：mapred-env.sh

配置一下JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144

（d）配置： (对mapred-site.xml.template重新命名为) mapred-site.xml
[jsx@hadoop hadoop]$ mv mapred-site.xml.template mapred-site.xml
[jsx@hadoop hadoop]$ vi mapred-site.xml

<!-- 指定MR运行在YARN上 -->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>

（2）启动集群
（a）启动前必须保证NameNode和DataNode已经启动
（b）启动ResourceManager
[jsx@hadoop hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager
（c）启动NodeManager
[jsx@hadoop hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager
（3）集群操作
（a）YARN的浏览器页面查看，如图2-35所示
http://hadoop.jsx:8088/cluster
（b）删除文件系统上的output文件
[jsx@hadoop hadoop-2.7.2]$ bin/hdfs dfs -rm -R /user/jsx/output
（c）执行MapReduce程序
[jsx@hadoop hadoop-2.7.2]$ bin/hadoop jar
share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/jsx/input /user/atguigu/output
（d）查看运行结果
[jsx@hadoop hadoop-2.7.2]$ bin/hdfs dfs -cat /user/jsx/output/*
4.配置历史服务器
为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：
(1). 配置mapred-site.xml
[jsx@hadoop hadoop]$ vi mapred-site.xml
在该文件里面增加如下配置。

<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop.jsx:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop.jsx:19888</value>
</property>

(2). 启动历史服务器
[jsx@hadoop hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver
(3). 查看历史服务器是否启动
[jsx@hadoop hadoop-2.7.2]$ jps
(4). 查看JobHistory
http://hadoop.jsx:19888/jobhistory
5.配置日志的聚集
日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。
日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。
开启日志聚集功能具体步骤如下：
(1).配置yarn-site.xml
[jsx@hadoop hadoop]$ vi yarn-site.xml
在该文件里面增加如下配置。

<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

<!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

(2).关闭NodeManager 、ResourceManager和HistoryManager
[jsx@hadoop hadoop-2.7.2]$ sbin/yarn-daemon.sh stop resourcemanager
[jsx@hadoop hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager
[jsx@hadoop hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh stop historyserver
(3).启动NodeManager 、ResourceManager和HistoryManager
[jsx@hadoop hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager
[jsx@hadoop hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager
[jsx@hadoop hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver
(4).删除HDFS上已经存在的输出文件
[jsx@hadoop hadoop-2.7.2]$ bin/hdfs dfs -rm -R /user/jsx/output
(5).执行WordCount程序
[jsx@hadoop hadoop-2.7.2]$ hadoop jar
share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/jsx/input /user/jsx/output
(6).查看日志http://hadoop.jsx:19888/jobhistory

6.完全分布式运行模式

步骤：
1)准备3台客户机（关闭防火墙、静态ip、主机名称）
2)安装JDK
3)配置环境变量
4)安装Hadoop
5)配置环境变量
6)配置集群
7)单点启动
8)配置ssh
9)群起并测试集群
1.将文件分发到其他两台机器
（a）在hadoop.jsx上，将hadoop.jsx中/opt/module目录下的软件拷贝到hadoop.jsx02与hadoop.jsx03上。
[jsx@hadoop /]$ scp -r /opt/module jsx@hadoop.jsx02:/opt/module
[jsx@hadoop /]$ scp -r /opt/module jsx@hadoop.jsx03:/opt/module+
注意：拷贝过来的/opt/module目录，别忘了在hadoop.jsx、hadoop.jsx02、hadoop.jsx03上修改所有文件的，所有者和所有者组。
（b）将hadoop.jsx中/etc/profile文件拷贝到hadoop.jsx02与hadoop.jsx03的/etc/profile上。
[jsx@hadoop ~]$ sudo scp /etc/profile jsx@hadoop102:/etc/profile
[atguigu@hadoop ~]$ sudo scp /etc/profile jsx@hadoop.jsx03:/etc/profile
注意：拷贝过来的配置文件别忘了source一下/etc/profile。
2.集群配置
在这里插入图片描述
(1)配置core-site.xml
[jsx@hadoop hadoop]$ vi core-site.xml

在该文件中编写如下配置
<!-- 指定HDFS中NameNode的地址 -->
<property>
		<name>fs.defaultFS</name>
      <value>hdfs://hadoop.jsx:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

(2).HDFS配置文件
配置hadoop-env.sh
[jsx@hadoop hadoop]$ vi hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
配置hdfs-site.xml
[jsx@hadoop hadoop]$ vi hdfs-site.xml
在该文件中编写如下配置

<property>
		<name>dfs.replication</name>
		<value>1</value>
</property>

<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>hadoop.jsx03:50090</value>
</property>

（3）YARN配置文件
配置yarn-env.sh
[jsx@hadoop hadoop]$ vi yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
配置yarn-site.xml
[jsx@hadoop hadoop]$ vi yarn-site.xml
在该文件中增加如下配置

<!-- Reducer获取数据的方式 -->
<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop.jsx02</value>
</property>

（4）MapReduce配置文件
配置mapred-env.sh
[jsx@hadoop hadoop]$ vi mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
配置mapred-site.xml
[jsx@hadoop hadoop]$ cp mapred-site.xml.template mapred-site.xml
[jsx@hadoop hadoop]$ vi mapred-site.xml
在该文件中增加如下配置

<!-- 指定MR运行在Yarn上 -->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>

(5).利用scp将文件分发
3.集群单点启动
（1）如果集群是第一次启动，需要格式化NameNode
[jsx@hadoop hadoop-2.7.2]$ hadoop namenode -format
（2）在hadoop.jsx02上启动NameNode
[jsx@hadoop hadoop-2.7.2]$ hadoop-daemon.sh start namenode
（3）在hadoop.jsx、hadoop.jsx02以及hadoop.jsx03上分别启动DataNode
4.SSH无密登录配置
(1).生成公钥和私钥:[jsx@hadoop .ssh]$ ssh-keygen -t rsa
然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
(2)将公钥拷贝到要免密登录的目标机器上
[jsx@hadoop .ssh]$ ssh-copy-id hadoop.jsx
[jsx@hadoop .ssh]$ ssh-copy-id hadoop.jsx02
[jsx@hadoop .ssh]$ ssh-copy-id hadoop.jsx03
注意：
还需要在hadoop.jsx上采用root账号，配置一下无密登录到hadoop.jsx、hadoop.jsx02、hadoop.jsx03；
还需要在hadoop.jsx02上采用jsx账号配置一下无密登录到hadoop.jsx、hadoop.jsx02、hadoop.jsx03服务器上。
5.群起集群
(1).配置slaves
/opt/module/hadoop-2.7.2/etc/hadoop/slaves
[jsx@hadoop hadoop]$ vi slaves
在该文件中增加如下内容：
hadoop.jsx
hadoop.jsx02
hadoop.jsx03
同步节点
(2).启动集群
（a）如果集群是第一次启动，需要格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）
[jsx@hadoop hadoop-2.7.2]$ bin/hdfs namenode -format
（b）启动HDFS
[jsx@hadoop hadoop-2.7.2]$ sbin/start-dfs.sh
（c）启动YARN
[jsx@hadoop hadoop-2.7.2]$ sbin/start-yarn.sh
注意：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN。
（d）Web端查看SecondaryNameNode
(3).集群基本测试
（1）上传文件到集群
上传小文件
[jsx@hadoop hadoop-2.7.2]$ hdfs dfs -mkdir -p /user/jsx/input
[jsx@hadoop hadoop-2.7.2]$ hdfs dfs -put wcinput/wc.input /user/jsx/input
上传大文件
[jsx@hadoop hadoop-2.7.2]$ bin/jdfs dfs -put
/opt/software/hadoop-2.7.2.tar.gz /user/jsx/input
（2）上传文件后查看文件存放在什么位置
（a）查看HDFS文件存储路径
[jsx@hadoop subdir0]$ pwd
/opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/BP-938951106-192.168.10.107-1495462844069/current/finalized/subdir0/subdir0
（b）查看HDFS在磁盘存储文件内容
[jsx@hadoop subdir0]$ cat blk_1073741825
hadoop yarn
hadoop mapreduce
hadoop
hadoop.jsx
（3）拼接
-rw-rw-r–. 1 jsx jsx 134217728 5月 23 16:01 blk_1073741836
-rw-rw-r–. 1 jsx jsx 1048583 5月 23 16:01 blk_1073741836_1012.meta
-rw-rw-r–. 1 jsx jsx 63439959 5月 23 16:01 blk_1073741837
-rw-rw-r–. 1 jsx jsx 495635 5月 23 16:01 blk_1073741837_1013.meta
[jsx@hadoop subdir0]$ cat blk_1073741836>>tmp.file
[jsx@hadoop subdir0]$ cat blk_1073741837>>tmp.file
[jsx@hadoop subdir0]$ tar -zxvf tmp.file
（4）下载
[jsx@hadoop hadoop-2.7.2]$ bin/hdfs dfs -get
/user/jsx/input/hadoop-2.7.2.tar.gz ./
6.集群启动/停止方式总结

  1. 各个服务组件逐一启动/停止
    （1）分别启动/停止HDFS组件
    hadoop-daemon.sh start / stop namenode / datanode / secondarynamenode
    （2）启动/停止YARN
    yarn-daemon.sh start / stop resourcemanager / nodemanager
  2. 各个模块分开启动/停止（配置ssh是前提）常用
    （1）整体启动/停止HDFS
    start-dfs.sh / stop-dfs.sh
    （2）整体启动/停止YARN
    start-yarn.sh / stop-yarn.sh

7.集群时间同步

时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步
配置时间同步具体实操：

  1. 时间服务器配置（必须root用户）
    （1）检查ntp是否安装
    [root@hadoop 桌面]# rpm -qa|grep ntp
    ntp-4.2.6p5-10.el6.centos.x86_64
    fontpackages-filesystem-1.41-1.1.el6.noarch
    ntpdate-4.2.6p5-10.el6.centos.x86_64
    （2）修改ntp配置文件
    [root@hadoop 桌面]# vi /etc/ntp.conf
    修改内容如下
    a）修改1
    #restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap为
    restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
    b）修改2（集群在局域网中，不使用其他互联网上的时间）
    server 0.centos.pool.ntp.org iburst
    server 1.centos.pool.ntp.org iburst
    server 2.centos.pool.ntp.org iburst
    server 3.centos.pool.ntp.org iburst为
    #server 0.centos.pool.ntp.org iburst
    #server 1.centos.pool.ntp.org iburst
    #server 2.centos.pool.ntp.org iburst
    #server 3.centos.pool.ntp.org iburst
    c）添加3（当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步）
    server 127.127.1.0
    fudge 127.127.1.0 stratum 10
    （3）修改/etc/sysconfig/ntpd 文件
    [root@hadoop 桌面]# vim /etc/sysconfig/ntpd
    增加内容如下（让硬件时间与系统时间一起同步）
    SYNC_HWCLOCK=yes
    （4）重新启动ntpd服务
    [root@hadoop 桌面]# service ntpd status
    ntpd 已停
    [root@hadoop 桌面]# service ntpd start
    正在启动 ntpd： [确定]
    （5）设置ntpd服务开机启动
    [root@hadoop 桌面]# chkconfig ntpd on
  2. 其他机器配置（必须root用户）
    （1）在其他机器配置10分钟与时间服务器同步一次
    [root@hadoop 桌面]# crontab -e
    编写定时任务如下：
    */10 * * * * /usr/sbin/ntpdate hadoop102
    （2）修改任意机器时间
    [root@hadoop 桌面]# date -s “2017-9-11 11:11:11”
    （3）十分钟后查看机器是否与时间服务器同步
    [root@hadoop 桌面]# date
    说明：测试的时候可以将10分钟调整为1分钟，节省时间。
皮了卡乓乓兵丘
关注
Hadoop伪分布式集群安装部署
郭龙飞的学习博客
02-19 1786
部署 下载安装包 上传并解压安装包 配置环境变量 修改配置文件 格式化 HDFS 修改脚本文件 启动并验证 停止集群 注意： 1、默认已安装并配置完成JDK环境 2、默认已安装并配置完成 CentOS7 Linux 环境 3、将当前主机名修改为 bigdata01 4、伪分布式集群一般在学习阶段使用 下载安装包 下载地址 https://hadoop.apache.org/ 点击 “download” 按钮 - 显示最新的版本，如果要下载早期版本点击如下连接 - 本教程已3.2.0版本为例
集群安装步骤
02-11
用于描述构建大数据平台
linux常见题 （2）
分享自己浅浅的知识
12-25 399
1、创建目录/opt/software mkdir /opt/software 2、创建目录树/opt/software/tools mkdir -p /opt/software/tools 3、创建空文件log的命令是什么 touchlog 4、在所有分区中查找一个名为demo.txt的文件 [root@localhost software]# find / -name "demo.txt" /home/monkey/demo.txt 5、如何确定一个文件的类型 ...
Linux下
weixin_50648720的博客
12-08 2062
Linux网络管理1-主机名管理命令网络管理2-网络服务管理网络服务管理命令网络管理3-网卡激活与关闭管理查看网卡的名字关闭网卡实现步骤激活网卡实现步骤网络管理4-配置静态ipip配置的类型windwos配置静态ip配置与配置说明查询vmnet8网卡nat模式的网关信息linux系统配置静态ip实现步骤网络管理5-虚拟机快照快照介绍实现步骤网络管理6-克隆虚拟电脑实现步骤网络管理7-域名映射url域名访问服务器通信原理本地域名映射文件位置修改本地域名映射实现步骤网络管理8-查询网络进程使用端口号命令语法实现
ubuntu software没有软件_为什么说Ubuntu是一个值得尊敬的Linux发行版
weixin_39980903的博客
11-25 2007
极少部分长的帅的和漂亮还会点关注Ubuntu用了好长时间了，最早接触的是RedHat，个人使用体验并不好，当时一直在想，为什么就没有一个更好用的Linux操作系统呢？别万年不变的Windows不行吗？(当时作为一个穷学生党，完全不想还有高大上的MacOS可用)，直到我看到了Ubuntu。译者是从14.04版本开始跟Ubuntu的，16.04，18.04，一路走来，Ubuntu从没让我失望...
linux software,linux软件管理
weixin_31199559的博客
05-26 405
1.使用网络安装资源安装软件vim /etc/yum.repos.d/yum.repo #文件名称必须以repo结尾[rhel7.2]name=rhel7.2 source #对文件源的描述bashurl=http://172.25.254.250/rhel7.2/x86_64/dvd #网络安装源gpgchechk=0enabled=1yum clean all #清空系...
细细品味Hadoop_Hadoop集群VSFTP安装配置.rar_hadoop
09-21
这个压缩包文件"细细品味Hadoop_Hadoop集群VSFTP安装配置.rar_hadoop"似乎属于一个系列教程，专注于Hadoop集群的构建与管理，特别是结合了VSFTP（Very Secure FTP）的安装配置。VSFTP是一个在Linux系统中常用的、...
细细品味Hadoop_Hadoop集群CentOS安装配置.rar_hadoop
09-24
在IT行业中，大数据处理是一个至关重要的领域，而Hadoop作为其中的明星框架，为企业提供了高效、可扩展的数据...通过这个系列的学习，你将具备搭建和管理Hadoop集群的基本技能，为进一步探索大数据世界打下坚实基础。
ol7.7安装部署4节点hadoop 3.2.1分布式集群学习环境的详细教程
10-15
本文档介绍了一个详细的教程，用于在Oracle Linux 7.7 (OL7.7)上安装和部署一个包含4个节点的Hadoop 3.2.1分布式集群学习环境。Hadoop集群的搭建不仅仅是安装过程的堆砌，更涉及到系统配置、网络设置、安全认证等多...
hadoop学习虚拟机集群搭建
09-19
Hadoop的特性优点 高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。 高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。 高效性。Hadoop...
Linux安装软件总结 (二.几种安装命令介绍)
weixin_30425949的博客
08-27 6265
一、rpm包安装方式步骤：1、找到相应的软件包，比如soft.version.rpm，下载到本机某个目录；2、打开一个终端，su -成root用户；3、cd soft.version.rpm所在的目录；4、输入rpm -ivh soft.version.rpm 详细介绍： 1. 安装：　　我只需简单的一句话，就可以说完。执行：　　rpm –ivh rpm的软件包名　 更高级的，请...
linux软件无法打开,ubuntu无法打开software-center
weixin_29009501的博客
05-08 1279
BUG：在ubuntu14.04LTS版本下，点击软件中心图标，过了一会软件未能启动，没有动静。用命令行启动报如下错误:perrin@LittleBlack:~/Desktop$ sudo software-centerFile "/usr/bin/software-center", line 140print time.time()^SyntaxError: invalid syntax经过多番...
【Linux入门学习之】Ubuntu常用软件
weixin_33826609的博客
09-11 898
速配指南之软件参考 本文定位：作为速配指南的补充，列出国内用户比较常用的软件。请将论坛软件推荐版块的内容逐步转移至wiki，而非本文。 本文作用：为新手指明软件的方向，也可供已入门的同仁参考。 注意事项： 本文及文中涉及到的词条亟待你的完善。编辑本文前请访问本文讨论页文中标 和 分别代表 Ubuntu/GNOME （使用GTK+） 和 Kubuntu/KDE （使用QT） 默...
ubuntu software没有软件_今天吹一吹Ubuntu，这个Linux个人桌面版的扛把子
weixin_39819974的博客
12-15 1857
话说，这Ubuntu 想当年绝对是Linux 个人桌面的扛把子，多少人认识Linux系统，安装的第一个Linux系统就是它。虽说这几年不断有发行版风头一度赶超Ubuntu，例如易用的薄荷发行版Linuxmint；对新手友好，不怕滚挂的Manjaro；linux大神爱用的Fedora；桌面漂亮的Deepin等。但Ubuntu的普及率，使用广度还是最好的。想当年，我也是从Ubuntu一路走过...
安装的Linux 没有opt目录,Linux 程序安装目录 /opt 目录和 /usr/local 目录
weixin_28802499的博客
05-08 2365
1. opt 目录/opt 目录用来安装附加软件包，是用户级的程序目录，可以理解为 D:/Software。安装到 /opt 目录下的程序，它所有的数据、库文件等等都是放在同个目录下面。opt 有可选的意思，这里可以用于放置第三方大型软件(或游戏)，当你不需要时，直接 rm -rf 掉即可。在硬盘容量不够时，也可将 /opt 单独挂载到其他磁盘上使用。2. /usr/local目录/usr：系统级...
2022年全国职业院校技能大赛(高职组)
weixin_54412689的博客
08-25 6905
2022年全国职业院校技能大赛(高职组)
超详细 Hadoop 安装（内附ssh免密登录，图文详解，小白必看）
m0_46440794的博客
03-27 5633
hadoop2.7.7.tar.gz 链接：https://pan.baidu.com/s/18tMvslkfjyulrip9-2IitQ 提取码：aoye 复制这段内容后打开百度网盘手机App，操作更方便哦 jdk-8u211-linux-x64.tar 链接：https://pan.baidu.com/s/1lGoPs6zwmkysw4uW2PhXag 提取码：aoye 复制这段内容后打开百度网盘手机App，操作更方便哦 ...
Linux部署hadoop2.7.7集群
程序员欣宸的博客
02-08 5452
在CentOS7环境下，hadoop2.7.7集群部署的实战
JDK、Hadoop安装（8）
qq_41544550的博客
10-28 844
一、JDK安装 1、用SecureCRT的FX工具将jdk导入到opt目录下面的software文件夹下面 2、在linux系统下的opt目录中查看软件包是否导入成功 [atguigu@hadoop101 opt]$ cd software/ 3、解压jdk到/opt/module目录下 [atguigu@hadoop101 software]$ ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值