【无标题】

最新推荐文章于 2024-07-19 15:36:42 发布
最新推荐文章于 2024-07-19 15:36:42 发布
阅读量88 收藏
点赞数
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51473488/article/details/131483880
版权

1.模板虚拟机环境准备
将虚拟机IP设为静态，并进行配置
[root@ljc100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
修改为如下
TYPE=“Ethernet”
PROXY_METHOD=“none”
BROWSER_ONLY=“no”
BOOTPROTO=“static”
DEFROUTE=“yes”
IPV4_FAILURE_FATAL=“no”
IPV6INIT=“yes”
IPV6_AUTOCONF=“yes”
IPV6_DEFROUTE=“yes”
IPV6_FAILURE_FATAL=“no”
IPV6_ADDR_GEN_MODE=“stable-privacy”
NAME=“ens33”
UUID=“e59bb0ad-2918-4de6-93fa-46bd94c0a474”
DEVICE=“ens33”
ONBOOT=“yes”
IPADDR=192.168.10.100
GATEWAY=192.168.10.2
DNS1=192.168.10.2

配置模板虚拟机主机名称映射hosts文件
[root@ljc100 ~]# vim /etc/hosts

在末尾添加内容：
192.168.10.100 ljc100
192.168.10.101 ljc101
192.168.10.102 ljc102
192.168.10.103 ljc103
192.168.10.104 ljc104

重启虚拟机
[root@ljc100 ~]# reboot

在Windows中打开C:\Windows\System32\drivers\etc路径，在hosts文件中添加如下内容：
192.168.10.100 ljc100
192.168.10.101 ljc101
192.168.10.102 ljc102
192.168.10.103 ljc103
192.168.10.104 ljc104

安装epel-release
[root@ljc100 ~]# yum install -y epel-release

关闭防火墙，关闭防火墙开机自启
[root@ljc100 ~]# systemctl stop firewalld
[root@ljc100 ~]# systemctl disable firewalld.service

配置ljc1用户具有root权限
[root@ljc100 ~]# vim /etc/sudoers
ljc1配置如下：

Allows people in group wheel to run all commands

%wheel ALL=(ALL) ALL
ljc1 ALL=(ALL) NOPASSWD:ALL

在/opt/下创建2个目录，并修改所有者和所在组
[root@ljc100 opt]# mkdir module/ software/
[root@ljc100 opt]# chown ljc1:ljc1 module/ software/

卸载虚拟机自带JDK
[root@ljc100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e –nodeps

重启虚拟机
[root@ljc100 ~]# reboot
模板虚拟机CentOS7.6_LJC_100的配置完成

  1. 克隆虚拟机并配置网络
    以CentOS7.6_LJC_100为模板虚拟机，克隆三台虚拟机，分别为：
    CentOS7.6_LJC_102
    CentOS7.6_LJC_103
    CentOS7.6_LJC_104
    每台虚拟机配置4G内存，4核处理器，20G硬盘

配置CentOS7.6_LJC_102的IP
[root@ljc102 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
修改：
IPADDR=192.168.10.102

修改CentOS7.6_LJC_102的主机名称
[root@ljc102 ~]# vim /etc/hostname
由ljc100改为：
ljc102

重启虚拟机
[root@ljc102 ~]# reboot

CentOS7.6_LJC_103、CentOS7.6_LJC_104操作步骤同上

完成操作后，使用xshell远程连接ljc102、ljc103、ljc104

  1. JDK、Hadoop安装
    使用xftp上传Hadoop和JDK至ljc102
    解压JDK并指定目录
    [ljc1@ljc102 ~]$ cd /opt/software/
    [ljc1@ljc102 software]$ tar -zxvf jdk-8u321-linux-x64.tar.gz -C /opt/module/

配置JDK环境变量
[ljc1@ljc102 ~]$ sudo vim /etc/profile.d/my_env.sh
添加
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_321
export PATH= P A T H : PATH: PATH:JAVA_HOME/bin

使修改后的文件生效
[ljc1@ljc102 ~]$ source /etc/profile

测试JDK是否安装成功
[ljc1@ljc102 ~]$ java -version

解压Hadoop并指定目录
[ljc1@ljc102 ~]$ cd /opt/software/
[ljc1@ljc102 software]$ tar -zxvf hadoop-3.2.2.tar.gz -C /opt/module/

配置Hadoop环境变量
[ljc1@ljc102 ~]$ sudo vim /etc/profile.d/my_env.sh
在末尾添加
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.2.2
export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin
export PATH= P A T H : PATH: PATH:HADOOP_HOME/sbin
使修改后的文件生效
[ljc1@ljc102 ~]$ source /etc/profile
测试Hadoop是否安装成功
[ljc1@ljc102 ~]$ hadoop version
显示如下，安装成功：
Hadoop 3.2.2
Source code repository
Compiled by ljc1
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /opt/module/hadoop-3.2.2/share/hadoop/common/hadoop-common-3.2.2.jar

  1. Hadoop完全分布式配置
    在ljc102把ljc102的/opt/module/jdk1.8.0_321目录拷贝到ljc103
    [ljc1@ljc102 opt]$ scp -r /opt/module/jdk1.8.0_321 ljc1@ljc103:/opt/module
    在ljc103把ljc102的/opt/module/hadoop-3.2.2目录拷贝到ljc103
    [ljc1@ljc103 ~]$ scp -r ljc1@ljc102:/opt/module/hadoop-3.2.2 /opt/module/
    在ljc103把ljc102的/opt/module目录下的所有目录拷贝到ljc104
    [ljc1@ljc103 ~]$ scp -r ljc1@ljc102:/opt/module/* ljc1@ljc104:/opt/module

编写集群分发脚本xsync
在ljc102的/home/ljc1下新建目录bin
[ljc1@ljc102 ~]$ mkdir /home/ljc1/bin

创建xsync脚本
[ljc1@ljc102 ~]$ vim /home/ljc1/bin/xsync

写入如下内容
#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
echo Not Enough Arguement!
exit;
fi
#2. 遍历集群所有机器
for host in ljc102 ljc103 ljc104
do
echo -e “\n==================== $host ====================”
#3. 遍历所有目录，逐个发送
for file in $@
do
#4. 判断文件是否存在
if [ -e KaTeX parse error: Expected 'EOF', got '#' at position 41: … #̲5. 获取父目录 …(cd -P $(dirname KaTeX parse error: Expected 'EOF', got '#' at position 29: … #̲6. 获取当前文件的名称 …(basename $file)
ssh $host “mkdir -p $pdir”
rsync -av p d i r / pdir/ pdir/fname h o s t : host: host:pdir
else
echo $file does not exist!
fi
done
done
echo -e “\n”

使脚本 xsync 具有执行权限
[ljc1@ljc102 ~]$ cd bin/
[ljc1@ljc102 bin]$ chmod +x xsync

同步分发/home/ljc1/bin至ljc103、ljc104
[ljc1@ljc102 bin]$ cd
[ljc1@ljc102 ~]$ xsync bin/

可以在ljc103、ljc104上查看运行结果
[ljc1@ljc103 ~]$ ll bin/
[ljc1@ljc104 ~]$ ll bin/

分发环境变量
[ljc1@ljc102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh

在ljc103、ljc104上分别使修改后的文件生效
[ljc1@ljc103 ~]$ source /etc/profile
[ljc1@ljc104 ~]$ source /etc/profile

5.SSH免密登录配置
在ljc102上生成私钥和公钥
[ljc1@ljc102 ~]$ ssh-keygen -t rsa

在ljc102上将公钥拷贝到要免密登录的目标机器
[ljc1@ljc102 ~]$ ssh-copy-id ljc102
[ljc1@ljc102 ~]$ ssh-copy-id ljc103
[ljc1@ljc102 ~]$ ssh-copy-id ljc104
在ljc103、ljc104上同样进行以上步骤

在ljc102上切换至root用户
[ljc1@ljc102 ~]$ su

用root用户在ljc102上生成私钥和公钥
[root@ljc102 ~]# ssh-keygen -t rsa

用root用户在ljc102上将公钥拷贝到要免密登录的目标机器
[root@ljc102 ~]# ssh-copy-id ljc102
[root@ljc102 ~]# ssh-copy-id ljc103
[root@ljc102 ~]# ssh-copy-id ljc104
在ljc103、ljc104上同样进行以上步骤
6.集群配置
进入hadoop目录
[ljc1@ljc104 ~]$ cd /opt/module/hadoop-3.2.2/etc/hadoop/
配置core-site.xml
vim core-site.xml
在与之间添加内容：


fs.defaultFS
hdfs://ljc102:8020

<!-- 指定hadoop数据的存储目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-3.2.2/data</value>
</property>

<!-- 配置HDFS网页登录使用的静态用户为ljc1 -->
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>ljc1</value>

配置hdfs-site.xml
[ljc1@ljc102 hadoop]$ vim hdfs-site.xml

<!-- nn web端访问地址-->
<property>
    <name>dfs.namenode.http-address</name>
    <value>ljc102:9870</value>
</property>
<!-- 2nn web端访问地址-->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>ljc104:9868</value>
</property>

配置yarn-site.xml
[ljc1@ljc102 hadoop]$ vim yarn-site.xml

<!-- 指定MR走shuffle -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 指定ResourceManager的地址-->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>ljc103</value>
</property>

<!-- 环境变量的继承 -->
<property>
    <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>

<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://ljc102:19888/jobhistory/logs</value>
</property>

<!-- 设置日志保留时间为14天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>1209600</value>
</property>

配置mapred-site.xml
[ljc1@ljc102 hadoop]$ vim mapred-site.xml

<!-- 指定MapReduce程序运行在Yarn上 -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>ljc102:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>ljc102:19888</value>

分发配置文件
[ljc1@ljc102 hadoop]$ cd …
[ljc1@ljc102 etc]$ xsync hadoop/

同步所有节点配置文件
[ljc1@ljc102 ~]$ xsync /opt/module/hadoop-3.2.2/etc

7.编写Hadoop集群脚本
编写Hadoop集群启停脚本（包含HDFS，Yarn，Historyserver）：myhadoop.sh
[ljc1@ljc102 bin]$ vim myhadoop.sh

#!/bin/bash

if [ $# -lt 1 ]
then
echo “No Args Input!”
exit;
fi

case $1 in
“start”)
echo -e “\n================= 启动 hadoop集群 ="
echo " ------------------- 启动 hdfs --------------------"
ssh ljc102 “/opt/module/hadoop-3.2.2/sbin/start-dfs.sh”
echo " ------------------- 启动 yarn --------------------"
ssh ljc103 “/opt/module/hadoop-3.2.2/sbin/start-yarn.sh”
echo " --------------- 启动 historyserver ---------------"
ssh ljc102 “/opt/module/hadoop-3.2.2/bin/mapred --daemon start historyserver”
echo -e “\n”
;;
“stop”)
echo -e "\n= 关闭 hadoop集群 =================”
echo " --------------- 关闭 historyserver ---------------"
ssh ljc102 “/opt/module/hadoop-3.2.2/bin/mapred --daemon stop historyserver”
echo " ------------------- 关闭 yarn --------------------"
ssh ljc103 “/opt/module/hadoop-3.2.2/sbin/stop-yarn.sh”
echo " ------------------- 关闭 hdfs --------------------"
ssh ljc102 “/opt/module/hadoop-3.2.2/sbin/stop-dfs.sh”
echo -e “\n”
;;
*)
echo “Input Args Error!”
;;
esac

编写查看三台服务器Java进程脚本：jpsall
[ljc1@ljc102 bin]$ vim jpsall

#!/bin/bash

for host in ljc102 ljc103 ljc104
do
echo -e “\n=============== $host ===============”
ssh KaTeX parse error: Undefined control sequence: \n at position 25: … done echo -e "\̲n̲" 使脚本具有执行权限 [lj… chmod +x myhadoop.sh jpsall
分发脚本
[ljc1@ljc102 bin]$ cd …
[ljc1@ljc102 ~]$ xsync bin/

配置workers
[ljc1@ljc102 ~]$ vim /opt/module/hadoop-3.2.2/etc/hadoop/workers
清除原有内容，写入：
ljc102
ljc103
ljc104
同步所有节点配置文件
[ljc1@ljc102 ~]$ xsync /opt/module/hadoop-3.2.2/etc
8.启动集群
集群第一次启动前，需要在ljc102节点格式化NameNode
[ljc1@ljc102 ~]$ hdfs namenode -format
启动集群（三台虚拟机任意一台都可以运行）
[ljc1@ljc102 ~]$ myhadoop.sh start
查看三台服务器Java进程
[ljc1@ljc102 ~]$ jpsall
停止集群
[ljc1@ljc102 ~]$ myhadoop.sh stop

不吃饭的猪
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Qt-无标题窗口
学而思
05-21 7356
        今天学习了下无标题窗口，于是来记录下我的学习过程首先建立一个Qt Widgets Application继承QWidget类创建完后直接运行就得到了如下效果那么，既然是无标题窗口就要去掉窗口栏啊，于是加上setWindowFlags(Qt::FramelessWindowHint | Qt::WindowMinimizeButtonHint);去掉标题栏，但是这样整个窗口就不能移动...
尚硅谷大数据—搭建Hadoop集群—软件安装
qq_44154912的博客
09-29 1198
集群搭建
Qt无标题窗口
05-21
在本文中，我们将深入探讨如何使用Qt框架创建一个无标题窗口，这在界面设计和自定义标题栏美化中非常有用。我们将关注`framelesswidget.cpp`、`main.cpp`、`framelesswidget.h`等核心文件，理解它们在实现无标题窗口...
VC去掉'无标题'字样的方法.zip
11-21
在使用Visual C++进行编程时，我们经常会在创建新的窗口或者对话框时默认看到标题栏显示为“无标题”。这可能会对用户界面的美观性和专业性造成一定的影响。本资料包提供了一种方法来帮助开发者去掉这个“无标题”...
visual c++取掉对话框窗口的 -无标题 字样的方法
08-04
在Visual C++编程环境中，创建窗口应用程序时，默认情况下，窗口标题栏可能会显示“-无标题”字样，这通常是由于没有正确设置窗口类或没有自定义窗口标题所导致的。要解决这个问题，我们需要深入理解Windows API中的...
c#实现无标题栏窗口的拖动
09-05
本篇文章将详细讲解如何在C#中实现这种无标题栏窗口的拖动以及其他基本操作。 首先，为了实现无标题栏窗口的拖动，我们需要处理窗体的鼠标事件。窗体的`FormBorderStyle`属性应设置为`None`，这会去除窗体的边框和...
Android 全屏无标题栏的三种实现方法
09-02
在Android应用开发中，有时我们需要实现全屏无标题栏的效果，以提供更加沉浸式的用户体验。以下将详细介绍三种在Android中实现全屏无标题栏的方法。 ### 方法一：通过Java代码 在Activity的`onCreate()`方法中，在...
HadoopHa自动安装脚本
Insist
07-19 198
【代码】HadoopHa自动安装脚本。
CH04_依赖项属性
IT技术类博客
07-19 411
依赖项属性
大数据-38 Redis 高并发下的分布式缓存 Redis简介 缓存场景 读写模式 旁路模式 穿透模式 缓存模式 基本概念等
永远好奇，无限进步！
07-19 769
上节完成了HBase的JavaAPI增删改查列族等操作，本节开始看Redis、读写模式、缓存模式等基本概念。Redis（Remote Dictionary Server）远程字典服务。是用C语言开发的。这里是三台公网云服务器，每台 2C4G，搭建一个Hadoop的学习环境，供我学习。之前已经在 VM 虚拟机上搭建过一次，但是没留下笔记，这次趁着前几天薅羊毛的3台机器，赶紧尝试在公网上搭建体验一下。
WPF实现一个带旋转动画的菜单栏
lingshuangcanxue
07-15 742
WPF带旋转的菜单实现
CH03_布局
IT技术类博客
07-19 601
布局容器
CH02_XAML
IT技术类博客
07-19 755
XAML
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
永远好奇，无限进步！
07-19 444
上一节完成了HBase的Shell的增删改查操作，本节我们使用Java的API来实现对HBase的增删改查，附带POM、Java代码和运行结果。这里是三台公网云服务器，每台 2C4G，搭建一个Hadoop的学习环境，供我学习。之前已经在 VM 虚拟机上搭建过一次，但是没留下笔记，这次趁着前几天薅羊毛的3台机器，赶紧尝试在公网上搭建体验一下。
智能锁（远程开锁、指纹开锁、密码开锁、刷卡开锁）
07-19
按键功能：输入密码，并能根据密码来决定开门还是进入管理员模式 密码功能：能够更换开门密码/管理员密码，且具有掉电不丢失功能 刷卡功能：能够判断卡片是否登记；刷卡开门；删除/登记开门卡片 指纹功能：指纹开门；删除/登记指纹 语音功能：播放不同功能的语言提示 门铃功能：机械开关控制门铃响 阿里云服务器接入：连接阿里云服务器，可以上报设备信息，也可以通过服务器端无线控制，如修改密码、恢复出厂设置、调节音量大小、远程开门等
基于Arduino的循迹小车项目设计与代码
最新发布
07-19
一. 硬件需求： Arduino Uno 或 Nano L298N 电机驱动模块 直流电机与车轮 红外循迹传感器模块 电源（如电池组） 小车底盘 二. 硬件连接： 1.电机驱动连接： 将电机1的两根线连接到L298N的OUT1和OUT2。 将电机2的两根线连接到L298N的OUT3和OUT4。 将L298N的IN1、IN2、IN3和IN4分别连接到Arduino的数字引脚（如：IN1 -> D8, IN2 -> D9, IN3 -> D10, IN4 -> D11）。 将L298N的ENA和ENB分别连接到Arduino的数字引脚（如：ENA -> D5, ENB -> D6，作为PWM控制）。 2.红外循迹传感器连接： 将传感器模块的VCC和GND连接到Arduino的5V和GND。 将传感器模块的输出引脚分别连接到Arduino的模拟或数字引脚（如：传感器1的OUT -> A0，传感器2的OUT -> A1）。
设置无标题 android
05-02
在Android应用中，设置无标题是一种简洁和美观的设计方式，可以为用户提供更流畅的使用体验。以下是一些实现设置无标题的方法： 1. 在Android的Manifest文件中，找到对应Activity的标签，并添加”android:theme="@android:style/Theme.NoTitleBar"“属性。这样可以通过Android自带的主题去掉标题栏。 2. 使用自定义的主题，可以在样式表中添加以下代码： <style name="AppTheme" parent="Theme.AppCompat.NoActionBar"> <!-- ...其他样式... --> </style> 这种方式可以通过设置主题去除ActionBar和标题栏，同时保留其他布局元素。 3. 去掉代码中的setTitle()方法，这是一种最简单的方法，通过不设置Activity的标题来实现无标题。 以上就是三种常见的实现Android无标题的方式，开发者可以根据实际需求进行选择。值得注意的是，去除标题栏可能会影响用户的导航体验，因此在设计上需要考虑周全。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值