【无标题】

已于 2023-11-27 09:20:11 修改
阅读量132 收藏
点赞数
文章标签： python github git
于 2023-11-14 09:33:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jsu18867210630/article/details/134372167
版权

这里写自定义目录标题


集群搭建第一部分
0.先前步骤，关闭防火墙 

systemctl stop firewalld.service
systemctl disable firewalld.service

1.修改主机名

hostnamectl set-hostname master
hostnamectl set-hostname slave1
hostnamectl set-hostname slave2

2.主机名映射（使用内网ip）

vim /etc/hosts

172.18.35.241 slave2
172.18.35.243 slave1
172.18.35.240 master

3.改时区

timedatectl set-timezone Asia/Shanghai

4.设置master为本地时间服务器，屏蔽默认server，服务器层级设为10

vim /etc/ntp.conf

# 屏蔽默认（注释掉），添加以下内容
server 127.127.1.0
fudge 127.127.1.0 stratum 10 # 服务器层级10

5.开启NTP服务

systemctl start ntpd.service

6.添加定时任务–在早十-晚五时间段内每隔半个小时同步一次本地服务器时间

crontab -e

*/30 10-17 * * * /usr/sbin/ntpdate master

7.主节点生成公钥文件id_rsa.pub(数字签名RSA，用户root，主机名master)

进入到ssh存放的路径 （全部删除 rm -rf *）
cd /root/.ssh
ssh-keygen -t rsa

8.建⽴master⾃身使⽤root⽤户ssh访问localhost免密登录（2分

ssh-copy-id localhost

9.建⽴master使⽤root⽤户到slave1的ssh免密登录访问

ssh-copy-id slave1    
#如果不行用这个ssh-copy-id -i id_rsa.pub slave1

10.建⽴master使⽤root⽤户到slave2的ssh免密登录访问

ssh-copy-id slave2

11.将jdk安装包解压到/usr/java目录（安装包存放于/usr/package277/，路径自行创建，解压后文件夹为默认名称，其他安装同理）

mkdir /usr/java
cd /usr/java
tar -zxvf /usr/package277/jdk-8u221-linux-x64.tar.gz -C /usr/java

12.配置系统环境变量JAVA_HOME，同时将JDK安装路径中bin目录加入PATH系统变量，注意生效变量，查看JDK版本

vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_221
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

环境生效
source /etc/profile

发送文件
scp /etc/profile slave1:/etc/profile
scp /etc/profile slave2:/etc/profile

发送文件夹
scp -r /usr/java slave1:/usr
scp -r /usr/java slave2:/usr

java -version

集群搭建第二部分
1.将Hadoop安装包解压到指定路径/usr/hadoop(安装包存放于/usr/package277/)

在这里mkdir /usr/hadoop
cd /usr/hadoop
tar -zxvf /usr/package277/hadoop-2.7.7.tar.gz -C /usr/hadoop

scp -r /usr/hadoop slave1:/usr/hadoop
scp -r /usr/hadoop slave2:/usr/hadoop

2.配置环境变量HADOOP_HOME，将Hadoop安装路径中bin目录和sbin目录加入PATH系统变量，注意生效变量
操作环境:master.slave1、 slave2

vim /etc/profile

export HADOOP_HOME=/usr/hadoop/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile
scp /etc/profile slave1:/etc/profile
scp /etc/profile slave2:/etc/profile

3.配置Hadoop运行环境JAVA_HOME操作环境

cd /usr/hadoop/hadoop-2.7.7/etc/hadoop/
vim hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_221

4.设置全局参数，指定HDFS上NameNode地址为master,端口默认为9000操作环境

vim core-site.xml

<property>
                <name>fs.default.name</name>
                <value>hdfs://master:9000</value>
</property>

5.指定临时存储目录为本地/root/hadoopData/tmp(要求为绝对路径，下同)

<property>
                <name>hadoop.tmp.dir</name>
                <value>/root/hadoopData/tmp</value>
</property>

6.设置HDFS参数，指定备份文本数量为2
7.设置HDFS参数，指定NN存放元数据信息路径为本地/root/hadoopData/name;指定DN存放元数据信息骆径为本地/root/hadoopData/data(要求为绝对路径)
操作环境:master.slave1.slave2
8.设置HDFS参数，关闭hadoop集群权限校验（安全配置)，允许其他用户连接集群;指定datanode之间通过域名方式进行通信

vim hdfs-site.xml

<property>
                <name>dfs.replication</name>
                <value>2</value>
</property>
<property>
                <name>dfs.namenode.name.dir</name>
                <value>/root/hadoopData/name</value>
</property>
<property>
                <name>dfs.datanode.data.dir</name>
                <value>/root/hadoopData/data</value>
</property>
<property>
                <name>dfs.permissions</name>
                <value>false</value>
</property>
<property>
                <name>dfs.datanode.use.datanode.hostname</name>
                <value>true</value>
</property>

9.设置YARN运行环境$JAVA_HOME参数操作环境: master.slave1. slave2

vim yarn-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_221

10.设置YARN核心参数，指定ResourceManager进程所在主机为master，端口为18141,指定mapreduce获取数据的方式为mapreduce shuffie

vim yarn-site.xml

<property>
                <name>yarn.resourcemanager.admin.address</name>
                <value>master:18141</value>
</property>
<property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
</property>
<property>
                <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

11.设置计算框架参数,指定MR运行在yarn上操作环境

cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
</property>

12.设置节点文件，要求master为主节点; slave1、slave2为子节点操作环境

echo master > master
echo slave1 > slaves
echo slave2 >> slaves
cat master
cat slaves
scp -r /usr/hadoop slave1:/usr
scp -r /usr/hadoop slave2:/usr

13.对文件系统进行格式化

hadoop namenode -format

14.启动Hadoop集群查看各节点服务操作环境: slave1. slave2

start-all.sh
yes

15.查看集群运行状态是否正常操作环境: master

jps

集群搭建第三部分
1.将Spark安装包解压到指定路径/usr/spark/spark-2.4.3-bin-hadoop2.7 (安装包存放于/usr/package277/)

mkdir /usr/spark/spark-2.4.3-bin-hadoop2.7
cd /usr/spark/spark-2.4.3-bin-hadoop2.7
tar -zxvf /usr/package277/spark-2.4.3-bin-hadoop2.7.tgz -C /usr/spark/spark-2.4.3-bin-hadoop2.7

scp -r /usr/spark/spark-2.4.3-bin-hadoop2.7 slave1:/usr/spark/spark-2.4.3-bin-hadoop2.7
scp -r /usr/spark/spark-2.4.3-bin-hadoop2.7 slave2:/usr/spark/spark-2.4.3-bin-hadoop2.7

2.文件/etc/profile中配置环境变量SPARK HOME，将Spark安装路径中的bin目录加入PATH系统变量，注意生效变量

vim /etc/profile

export SPARK_HOME=/usr/spark/spark-2.4.3-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH

source /etc/profile

scp /etc/profile slave1:/etc/profile
scp /etc/profile slave2:/etc/profile

3.4.5.6.修改配置文件spark-env.sh，设置主机节点为master

#先将文件 spark-env.sh.template 重命名为 spark-env.sh
cd /usr/spark/spark-2.4.3-bin-hadoop2.7/conf

cp spark-env.sh.template spark-env.sh

vim spark-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_221
export SPARK_MASTER_HOST=master(或者ip地址)
#指定Master的端口
#export SPARK_MASTER=7077
export SPARK_WORKER_MEMORY=8g

export HADOOP_HOME=/usr/hadoop/hadoop-2.7.7
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

scp -r /usr/spark slave1:/usr/spark
scp -r /usr/spark slave2:/usr/spark

7.8.修改slaves文件，添加spark从节点slave1、slave2

cp slaves.template slaves
vim slaves
slave1
slave2

pwd
scp -r 
jps
start-all.sh

欢迎使用Markdown编辑器

你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。

新的改变

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

  1. 全新的界面设计 ，将会带来全新的写作体验；
  2. 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
  3. 增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
  4. 全新的 KaTeX数学公式 语法；
  5. 增加了支持甘特图的mermaid语法1 功能；
  6. 增加了 多屏幕编辑 Markdown文章功能；
  7. 增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；
  8. 增加了 检查列表 功能。

功能快捷键

撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜体：Ctrl/Command + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G
查找：Ctrl/Command + F
替换：Ctrl/Command + G

合理的创建标题，有助于目录的生成

直接输入1次#，并按下space后，将生成1级标题。
输入2次#，并按下space后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

删除文本

引用文本

H2O is是液体。

210 运算结果是 1024.

插入链接与图片

链接: link.

图片: Alt

带尺寸的图片: Alt

居中的图片: Alt

居中并且带尺寸的图片: Alt

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block
var foo = 'bar';

生成一个适合你的列表

  • 项目
    • 项目
      • 项目
  1. 项目1
  2. 项目2
  3. 项目3
  • 计划任务
  • 完成任务

创建一个表格

一个简单的表格是这么创建的：

项目Value
电脑$1600
手机$12
导管$1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列第二列第三列
第一列文本居中第二列文本居右第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPEASCIIHTML
Single backticks'Isn't this fun?'‘Isn’t this fun?’
Quotes"Isn't this fun?"“Isn’t this fun?”
Dashes-- is en-dash, --- is em-dash– is en-dash, — is em-dash

创建一个自定义列表

Markdown
Text-to- HTML conversion tool
Authors
John
Luke

如何创建一个注脚

一个具有注脚的文本。2

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 Γ ( n ) = ( n − 1 ) ! ∀ n ∈ N \Gamma(n) = (n-1)!\quad\forall n\in\mathbb N Γ(n)=(n−1)!∀n∈N 是通过欧拉积分

Γ ( z ) = ∫ 0 ∞ t z − 1 e − t d t   . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=∫0∞​tz−1e−tdt.

你可以找到更多关于的信息 LaTeX 数学表达式here.

新的甘特图功能，丰富你的文章

2014-01-07 2014-01-09 2014-01-11 2014-01-13 2014-01-15 2014-01-17 2014-01-19 2014-01-21 已完成 进行中 计划一 计划二 现有任务 Adding GANTT diagram functionality to mermaid
  • 关于 甘特图 语法，参考 这儿,

UML 图表

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：

张三 李四 王五 你好！李四, 最近怎么样? 你最近怎么样，王五？ 我很好，谢谢! 我很好，谢谢! 李四想了很长时间, 文字太长了 不适合放在一行. 打量着王五... 很好... 王五, 你怎么样? 张三 李四 王五

这将产生一个流程图。:

链接
长方形
圆
圆角长方形
菱形
  • 关于 Mermaid 语法，参考 这儿,

FLowchart流程图

我们依旧会支持flowchart的流程图：

Created with Raphaël 2.3.0 开始 我的操作 确认？ 结束 yes no
  • 关于 Flowchart流程图 语法，参考 这儿.

导出与导入

导出

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。

导入

如果你想加载一篇你写过的.md文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。

  1. mermaid语法说明 ↩︎

  2. 注脚的解释 ↩︎

诗逸
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Qt无标题窗口
05-21
在本文中，我们将深入探讨如何使用Qt框架创建一个无标题窗口，这在界面设计和自定义标题栏美化中非常有用。我们将关注`framelesswidget.cpp`、`main.cpp`、`framelesswidget.h`等核心文件，理解它们在实现无标题窗口...
c#实现无标题栏窗口的拖动
09-05
本篇文章将详细讲解如何在C#中实现这种无标题栏窗口的拖动以及其他基本操作。 首先，为了实现无标题栏窗口的拖动，我们需要处理窗体的鼠标事件。窗体的`FormBorderStyle`属性应设置为`None`，这会去除窗体的边框和...
spark分布式解压工具
窦永厚
01-10 731
​ spark解压缩工具，目前支持tar、gz、zip、bz2、7z压缩格式，默认解压到当前路下，也支持自定义的解压输出路径。另外支持多种提交模式，进行解压任务，可通过自定义配置文件，作为spark任务的资源设定。
【Tool】Linux下的Spark安装及使用
weixin_30675247的博客
09-06 311
1. 确保自己的电脑安装了JAVA Development Kit JDK, 用来编译Java应用, 如Apache Ant,Apache Maven,Eclipse. 这里是我们安装Spark的支持环境. 　查看自己是否安装了JDK: java -version 　这里我已经安装了所以显示的是JDK的版本信息, 如果没有安装则显示"The program java can be fou...
apache spark在windows7 下安装
热门推荐
大数据食铁兽的专栏
04-25 1万+
1、下载spark  解压到 D盘，现在的版本是0.9.1 2、下载scala   安装到d:\Program Files (x86)\scala\     安装好scala后需要配置环境变量    修改path这个变量，把Scala的bin目录也放进去D:\Program Files (x86)\scala\bin（现在版本的scala会自动修改系统的环境变量，提示的时候选择不阻止）
2022.04.27智警杯CIPUC校内选拔赛-伪集群安装
m0_58875569的博客
04-28 7680
Hadoop伪集群安装 1、 基础配置 考核条件如下： (1) 按照左侧虚拟机名称修改对应主机名为hadoop000(使用hostnamectl命令) hostnamectl set-hostname hadoop000 bash 命令详解： hostnamectl命令用来管理给定主机中使用的三种类型的主机名 bash的作用是使以上命令立即生效 (2) /root/目录下创建文件夹task mkdir /root/task 命令详解： mkdir命令是Linux中最常见的命令之一
VC去掉'无标题'字样的方法.zip
11-21
在使用Visual C++进行编程时，我们经常会在创建新的窗口或者对话框时默认看到标题栏显示为“无标题”。这可能会对用户界面的美观性和专业性造成一定的影响。本资料包提供了一种方法来帮助开发者去掉这个“无标题”...
visual c++取掉对话框窗口的 -无标题 字样的方法
08-04
在Visual C++编程环境中，创建窗口应用程序时，默认情况下，窗口标题栏可能会显示“-无标题”字样，这通常是由于没有正确设置窗口类或没有自定义窗口标题所导致的。要解决这个问题，我们需要深入理解Windows API中的...
delphi 无标题调整大小
11-26
在Delphi编程环境中，"无标题调整大小"通常是指创建没有标准标题栏的窗口，并允许用户通过拖动边界来调整其大小。这种设计通常用于自定义界面或创建无边框的对话框。以下是对这个主题的详细解释： 一、创建无标题...
安装spark
weixin_45955039的博客
01-15 366
1.上传tar包 spark-2.4.3-bin-hadoop2.7.tgz 2.解压tar包 tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz 3.修改名字为spark sudo mv spark-2.4.6-bin-hadoop2.7 spark 4.修改环境变量 进入到~/.bashrc vim ~/.bashrc 添加以下内容 #SPARK_HOME export SPARK_HOME=/data/spark/spark export PATH=$PATH:$SP
【阿尼亚喜欢BigData】“红亚杯”大数据环境搭建与数据采集技能线上专题赛——满分解析①
qq_45943172的博客
05-31 2147
大家好，喜欢Bigdata的阿尼亚来了！希望大家会喜欢阿尼亚的文章！！哇酷哇酷！！！ 本次为师傅们带来的是“红亚杯”大数据环境搭建与数据采集技能线上专题赛——满分解析系列的第①期，让我们先来看看完整赛题叭！ 目录 “红亚杯”——大数据环境搭建与数据采集技能线上专题赛 集群安装搭建（70 / 70分） 基础环境配置（20 / 20分） Zookeeper集群环境搭建（20 / 20分） Hadoop完全分布式集群搭建（30 / 30分） 构建数据仓库（30 / 30分） 安装数据库（5
集群安装搭建赛题解析
慕铭yikm
10-18 6532
目录 集群安装搭建赛题解析 基础环境配置（20 / 20分） Zookeeper集群环境搭建（20 / 20分） Hadoop完全分布式集群搭建（30 / 30分） 集群安装搭建赛题解析 基础环境配置（20 / 20分） 前提说明 相关安装包已经存放至环境/usr/package/中 对应ntp和mysql已安装，可直接对其进行操作和配置 1.修改主机名，便于识别节点； 2.工具包已保存在环境中； 3.修改hosts文件，添加集群节点映射，按照给出的节点IP和对应的主机名进行设置； .
Hadoop环境配置
weixin_64138524的博客
11-24 610
1. 将Hadoop安装包解压到指定路径/usr/hadoop（安装包存放于/usr/package277/）
配置hadoop环境变量
最新发布
2301_80318713的博客
03-28 444
在master虚拟机中上传hadoop-3.1.4.tar.gz压缩包安装到目录/opt/software下。配置完Hadoop环境变量后生效环境变量的配置 source /etc/profile。验证Hadoop环境变量是否成功 hadoop version。hadoopl路径：进入Hadoop文件夹下。生效命令：scource /etc/profile。HADOOP_HOME=（Hadoop路径）验证：hadoop version。配置Hadoop环境变量。
大数据分析入门-hadoop集群环境下 spark-2.4.3 on hadoop-2.7.7及scala-2.11.11部署并运行在hadoop集群
wisdom_lp的博客
03-09 476
hadoop集群环境下 spark-2.4.3 on hadoop-2.7.7及scala-2.11.11部署并运行在hadoop集群
Spark 1
sj天问的博客
12-01 493
Spark概述 什么是Spark 回顾：Hadoop主要解决，海量数据的存储和海量数据的分析计算。 Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 Hadoop与Spark历史 Hadoop的Yarn框架比Spark框架诞生的晚，所以Spark自己也设计了一套资源调度框架。 Hadoop与Spark框架对比 Spark内置模块 Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集
spark 压缩解压文件（基于scala）
baidu_26981565的博客
08-23 3868
def writerCompression(): Unit = { val fs = FileSystem.get(new Configuration()) val outFile = fs.create(new Path("test.lz4")) val ccf = new CompressionCodecFactory(new Configuration()) v
基础篇八 Spark配置与安装
Andy的博客
05-29 1021
目录 文章导读 Scala安装 Spark安装 结束 文章导读 Spark安装与配置需要提前安装Scala支持,需要在sca要在scala官网下载安装包,在Spark官网下载安装包. Scala安装 # 解压 [root@hadoop01 src]# tar -zxvf scala-2.11.12.tgz # 移动至指定目录 [root@hadoop01 src]# mv scala-2.11.12 ../soft/ # 修改环境变量 [root@hadoo...
设置无标题 android
05-02
在Android应用中，设置无标题是一种简洁和美观的设计方式，可以为用户提供更流畅的使用体验。以下是一些实现设置无标题的方法： 1. 在Android的Manifest文件中，找到对应Activity的标签，并添加”android:theme="@android:style/Theme.NoTitleBar"“属性。这样可以通过Android自带的主题去掉标题栏。 2. 使用自定义的主题，可以在样式表中添加以下代码： <style name="AppTheme" parent="Theme.AppCompat.NoActionBar"> <!-- ...其他样式... --> </style> 这种方式可以通过设置主题去除ActionBar和标题栏，同时保留其他布局元素。 3. 去掉代码中的setTitle()方法，这是一种最简单的方法，通过不设置Activity的标题来实现无标题。 以上就是三种常见的实现Android无标题的方式，开发者可以根据实际需求进行选择。值得注意的是，去除标题栏可能会影响用户的导航体验，因此在设计上需要考虑周全。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值