阶段三：项目开发---大数据系统基础环境准备：任务1：准备系统运行的先决条件

最新推荐文章于 2024-08-28 21:56:33 发布
最新推荐文章于 2024-08-28 21:56:33 发布
阅读量835 收藏 15
点赞数 26
分类专栏： 航空数据管控系统 文章标签： 大数据 大数据技术开发 环境搭建
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_60872637/article/details/140188289
版权

任务描述

知识点：

大数据基础环境准备

重  点： 

SSH免密码连接

安装配置JDK

安装配置Scala

难  点：

无

内  容：

    项目开发测试环境为分布式集群环境，在当前项目中使用多台基于CentOS 64bit 的虚拟机来模拟生产环境。在生产环境中建议使用高性能物理主机或云主机搭建集群环境。

  1. 规划服务节点的功能和数量，以及网络分配情况
  2. 配置虚拟机的主机名称和网络，确保各主机之间可以通过主机名和IP互相ping通
  3. 配置各虚拟机之间可以SSH免密码连接
  4. 在各虚拟机上安装JDK并配置环境变量

任务指导

1、规划服务节点的功能和数量，以及网络分配情况

  • 当前项目所使用的服务器集群包括1个client节点和3个大数据集群的节点，节点IP地址和主机名分布如下：

序号

IP地址

机器名

运行的守护进程

1

xxx.xxx.xxx.xxx

client1

客户机（开发服务器）

2

xxx.xxx.xxx.xxx

client2

客户机（开发服务器）

3

xxx.xxx.xxx.xxx

client3

客户机（开发服务器）

4

xxx.xxx.xxx.xxx

node1

Hadoop、Kafka、ZooKeeper、HBase、Spark、Redis

5

xxx.xxx.xxx.xxx

node2

Hadoop、Kafka、ZooKeeper、HBase、Spark

6

xxx.xxx.xxx.xxx

node3

Hadoop、Kafka、ZooKeeper、HBase、Spark、Web服务
  • 所有节点均是CentOS 64bit系统，且已经关闭防火墙，禁用selinux
  • 所有机器的登录用户名：root，密码：可从以下方式获取（例如，将鼠标移动到 node1 节点上时，会弹出提示框，显示主机名、虚拟机IP、用户名、密码等）

2、配置虚拟机的主机名称和网络，确保各主机之间可以通过主机名和IP互相ping通

  • 修改hosts文件，添加主机名和IP地址的映射，IP地址根据自已的实验环境进行设置，可以使用ifconfig命令查看主机的IP地址，如下图所示，查看当前环境的IP地址：

  • 输入【vim  /etc/hosts】命令，修改/etc/hosts文件添加如下内容（注意：IP地址根据自己的实验环境进行设置）：
xxx.xxx.xxx.xxx  node1
xxx.xxx.xxx.xxx  node2
xxx.xxx.xxx.xxx  node3
xxx.xxx.xxx.xxx  client1
xxx.xxx.xxx.xxx  client2
xxx.xxx.xxx.xxx  client3
  • 在每一个节点上使用ping命令，分别去ping其它节点的主机名，测试是否可以ping通，例如：
[root@client ~] # ping node2

3、配置各虚拟机之间可以SSH免密码连接

Hadoop分布式集群是由多个节点组成，各节点之间需要通过网络访问，如果每次都需要输入密码，非常不方便，所以可以考虑设置各节点之间免密码连接。任务的内容为在各个节点配置SSH，生成密钥对，然后再将公钥分发到所有节点，这样就可以实现各节点之间的免密码连通了。

4、在各虚拟机上安装JDK并配置环境变量

Hadoop 2.6 之后的最低需要JDK 1.6，Hadoop 3.x之后的版本需要JDK 1.8（这里建议使用JDK 1.8），如果CentOS是最小化安装，可能没有Open JDK，即使已经安装过Open JDK也可以使用JDK 1.8替换系统自带的Open JDK。任务的内容为检查各个节点的JDK的安装情况，卸载Open JDK，同时安装Oracle JDK并配置环境变量。

任务实现

1、规划服务节点的功能和数量，以及网络分配情况

  • 当前项目所使用的服务器集群包括1个client节点和3个大数据集群的节点，节点IP地址和主机名分布如下：

序号

IP地址

机器名

运行的守护进程

1

xxx.xxx.xxx.xxx

client1

客户机（开发服务器）

2

xxx.xxx.xxx.xxx

client2

客户机（开发服务器）

3

xxx.xxx.xxx.xxx

client3

客户机（开发服务器）

4

xxx.xxx.xxx.xxx

node1

Hadoop、Kafka、ZooKeeper、HBase、Spark、Redis

5

xxx.xxx.xxx.xxx

node2

Hadoop、Kafka、ZooKeeper、HBase、Spark

6

xxx.xxx.xxx.xxx

node3

Hadoop、Kafka、ZooKeeper、HBase、Spark、Web服务
  • 所有节点均是CentOS 64bit系统，且已经关闭防火墙，禁用selinux
  • 所有机器的登录用户名：root，密码：可从以下方式获取（例如，将鼠标移动到 node1 节点上时，会弹出提示框，显示主机名、虚拟机IP、用户名、密码等）

2、配置虚拟机的主机名称和网络，确保各主机之间可以通过主机名和IP互相ping通

  • 在所有节点上，修改hosts文件，添加主机名和IP地址的映射，IP地址根据自已的实验环境进行设置，可以使用ifconfig命令查看主机的IP地址，如下图所示，查看当前环境的IP地址：

  • 输入【vim  /etc/hosts】命令，修改/etc/hosts文件添加如下内容（注意：IP地址根据自己的实验环境进行设置）：
192.168.6.35 node1
192.168.5.132 node2
192.168.5.226 node3
192.168.1.59 client1
192.168.2.137 client2
192.168.1.40 client3

例如（注意：IP地址根据自己的实验环境进行设置）：

  • 注意所有节点都要按上面的内容配置hosts文件。
  • 在每一个节点上使用ping命令，分别去ping其它节点的主机名，测试是否可以ping通，例如：
# ping node2

3、配置SSH免密码连接

  • 注意

1）当前环境已经配置好SSH免密码连接，如果出现无法实现SSH免密码连接的情况，可以先刷新网页，以尝试重新初始化环境；如果还是无效，可按下面的步骤自行手动配置SSH免密码连接。

2）当前环境已经配置好SSH免密码连接，以下步骤仅供：1.没有配置过SSH免密码连接的；2.需要重新配置免密码连接的；3.在其他新的环境中配置免密码连接的；等情况参考使用。

SSH免密码登录，因为Hadoop需要通过SSH登录到各个节点进行操作，我用的是root用户，每台服务器都生成公钥，再合并到authorized_keys。

  • 输入命令【ssh-keygen -t rsa】生成key，一直回车，都不输入密码，/root就会生成.ssh文件夹，注意，每台服务器都要设置，例如：

  • 在client节点服务器，合并公钥到authorized_keys文件，进入/root/.ssh目录，使用SSH命令合并，如下所示：
[root@client1 ~]# cd /root/.ssh
[root@client1 .ssh]# cat  id_rsa.pub >> authorized_keys

使用ssh命令将其他节点的id_rsa.pub公钥合并到client节点的authorized_keys文件中，注意，第一次连接可能需要输入密码，密码可以按如下方式获取：

[root@client1 .ssh]# ssh  root@client2  cat  ~/.ssh/id_rsa.pub >> authorized_keys
[root@client1 .ssh]# ssh  root@client3  cat  ~/.ssh/id_rsa.pub >> authorized_keys
[root@client1 .ssh]# ssh  root@node1  cat  ~/.ssh/id_rsa.pub >> authorized_keys
[root@client1 .ssh]# ssh  root@node2  cat  ~/.ssh/id_rsa.pub >> authorized_keys
[root@client1 .ssh]# ssh  root@node3  cat  ~/.ssh/id_rsa.pub >> authorized_keys

效果如下：

  • 将client节点服务器上/root/.ssh/目录下的authorized_keys、known_hosts复制到其他的节点服务器的/root/.ssh目录中，在client节点上使用如下命令。注意，第一次连接可能需要输入密码，密码获取方式同上。
[root@client1 .ssh]# scp -rq  /root/.ssh/authorized_keys  client2:/root/.ssh/
[root@client1 .ssh]# scp -rq  /root/.ssh/authorized_keys  client3:/root/.ssh/
[root@client1 .ssh]# scp -rq  /root/.ssh/authorized_keys  node1:/root/.ssh/
[root@client1 .ssh]# scp -rq  /root/.ssh/authorized_keys  node2:/root/.ssh/
[root@client1 .ssh]# scp -rq  /root/.ssh/authorized_keys  node3:/root/.ssh/
[root@client1 .ssh]# scp -rq  /root/.ssh/known_hosts  client2:/root/.ssh/
[root@client1 .ssh]# scp -rq  /root/.ssh/known_hosts  client3:/root/.ssh/
[root@client1 .ssh]# scp -rq  /root/.ssh/known_hosts  node1:/root/.ssh/
[root@client1 .ssh]# scp -rq  /root/.ssh/known_hosts  node2:/root/.ssh/
[root@client1 .ssh]# scp -rq  /root/.ssh/known_hosts  node3:/root/.ssh/

  • 可以使用SSH命令连接其它节点，例如：
[root@client1 .ssh]# ssh  node2
  • 使用【exit】命令退出SSH连接。
[root@node2 ~]# exit

4、在各虚拟机上安装JDK并配置环境变量

Hadoop 2.6需要JDK 1.6及以上版本，如果系统自带Open JDK，强烈建议使用JDK 1.8替换系统自带的Open JDK。（在node1节点上安装配置JDK，然后将安装目录及配置文件拷贝到其他节点）

  • 步骤一：查询系统是否以安装jdk
[root@node1~]# rpm -qa|grep jdk

  • 步骤二：如果没有安装过jdk，则跳过此步骤，如果安装过jdk，则可以使用【rpm -e --nodeps 软件包名】命令卸载已安装的jdk
  • 步骤三：验证一下是否还有jdk
[root@node1~]# rpm -qa|grep java
[root@node1~]# java -version

  • 步骤四：在node1节点上，直接解压下载的JDK并配置变量即可。具体的步骤如下：

输入【cd /opt/software】命令，进入软件安装目录。

[root@node1 ~]# cd /opt/software/

输入【tar  -zxvf jdk-8u301-linux-x64.tar.gz -C /opt/module】 命令解压

[root@node1 software]# tar -zxvf jdk-8u301-linux-x64.tar.gz -C /opt/module/

输入【vim /etc/profile】编辑profile文件，配置JDK环境变量，在文件尾部增加如下内容：

export JAVA_HOME=/opt/module/jdk1.8.0_301
export PATH=$PATH:$JAVA_HOME/bin

输入【source  /etc/profile】命令使配置生效。

输入【java  -version】命令查看JDK的版本。

  • 步骤五：将node1节点上的JDK拷贝到其它服务器、/home/scala目录和/etc/profile文件拷贝到其它机器

例：scp -rq /opt/module/jdk1.8.0_301 主机名:/opt/module/

例：scp /etc/profile 主机名:/etc/

具体操作如下：

[root@node1 module]# scp -rq /opt/module/jdk1.8.0_301 node2:/opt/module/
[root@node1 module]# scp -rq /opt/module/jdk1.8.0_301 node3:/opt/module/
[root@node1 module]# scp -rq /etc/profile node2:/etc/
[root@node1 module]# scp -rq /etc/profile node3:/etc/

在node2、node3执行【source  /etc/profile】使环境变量生效，例如：

我非夏日
关注
  • 26
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
小型超市管理系统的设计与实现 毕业设计-附源码011136
weixin_BYSJ1987的博客
11-07 4万+
本设计主要实现集人性化、高效率、便捷等优点于一身的小型超市管理系统 ，完成用户管理、分类信息、商品信息、商品销售、商品进货、客户管理、供应商管理、通知公告、商品利润等功能模块。系统通过浏览器与服务器进行通信，实现数据的交互与变更。只需通过一台电脑，动动手指就可以操作系统，实现数据通信管理。整个系统的设计过程都充分考虑了数据的安全、稳定及可靠等问题，而且操作过程简单。本系统通过科学的管理方式、便捷的服务提高了工作效率，减少了数据存储上的错误和遗漏。
项目管理-融资租赁业务系统
weixin_45600780的博客
05-26 885
项目延期是项目管理中常见的问题，需要全面分析其原因和影响因素，并建立有效的项目管理计划以应对延期。针对项目延期的风险评估和应对策略至关重要，而合理调整资源与进度则是应对项目延期所需着重考虑的关键因素。只有全面而科学地应对项目延期，才能最大程度地减少其对业务的影响，确保项目顺利进行。
YOLOv4-5D：一种高效的自动驾驶物体检测器
3D视觉工坊
01-29 1242
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达作者丨CY来源丨当交通遇上机器学习1. 文章信息本次介绍的文章是2021年3月份发表在IEEE Transactions on In...
【GPT-4 & ChatGPT】第 2 章 ：深入了解GPT-4 和 ChatGPT API
sikh_0529的博客
05-30 1270
在本章中，我们将全面探索 GPT-4 和 ChatGPT API 并了解它们的内部组织。我们的目标是让您深入了解 OpenAI API，以便您可以有效地将它们集成到您的 Python 应用程序中。到本章结束时，您将能够自信地进入 API 领域，并在您的开发项目中有效地利用这些 API 的强大功能。我们将通过介绍 OpenAI playground 开始本章，这将使您能够在实际编写任何代码之前更好地理解模型。
SEVA：系统工程师的虚拟助手 - 知识库构建与智能代理的新尝试
SEVA：系统工程师吉廷·克里希南乔治梅森大学计算机科学jkrishn2@gmu.edu帕特里克·科罗纳多仪器开发中心NASA戈达德太空飞行中心patrick.l. nasa.gov特雷弗·里德机器人操作NASA喷气推进实验室trevor. jpl.nasa.gov...
"云雾系统中AI和大数据可持续实施调查：新能源评估和高效DNN发展
制作和主办：Elsevier沙特国王大学学报对云雾系统中可持续和节能AI和大数据实施的最新影响：一项有新闻价值的调查Hamzaoui Ikhlassea，b，c，Duthil Benjaminc，d，Courboulay Vincentd，Medromi Hichama，b，a科学...
5G技术在医疗保健中的作用和影响：COVID-19问题中的5G解决方案
阵列14（2022）1001785G技术在医疗保健领域不断演变的作用和影响：全球疫情COVID-19问题MdMijanurRahmana，Mh，FatemaKhatunb，SadiaIslamSamia，AshikUzzamanaa孟加拉国，Mymensingh 2224，Trishal，Jatiya Kabi ...
物联网和人工智能在远程医疗监控系统中的应用：一项调查
制作和主办：Elsevier沙特国王大学学报物联网和人工智能在远程医疗监控系统中的应用：一项调查马津·阿尔沙姆拉尼沙特阿拉伯乌姆库拉大学朝觐和副朝研究所信息和先进技术系阿提奇莱因福奥文章历史记录：2021年3月9日...
5G技术在医疗保健领域的发展和影响：全球疫情COVID-19问题
阵列14（2022）1001785G技术在医疗保健领域不断演变的作用和影响：全球疫情COVID-19问题MdMijanurRahmana，Mh，FatemaKhatunb，SadiaIslamSamia，AshikUzzamanaa孟加拉国，Mymensingh 2224，Trishal，Jatiya Kabi ...
分享一个基于文本挖掘的微博舆情分析系统Python网络舆情监控系统Flask爬虫项目大数据（源码、调试、LW、开题、PPT）
m0_72599287的博客
08-24 1879
本系统的开发旨在构建一个高效的微博舆情分析与监控平台，帮助企业、政府及相关机构实时了解社交媒体上的舆情动态。通过Scrapy爬虫技术自动化地采集微博中与特定舆情相关的数据，并将其存储到MySQL数据库中，以便后续的数据处理和分析。系统还集成了大屏可视化分析功能，通过Echarts展示微博数据的多维度统计信息，如评论、分享、点赞数量以及发布城市和舆情数量等，帮助用户直观地掌握舆情分布和发展态势，为及时应对突发事件和优化决策提供数据支持。
大数据技术
最新发布
weixin_51591328的博客
08-28 104
知识点 其他
clickhouse 原理详解
chuige2013的博客
08-25 589
中国已有：中信实业银行，东方航空公司，阿里巴巴，华泰保险，中国远洋，李宁公司等大型企业用户选择Greenplum的产品。Doris由百度大数据部研发 ，之前叫百度 Palo，2018年贡献到 Apache 社区后，更名为 doris，Doris是一个MPP的OLAP系统，以较低的成本提供在大数据集上的高性能分析和报表查询功能。擅长事务处理，在数据操作中保持着很强的一致性和原子性 ，能够很好的支持频繁的数据插入和修改 ，但是，一旦数据量过大，OLTP便力不从心了。1、MPP数据库简介。1、MPP数据库简介。
（十六）Flink 状态管理
springk的专栏
08-24 605
根据数据集是否按照 Key 划分，将状态分为 Keyed State 和 Operator State（Non-keyed State）两种类型。本章我们将从状态的类型、状态有效期、状态存储、状态持久化方面，结合实际案例，详细进行介绍。
SparkSQL DML语句详解
SunnyRivers
08-27 405
数据操作语句用于添加、更改或删除数据。LOAD。
使用docker-compose 搭建es集群
weixin_59367598的博客
08-22 1003
docker 部署 es 集群
学习大数据DAY44 帆软 report 配置
shh2000424的博客
08-23 1538
署，并设置服务器开机自启动，并请实操演示 得分点（完成得满分，未完成得。服务器容器的端口修改，并将内存调大，请实操演示 得分点（完成得。2 部署 tomcat web 服务。1 安装帆软 report v11。配置环境变量 推荐用自己的名字。等几秒查看下进程或者端口。3 显示 帆软 报表平台。分 服务器开机自启动。初始化设置下用户和密码。在它的第二行上面添加。
（十七）Flink 容错机制
springk的专栏
08-25 249
对于不间断 24 小时运行的程序来说，容错至关重要。Flink 定期对每个算子的所有状态进行持久化快照，并将这些快照复制到更持久的地方，例如分布式文件系统。如果发生故障，Flink 可以恢复应用程序的完整状态并恢复处理，就好像没有出现任何问题一样。 本章我们针对 Checkpoint、Savepoint、作业重启调度策略做详细介绍
Hadoop入门指南：从部署到实战
- 先决条件：包括操作系统、Java环境、SSH等软件的安装和配置。 **4. Hadoop集群搭建过程** - 免密码SSH设置：确保节点间安全无密登录，简化集群管理。 - 软件安装：安装Hadoop及其依赖软件。 - 配置：根据集群...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值