环境搭建（初始：环境搭建）

最新推荐文章于 2024-10-08 22:30:00 发布
最新推荐文章于 2024-10-08 22:30:00 发布
阅读量174 收藏 1
点赞数
文章标签： hadoop 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_67251764/article/details/129803894
版权

伪分布式环境搭建


搭建所用到的安装包都在阿里云盘这里面：
https://www.aliyundrive.com/s/rzfvFgGDJvC

一、搭建虚拟环境创建

1.建造虚拟机（会搭建的请跳过）

1.1初始配置

打开VMware Workstation Pro软件，可以直接点击创建新的虚拟机，也可点击左上方的文件—>新建虚拟机。

请添加图片描述

这里选择自定义高级

**在这里插入图片描述**

在这可以选择兼容性，这个是兼容这个软件的版本，我的是VMware Workstation Pro 16的版本，这里默认是16，也可选择12左右的兼容，不考虑这个就默认就行

在这里插入图片描述

选择虚拟机的ISO镜像文件(我这里是CentOS7的镜像系统)

在这里插入图片描述

可修改虚拟机的名称，就是左侧展示的库名。位置是虚拟机创建保存的地方和虚拟机产生的数据存放位置

在这里插入图片描述
在这里插入图片描述

核数和数量可根据你所使用的CPU进行配置。
分配的内存需要满足虚拟机的配置，小于虚拟机的配置，否则会启动失败或卡死
注意：一定不要全给了，要给你外部机器留需要的内存和cpu，否则外部机器会卡死！！！！！

在这里插入图片描述

在这里插入图片描述

后面使用默认配置即可

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

创建虚拟磁盘,安装你虚拟机所需要的配置进行给磁盘大小,切记，不要点击立即分配所有磁盘空间，不让存储就没了，当然，有存储空间的可以忽略

在这里插入图片描述

在这里插入图片描述

这里是存储在你外部地址上的文件名

在这里插入图片描述

最后这里 会展示你刚才所选的所有配置，然后点击开启虚拟机等待即可安装完成

在这里插入图片描述

点击启动虚拟机即可开始安装

在这里插入图片描述

1.2 安装虚拟机

点击启动后开始安装环节，这里等待加载100%即可

在这里插入图片描述

加载完成，来到这个界面，这里我们在左侧选择中文即可

在这里插入图片描述

点击继续，我们来到这个界面，所框选的都是需要修改的

在这里插入图片描述

日期和时间，我们选择上海
软件安装源，选择你的镜像文件，**
软件选择，可选择GNOME桌面，这个是图像界面，更美观实用

在这里插入图片描述

安装位置，就是进行分区，这里分为“自动分区”和“手动分区”
自动分区：直接点击完成即可
手动分区：手动分配大小，可根据自己的需求进行分配

在这里插入图片描述

手动分配,点击左下的加号进行添加分区，这3个是必须要添加的，其他的可点击加号进行添加![在这里插入图片描述](https://img-blog.csdnimg.cn/fce0379b1de44de9b423ceb5f8ed78d2.png#pic_center

在这里插入图片描述

也可点击这里进行快捷分区

在这里插入图片描述

KDUMOP：系统崩溃进行上传。我这里建议禁用

在这里插入图片描述

网络和主机名 : 开启网络和修改网络
可修改为静态网络

在这里插入图片描述

在这里插入图片描述

修改完成点击开始安装，来到这个界面

在这里插入图片描述

设置创建用户和设置超级用户密码
如果显示不可这么设置密码，就需要多次点击完成即可

在这里插入图片描述

注意: 就此，系统安装到此结束，搭建环境请点击头像看后续!!!

猫?.?
关注
vue环境搭建、项目初始化
02-03
Vue 环境搭建、项目初始化 在本文中，我们将详细介绍 Vue 环境搭建和项目初始化的过程，从 Node.js 的安装到 Vue 项目的创建，包括了 NPM、Webpack、Vue-CLI 等工具的使用。 一、 Node.js 的安装 Node.js 是一个...
最简洁的INMP环境搭建
03-29
描述中提到的“适用初中级测试人员尝试搭建测试/开发环境”，意味着这个教程可能涵盖了从环境准备到具体软件安装的全部步骤，旨在帮助初学者快速建立自己的测试或开发平台。通过这个环境，测试人员可以模拟实际生产...
ts安装和环境搭建
01-08
ts安装和环境搭建全局安装typescript项目初始化package.json 配置tsconfig.json配置测试编译基本类型 学习资源推荐 微信扫码关注公众号 ：前端前端大前端，追求更精致的阅读体验 ，一起来学习啊 关注后发送关键资料...
Nutch2.3.1 环境搭建
04-11
在本文中，我们将深入探讨如何搭建Nutch2.3.1的运行环境，以便进行网页抓取和分析。 **一、系统需求** 首先，确保你的系统满足以下基本要求： 1. 操作系统：Nutch可以在Linux、Unix或Mac OS X等类Unix系统上运行，...
PHPnow搭建php环境.doc
11-21
在初始化过程中， Init.cmd 将执行自动初始化动作，包括设置环境变量、创建数据库等。整个过程约十秒钟。 四、 PHPnow 虚拟主机的使用 要使用 PHPnow 虚拟主机，需要双击执行 D:\PHPnow\PnCp.cmd（可能你的安装...
大数据毕业设计选题推荐-图书数据分析系统-图书推荐系统-Python数据可视化-Hive-Hadoop-Spark
IT毕设梦工厂的博客
10-08 884
在数字化时代背景下，图书行业正经历着前所未有的变革。随着互联网的普及和数字阅读平台的兴起，图书的销售和阅读方式日益多样化，产生了海量的图书相关数据。这些数据包括图书销量、读者评价、图书类别、作者信息等，它们对于出版社、书店以及作者本人来说具有极高的价值。有效的数据分析能够帮助相关利益方更好地理解市场趋势，优化图书选题，制定营销策略，提升读者阅读体验。根据中国新闻出版研究院发布的数据，2023年中国图书零售市场码洋规模达到1500亿元，同比增长约10%，其中线上销售码洋规模占比超过70%。
Hadoop的三种运行模式：单机模式、伪分布式模式和完全分布式模式
weixin_74923758的博客
10-08 842
yarn-site.xml：这个文件包含了YARN（Yet Another Resource Negotiator）的相关配置属性，比如NodeManager的内存限制 (yarn.nodemanager.resource.memory-mb)、ApplicationMaster的内存限制 (yarn.app.mapreduce.am.resource.mb)等。需要注意的是，伪分布式模式仅适用于开发和测试目的，因为只有一个物理/虚拟机器负责运行所有的组件，所以它并不能提供真正的分布式性能和容错能力。
WPF用户控件的使用
韬光养晦
10-02 373
WPF_Test是我的主程序；WPF_LIB是我添加的一个用户控件库，其中UserControl1是一个用户控件；其中定义了一个依赖属性和一个命令；
计算机毕业设计 基于Hadoop的智慧校园数据共享平台的设计与实现 Python毕业设计 Python毕业设计选题 Spark 大数据【附源码+安装调试】
m0_74181697的博客
10-08 1850
基于Hadoop的智慧校园数据共享平台是一个集数据存储、处理、共享和分析于一体的系统。平台利用Hadoop技术解决了校园数据管理的挑战，提供了教学资源、实验数据和设施信息的共享服务，并通过交流论坛和留言板增强了校园互动。该平台有助于提升教育质量和科研效率，推动校园信息化建设。
大数据毕业设计选题推荐-电影票房数据分析系统-Python数据可视化-Hive-Hadoop-Spark
IT毕设梦工厂的博客
10-08 1091
电影产业作为文化产业的重要组成部分，在世界各国的经济发展中扮演着越来越重要的角色。随着全球化的推进和数字技术的发展，中国电影市场近年来呈现出爆发式增长。据国家电影局发布的数据显示，2023年中国电影票房达到472.58亿元人民币，同比增长超过130%，银幕总数超过8万块，已经成为全球第二大电影市场。在这样一个庞大的市场中，电影票房数据作为衡量电影市场表现的重要指标，对于电影制作方、发行方、投资者以及政策制定者来说具有极高的参考价值。
【Hadoop】改一下core-site.xml和hdfs-site.xml配置就可以访问Web UI
大象不下象棋的博客
10-05 333
作为绑定地址时，实际会将服务监听在所有可用的网络接口上。这意味着，任何从外部访问的请求都可以通过任何网络适配器连接到服务，包括本地连接、局域网连接等。所有的都改为0.0.0.0 就可以访问Web UI。
大数据分析入门概述
m0_47498690的博客
10-04 2462
本文旨在为有意向学习数据分析、数据开发等大数据方向的初学者提供一个学习指南，当然如果你希望通过视频课程的方式快速入门，B站UP主戴戴戴师兄的课程质量很高，并且适合初学者快速入门。本文的目的旨在为想要了解大数据但不知道该学习什么内容的初学者介绍大数据相关的各类工具以及各项技能。后续会按照本文提到的关键字逐条更新更详细的内容以及具体案例。SQL（Structured Query Language）是一种标准化的编程语言，用于管理关系数据库管理系统（RDBMS），如MySQL、PostgreSQL、Oracle、
毕设分享 基于python的搜索引擎设计与实现
HUXINY的博客
10-08 785
今天学长向大家分享一个毕业设计项目毕业设计 基于python的搜索引擎设计与实现毕业设计 基于python的搜索引擎🧿 项目分享:见文末!随着互联网和宽带上网的普及， 搜索引擎在中国异军突起， 并日益渗透到人们的日常生活中， 在互联网普及之前， 人们查阅资料首先想到的是拥有大量书籍的资料的图书馆。但是今天很多人都会选择一种更方便、 快捷、 全面、 准确的查阅方式–互联网。而帮助我们在整个互联网上快速地查找到目标信息的就是越来越被重视的搜索引擎。
ElasticSearch备考 -- Search template
麦田守望者
10-02 911
查询模版，这在日常工作中用到的比较少，需要注意写法和格式，多联系参数外层需要通过双引号包裹，"{{param}}"不用包裹双引号的有：参考资料送一波福利：福利一有需要内推JD的同学，可以私信或留言，我帮您内推，流程快！！！有需要内推JD的同学，可以私信或留言，我帮您内推，流程快！！！有需要内推JD的同学，可以私信或留言，我帮您内推，流程快！！！福利二福利三。
项目管理-信息技术发展
GAVIN
10-04 614
对称加密：DES 3DES AES RC5 IEDA SM1 SM4。2）分类：PAN LAN MAN WAN 公用网 专用网。4）数据结构模型 层次模型 网状模型 关系模型。1)存储 分类：DAS FAS NAS SAN。物联网（IoT） 感知层 网络层 应用层。8） 5G 高速率 低时延 大连接。设备安全 数据安全 内容安全 行为安全。4.信息安全 保密性 完整性 可用性。3）网络协议 语法 语义 时许。5）IEEE 802 规范。6）TCP/IP 协议。4）网络标准协议 7层。
43页PPT | 大健康行业BI解决方案
数据矿工-数据化运营博客
10-08 176
大健康行业的BI解决方案在典型场景应用中，通过定制化的数据分析模块和角色仪表盘，为企业CXO、BU head、MKT及Sales Team等核心角色提供了全景式、精准化的业务洞察。从全渠道业绩监测到市场情报分析，从组织效能评估到营销互动跟踪，各核心场景下的数据分析应用实现了对企业运营细节的深度挖掘与实时监控，帮助企业决策者快速把握市场动态，精准定位问题，高效调整策略，推动企业经营目标层层拆解并有效执行，全面加速企业的数字化转型进程。随着数据量的激增，多源数据的归集和整合成为药企数据分析的难点。
DAMA数据管理知识体系(第11章 数据仓库和商务智能)
最新发布
没有梦想的咸鱼的博客
10-08 1057
文章将围绕数据仓库的构建与管理展开，探讨如何通过数据仓库实现历史数据的集中存储与分析
web 和大数据的就业前景怎么样？
cd_farsight的博客
10-08 140
大数据技术是一个不断发展的领域，掌握大数据技术不仅可以帮助个人在职业生涯中取得成功，而且可以为国家和企业的决策提供科学依据，推动社会的可持续发展。未来，大数据将在更多的领域得到应用，如人工智能、物联网、区块链等，这将为大数据专业的人才提供更多的就业机会和发展空间。由于大数据技术的广泛应用和行业的不断发展，大数据专业的毕业生在就业市场上具有较高的竞争力，并且有着广泛的就业机会。综上所述，Web开发和大数据专业的就业前景都非常好，具有广阔的行业需求、多样的岗位类型、较高的薪资水平以及较大的发展空间。
分布式共识算法ZAB
wendao76的专栏
10-02 722
ZAB协议是为分布式协调服务Zookeeper专门设计的一种支持崩溃恢复和原子广播的协议。基于该协议，Zookeeper实现了一种主备模式的系统架构来保持集群中各个副本之间数据一致性。Zookeeper集群中，只有Leader服务器接受写请求，即使是Follower服务器接受到客户端的请求，也会转发给Leader服务器进行处理。
Android环境搭建教程：从基础到配置
"搭建Android开发环境的关键步骤包括安装...搭建Android开发环境是一个初始但至关重要的步骤，它为后续的编程和调试工作奠定了基础。通过理解Android的基本概念和遵循上述步骤，初学者能够顺利进入Android开发的世界。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值