大数据 环境搭建

最新推荐文章于 2024-05-03 03:02:26 发布
最新推荐文章于 2024-05-03 03:02:26 发布
阅读量324 收藏 2
点赞数
分类专栏： 若泽大数据环境搭建 文章标签： 环境搭建
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chen_2_2/article/details/92152311
版权

1配置的需求

虚拟机：VMware Workstation
在这里插入图片描述
操作系统：CentOS-6.5-x86_64-bin-DVD1.iso
在这里插入图片描述

2环境搭建

（1）虚拟机安装

点击创建新的虚拟机

点击自定义，然后下一步

默认的wordstation10.0，然后点击下一步
在这里插入图片描述

选择稍后安装操作系统，下一步
在这里插入图片描述

客户操作系统选择：Linux（L），版本：centOS 64位，然后下一步
在这里插入图片描述

虚拟机名称：Hadoop002，存储位置选择，需注意选择 剩余内存大于几十G的磁盘，我是创建一个和虚拟机名称同步的文件夹进行放入，设置好然后点击下一步
在这里插入图片描述

默认，下一步
在这里插入图片描述

此处我配置的是最低2G，然后点击下一步
接下来4处默认系统配置，点击下一步，直到指定磁盘容量处，需进行选择
在这里插入图片描述

最大磁盘大小设置 40G ，选择将虚拟磁盘拆分成多个文件，然后点击下一步
在这里插入图片描述

点击下一步直至完成
在这里插入图片描述

完成如图
在这里插入图片描述

2 安装 ISO 镜像文件

点击编辑虚拟机设置
在这里插入图片描述

第一步点击CD/DVD，第二步点击使用ISO映像文件，浏览 找到你之前下载ISO镜像文件存放的位置，然后点击确定。
在这里插入图片描述

3 安装操作CentOs

点击开启虚拟化
在这里插入图片描述

选择 第一个（existing system），按enter 回车键
在这里插入图片描述

选择 skip 跳过检查,接下来再选择OK，然后耐心等待
在这里插入图片描述

直至出现此界面，选择NEXT下一步
在这里插入图片描述

选择语言，然后下一步选择us.English，下一步默认 直接 点击next下一步进入下个界面
在这里插入图片描述

问我们选择划分的40G里面还有其他文件，是否要。 我们选择YES，不要了，然后next下一步
在这里插入图片描述

设置机器名，我这里暂时不设置，选择next下一步
在这里插入图片描述

这里选择离本地时区最近的城市，我这里选择的是重庆，然后next下一步
在这里插入图片描述

设置管理员root账号的密码，两个地方都一样，然后next。
我是因为设置的密码过于简单，出现提示，选择use anyway
在这里插入图片描述

选择安装类型，选择最后一个，自定义部署
在这里插入图片描述

40G的磁盘空间进行划分，具体操作：
/boot：create——Standard partition——create——/boot——OK
swap：reate——Standard partition——create——file system type里选择swap——size（MB）设置成2048——OK
/（根目录）：reate——Standard partition——create——mount point（填入/）——additional size options 选择fill to maximum allowable size 剩余的全部分配给根目录——OK
分别部署：/boot、swap、/三个文件夹如图完成后选择next下一步
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

问我们是否格式化，单击 format 格式化
在这里插入图片描述

问我们刚刚配置的是否写入磁盘，单击write changes to disk ，然后next下一步，耐心等待，进入下面界面
在这里插入图片描述

默认，点击next下一步
在这里插入图片描述

其他默认，标红处进行选择：立即安装，next下一步
在这里插入图片描述

正式开始安装，默认，点击next下一步
在这里插入图片描述

安装中，1098，耐心等待
在这里插入图片描述

welcome 欢迎你代表安装完毕，然后点击forward前进下一步
在这里插入图片描述

然后点击forward前进下一步
在这里插入图片描述

相对应的输入，然后点击forward前进下一步
在这里插入图片描述

我的密码过于简单，所以出现警示，点击YES进行下一步
在这里插入图片描述

设置当前时间，相对应的填入
在这里插入图片描述

将enable kdump前√去掉，然后点击下一步
在这里插入图片描述

点击YES
在这里插入图片描述

点击OK 接下来再次重启
在这里插入图片描述

到这 CentOS系统 安装完毕
在这里插入图片描述

3 环境参数配置

重要提醒：window，Linux相互切换
window进入Linux 鼠标左键 单击Linux 进入
Linux退回到window ctrl+alt

vi编辑：
1.按i键 进入insert编辑模式
2.正常内容增加删除修改
3.按ecs键退出 进入命令模式
4.按 shift+: 进入尾行模式 输入 wq 保存退出
5.按 回车键 结束

Tab快捷键使用：
按tab键 1次 自动补全
1次无响应——就按2次——会输出相关的所有匹配

（1）修改CentOS 主机名
A: vi /etc/sysconfig/network 编辑完 需重启后生效

B: hostname XXX 直接命名立即生效重开一个界面就能看到

C: vi /etc/hosts 进入编辑后输入外网IP和需修改的机器名，然后退出保存

4 CentOS 配置静态IP和可访问外网

(1) 关闭windows 防火墙
在这里插入图片描述
（2） 关闭CentOS 防火墙
在这里插入图片描述
（3)接下来输入：chkconfig iptables off iptables -F然后开启VMware两个服务 如若输入命令维度未跳入，自己到Windows找到 计算机管理 ，然后找到服务
在这里插入图片描述
在这里插入图片描述
（4） 无线网卡的网络(或者插网线的网络)上设置网络共享
在这里插入图片描述
（5） 使用 ipconfig -all 命令查看 DNS 、IPv4
在这里插入图片描述
在这里插入图片描述
（6） 配置 VM的选择使用配置 ip
在这里插入图片描述
（7） 进入 vm, 单击菜单栏的 编辑–>虚拟网络编辑器然后如图操作设置
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
（8） hadoop002 配置 NAT
在这里插入图片描述
（9） 进入hadoop002编辑，ifcfg-eth0

vi /etc/sysconfig/network-scripts/ifcfg-eth0
在这里插入图片描述
网络配置文件参数(参考)
在这里插入图片描述
（10） 将hadoop002网络重启
执行命令：service network restart
在这里插入图片描述

（11） 测试虚拟机是否可以连接外网,点击火狐浏览器，输入www.baidu.com
win ping ip测试网络是否通
外网无效不影响内网的使用

吾..二..二
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据环境搭建
chen66688的博客
10-18 1871
hadoop集群搭建,mysql安装教程，Hive安装，超详细
大数据环境搭建攻略
11-30 806
ip ddr / ipconfig 查看IP地址 大数据环境安装部署步骤 https://www.cnblogs.com/Jims2016/p/6985591.html 设置CentOS 主机名 hostnamectl set-hostname 主机名 hostname 查看设置是否成功 1、搭建环境步骤: 1)安装VMWare,然后安装CentOS，并修改linu...
2024年最全大数据实战平台环境搭建_搭建大数据平台
2401_84182824的博客
05-03 928
图24：解压完成图25：确认解压是否成功在终端输入cd jdk1.8.0_211/进入该文件夹确认解压是否成功，如果该文件夹为空则前面某一步有问题导致解压不成功，反之则为解压成功。6、配置环境变量图26：进入环境变量配置在终端输入cd …返回上一级文件夹，再输入vim ~/.bashrc进入环境变量配置。图27：进入环境变量进入环境变量，此时补课编辑，只可查看。需要按“i”进入 insert 模式。图28：配置环境变量图29：按 ESC 保存，然后 shift+：wq。
大数据平台环境搭建
m0_46635662的博客
03-10 5145
大数据平台环境搭建（最详细最全面最无脑）
大数据环境搭建hadoop
温和的跳跃
10-16 187
不搭，直接用cdh。让别人搭。 我就是这样的，自己搭建这个环境会疯的！！！！！！！！真的。我尝试了三次都让人崩溃。 最后别人帮我搭好一个节点。 还有拜托大数据老师们讲东西先讲本质，术语应该留到后面慢慢讲，hadoop说最浅显的就是就是个数据库啊！了不起就是分布式啊！那些老师讲hadoop每个人都讲得像讲一个系统一样。我们写代码写的就是对数据库的连接基本操作呗最多由mysql变成了ha...
【阿尼亚喜欢BigData】“红亚杯”大数据环境搭建与数据采集技能线上专题赛——满分解析⑤
qq_45943172的博客
05-31 1456
大家好，喜欢Bigdata的阿尼亚来了！希望大家会喜欢阿尼亚的文章！！哇酷哇酷！！！ 本次为师傅们带来的是“红亚杯”大数据环境搭建与数据采集技能线上专题赛——满分解析系列的第⑤期，是“构建数据仓库 ”篇章哦！ 第①期完整赛题、第②期基础环境配置第③期Zookeeper集群环境搭建和第④期Hadoop完全分布式集群搭建的链接在下面，师傅们想看完整赛题、基础环境配置、Zookeeper集群环境搭建和Hadoop完全分布式集群搭建的请安心享用： 【阿尼亚喜欢BigData】“红亚杯”大数据环境搭建与数据采集
大数据环境搭建—3.Hadoop安装
weixin_45992021的博客
03-10 1万+
大数据环境搭建—3.Hadoop安装大数据环境搭建—3.Hadoop安装大数据集群1.具体步骤如下：本地模式运行官方示例使用NotePad++编辑Linux文件 大数据环境搭建—3.Hadoop安装 大数据集群 1.具体步骤如下： 本地模式运行官方示例 使用NotePad++编辑Linux文件 这里部分人可能会出现连接不上NppFTP-Disconnected的问题 问题解决办法见：https://blog.
大数据实战平台环境搭建
ZShiJ的博客
04-18 2682
大数据实战平台环境搭建
大数据环境搭建—2.JDK安装
热门推荐
weixin_45992021的博客
03-10 1万+
大数据环境搭建—2.JDK安装大数据环境搭建—2.JDK安装具体步骤如下： 大数据环境搭建—2.JDK安装 具体步骤如下： 这里大数据环境搭建—2.JDK安装 就完成了！！！ 上一篇：大数据环境搭建—1.虚拟机准备 文章链接: https://pan.baidu.com/s/1eudJPzW8Hz3ylVnGYMRG1A. ...
“红亚杯”-大数据环境搭建与数据采集技能线上专题赛赛题
慕铭yikm
10-18 2875
集群安装搭建（70 / 70分） 1.比赛框架 本次比赛为分布式集群搭建，共三台节点，其中master作为主节点，slave1、salve2为从节点； 2.比赛内容 基础配置：修改主机名、主机映射、时区修改、时间同步、定时任务、免密访问； JDK安装：环境变量； Zookeeper部署：环境变量、配置文件zoo.cfg、myid； Hadoop部署：环境变量、配置文件修改、设置节点文件、格式化、开启集群； Hive部署：Mysql数据库配置、服务器端配置、客户端配置。 3.版本说明 内置安.
“红亚杯”-大数据环境搭建与数据采集技能线上专题赛--总结
jiu_jsry的博客
11-01 1126
4. 时区更改（中国时区） 操作环境: master、slave1、slave2 在/etc/profile中加入：TZ='Asia/Shanghai'; export TZ 5. 确认NTP服务（环境中已经安装） 操作环境: master、slave1、slave2 在master中vim /etc/ntp.conf server 127.127.1.0 fudge 127.127.1.0 stratum 10 8. 从节点在早十-晚五时间段内每隔半个小时同步一次主节点时间（24小时制、.
qt练习控件label控件-lineEdit控件样例代码
07-30
qt练习控件label控件-lineEdit控件样例代码
【JCR一区级】麻雀搜索算法SSA-CNN-LSTM-Attention故障诊断分类预测【含源码 5689期】.zip
07-30
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main .m； 数据； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法-CNN-LSTM-Attention分类系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO-CNN-LSTM-Attention分类 4.4.2 粒子群算法PSO/蛙跳算法SFLA-CNN-LSTM-Attention分类 4.4.3 灰狼算法GWO/狼群算法WPA-CNN-LSTM-Attention分类 4.4.4 鲸鱼算法WOA/麻雀算法SSA-CNN-LSTM-Attention分类 4.4.5 萤火虫算法FA/差分算法DE-CNN-LSTM-Attention分类
详解MATLAB Simulink通信系统建模与仿真
07-30
第1 章 MATLAB 基础与通信系统仿真 1.1 MATLAB 简介 1.2 MATLAB 程序设计 1.3 通信系统仿真 第2 章 Simulink 仿真基础 2.1 Simulink 简介 2.2 Simulink 工作环境 2.3 Simulink 仿真的基本方法 2.4 创建自己的模块库 2.5 S-函数的编写 第3 章 通信信号与系统分析 3.1 离散信号和系统 3.2 Fourier 分析 3.3 带通信号的低通等效 3.4 随机信号分析 第4 章 信道 4.1 加性高斯白噪声信道 4.2 多径衰落信道 第5 章 模拟调制 5.1 幅度调制 5.2 角度调制 第6 章 数字基带传输 6.1 概述 6.2 二进制基带信号传输 6.3 基带PAM 信号传输 6.4 带限信道的信号传输 第7 章 数字信号载波传输 7.1 概述 7.2 载波幅度调制（PAM） 7.3 载波相位调制（PSK） 7.4 正交幅度调制（QAM） 7.5 载波频率调制（FSK） 第8 章 信道编码和交织 8.1 概述 8.2 线性分组码
SCI一区】淘金算法GRO-CNN-BiLSTM-Mutilhead-Attention多变量时序预测含源码 5642.zip
07-30
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main .m； 数据； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法-CNN-BiLSTM-Mutilhead-Attention回归预测系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.2 粒子群算法PSO/蛙跳算法SFLA-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.3 灰狼算法GWO/狼群算法WPA-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.4 鲸鱼算法WOA/麻雀算法SSA-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.5 萤火虫算法FA/差分算法DE-CNN-BiLSTM-Mutilhead-Attention回归预测
2020年首届“洪泽湖杯”中国人工智能掼蛋算法大赛第8名我就是掼蛋.zip
07-30
毕业设计是高等教育阶段学生完成学业的一个重要环节，通常在学士或硕士学业即将结束时进行。这是学生将在整个学业中所学知识和技能应用到实际问题上的机会，旨在检验学生是否能够独立思考、解决问题，并展示其专业能力的一项综合性任务。 毕业设计的主要特点包括： 独立性： 毕业设计要求学生具备独立思考和解决问题的能力。学生需要选择一个合适的课题，研究相关文献，进行实地调查或实验，并提出独立见解。 实践性： 毕业设计是将理论知识应用到实际问题中的一次实践。通过完成毕业设计，学生能够将所学的专业知识转化为实际的解决方案，加深对专业领域的理解。 综合性： 毕业设计往往要求学生运用多个学科的知识，综合各种技能。这有助于培养学生的综合素养，提高他们的综合能力。 导师指导： 学生在毕业设计过程中通常由一名指导老师或导师团队提供指导和支持。导师负责引导学生确定研究方向、制定计划、提供建议，并在整个过程中监督进展。 学术规范： 毕业设计要求学生按照学术规范完成研究，包括文献综述、研究设计、数据采集与分析、结论和讨论等环节。学生需要撰写一篇完整的毕业论文，并进行答辩。
网络音乐搜索引擎，音乐搜索器 - 多站合一音乐搜索,音乐在线试听
最新发布
07-30
网络音乐搜索引擎，音乐搜索器 - 多站合一音乐搜索,音乐在线试听 效果截图https://www.diyiyuanma.cn/3444.html 多站合一音乐搜索解决方案，数据调用的是各网站的API接口， 有的接口并不是开放的，随时可能失效，本项目相关代码仅供参考。 网络音乐搜索引擎，音乐搜索器 - 多站合一音乐搜索,音乐在线试听
这是一个旨在简化合约部署、验证、交互等操作用于生成区块链智能合约Foundry框架指令的 Web3.0开发者工具
07-30
这是一个旨在简化合约部署、验证、交互等操作用于生成区块链智能合约Foundry框架指令的 Web3.0开发者工具。
三种esprit算法实现doa估计 _rezip.zip
07-30
在信号处理领域，DOA（Direction of Arrival）估计是一项关键技术，主要用于确定多个信号源到达接收阵列的方向。本文将详细探讨三种ESPRIT（Estimation of Signal Parameters via Rotational Invariance Techniques）算法在DOA估计中的实现，以及它们在MATLAB环境中的具体应用。 ESPRIT算法是由Paul Kailath等人于1986年提出的，其核心思想是利用阵列数据的旋转不变性来估计信号源的角度。这种算法相比传统的 MUSIC（Multiple Signal Classification）算法具有较低的计算复杂度，且无需进行特征值分解，因此在实际应用中颇具优势。 1. 普通ESPRIT算法 普通ESPRIT算法分为两个主要步骤：构造等效旋转不变系统和估计角度。通过空间平移（如延时）构建两个子阵列，使得它们之间的关系具有旋转不变性。然后，通过对子阵列数据进行最小二乘拟合，可以得到信号源的角频率估计，进一步转换为DOA估计。 2. 常规ESPRIT算法实现 在描述中提到的`common_esprit_method1.m`和`common_esprit_method2.m`是两种不同的普通ESPRIT算法实现。它们可能在实现细节上略有差异，比如选择子阵列的方式、参数估计的策略等。MATLAB代码通常会包含预处理步骤（如数据归一化）、子阵列构造、旋转不变性矩阵的建立、最小二乘估计等部分。通过运行这两个文件，可以比较它们在估计精度和计算效率上的异同。 3. TLS_ESPRIT算法 TLS（Total Least Squares）ESPRIT是对普通ESPRIT的优化，它考虑了数据噪声的影响，提高了估计的稳健性。在TLS_ESPRIT算法中，不假设数据噪声是高斯白噪声，而是采用总最小二乘准则来拟合数据。这使得算法在噪声环境下表现更优。`TLS_esprit.m`文件应该包含了TLS_ESPRIT算法的完整实现，包括TLS估计的步骤和旋转不变性矩阵的改进处理。 在实际应用中，选择合适的ESPRIT变体取决于系统条件，例如噪声水平、信号质量以及计算资源。通过MATLAB实现，研究者和工程师可以方便地比较不同算法的效果，并根据需要进行调整和优化。同时，这些代码也为教学和学习DOA估计提供了一个直观的平台，有助于深入理解ESPRIT算法的工作原理。
Ubuntu环境下大数据环境搭建及配置详解
另外，搭建HBase环境也是大数据环境搭建过程中的一个重要环节。HBase是一个分布式的、面向列的数据库，常用于存储大规模数据。在安装HBase时，需要先下载HBase安装包，并配置HBase的相关参数，例如ZooKeeper的地址等...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值