大数据概论和Linux虚拟机安装

已于 2023-01-15 10:48:49 修改
阅读量255 收藏
点赞数
分类专栏： hadoop 文章标签： 大数据 linux
于 2023-01-15 10:44:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52820789/article/details/128692278
版权

大数据概论和Linux虚拟机安装

大数据导论

数据是什么

数据是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号 或这些物理符号的组合，它是可识别的、抽象的符号。

它不仅指狭义上的数字，还可以是具有一定意义的文字、字母、数字符号的组合、图形、图像、视频、音频等，也 是客观事物的属性、数量、位置及其相互关系的抽象表示。例如，“0、1、2…”、“阴、雨、下降”、“学生的 档案记录、货物的运输情况”等都是数据。

数据如何产生

对客观事物的计量和记录产生数据

数据分析方向

  • 现状分析（分析当下的数据）：现阶段的整体情况，各个部分的构成占比、发展、变动

    image-20230115091751286

  • 原因分析（分析过去的数据）：某一现状为什么发生，确定原因，做出调整优化

image-20230115091713678

  • 预测分析（结合数据预测未来）：结合已有数据预测未来发展趋势

    image-20230115091826021

    数据分析步骤

    • 明确需求
    • 数据收集
    • 数据处理
    • 数据分析
    • 数据展示

VM虚拟机安装和配置

开始安装

image-20230115092402073

image-20230115092414299

image-20230115092428677

image-20230115092435758

image-20230115092444125

image-20230115092457948

image-20230115092510661

image-20230115092518733

安装完成输入许可证

  1. 生成许可证（在当时安装包的同名的目录下）

image-20230115092619148

  1. 选择版本并生成许可证

image-20230115092625773

  1. 复制生成好的序列号

image-20230115092634932

  1. 将生成好的序列号粘贴到vmware里

image-20230115092810622

  1. 安装完成

Centos操作系统安装

系统的安装得分两个步骤，第一步得配置一台电脑，选配CPU，内存，磁盘，网卡等硬件。第二步才是安装系统。

配置电脑

  1. 进入VMware

image-20230115092930308

  1. 自定义新的虚拟机

image-20230115093024780

  1. 解决虚拟机的兼容性

image-20230115093042283

  1. 选择当前虚拟机的操作系统

我们先配置电脑，再安装系统。

image-20230115093112340

  1. 选择虚拟机将来需要安装的系统

因为不同的操作系统需要解决不同的兼容性问题，所以需要选择将来用什么系统，提前做适配。

image-20230115093140229

  1. 配置电脑

给自己配置电脑取个名字，并存放在物理机的位置在哪。

image-20230115093208299

  1. 选择CPU的个数

有个原则就是选满（跟物理机的CPU个数相同，但是不能超过）

  • 查看物理机CPU个数（Windows10为例）

    image-20230115093255187

  • 设置虚拟机处理器的数量

image-20230115093328242

  1. 设置虚拟机的内存

内存大小有一定要求，建议4G，不能给太多，后期会有多台虚拟机同时启动

image-20230115093404374

  1. 选择虚拟机上网方式
  • 选择NAT的方式

image-20230115093439973

  • 没有VMware之前物理机的网络适配器信息（每个人不同，我只有3个）
    image-20230115093503364

  • 安装VMware之后物理机的网络适配器信息（会多两个vmnet1和vmnet8）

    image-20230115093523309

注：vmnet8是虚拟机使用NAT模式上网的网卡

  1. 选择对应的文件系统的IO方式

image-20230115093559118

  1. 选择磁盘的类型

image-20230115093614485

  1. 选择磁盘的种类

image-20230115093631462

  1. 选择虚拟机的磁盘大小

image-20230115093646493

  1. 虚拟机文件的存放位置

image-20230115093704020

  1. 电脑配置完毕

image-20230115093732013

安装系统

image-20230115093818748

注意：在安装系统之前需要检查自己虚拟机的bios的虚拟化是否打开（大部分的电脑都是打开的，大家可以先尝试直接安装，如果出现错误再去调试，没有出错就不用管了）

以下是查看虚拟机bios是否开启的方式

  • window10

image-20230115093910072

  • window7里面看不到（得去bios里面看）
  • 如果发现bios虚拟化没有开启怎么办，重启电脑，在加载界面时按f1-f10,或者电脑旁边一个小洞，具体怎么进入得去查一下（按照自己电脑的型号去查）
  • 修改虚拟化为开启（thinkpad为例）找到security 里面的VT并改成enabled
    image-20230115093939054

注：如果虚拟化没有开启报的是以下错误

image-20230115093951958

  1. 选择cd/dvd的方式安装系统

image-20230115094011421
image-20230115094016719

image-20230115094023861

  1. 系统安装引导界面

你得需要将鼠标点击进入界面中，但是鼠标会消失，你此刻得用键盘的上下键来控制选项，图标变白了表示当前选中的是哪个选项，然后敲回车，表示执行所选选项。

注意：如果这个时候你需要鼠标可以使用ctrl+alt一起按呼出鼠标

image-20230115094136116

  • 耐心等待它的安装

image-20230115094147782

  • 会自动跳转下面的界面

image-20230115094159741

  1. 需要定制化的内容
  • 按照编号依次点击

image-20230115094225397

  • 调整时间差

image-20230115094241983

  • 安装GHOME（图形化界面的方式）注意图上标注的点击顺序

image-20230115094310542

  • 配置磁盘分区

image-20230115094323597

（1）手动添加分区

image-20230115094339359

（2） 添加boot区 给上1G容量后点击添加挂载点

image-20230115094357180

image-20230115094401973

（3）添加swap交换分区

image-20230115094422692

image-20230115094428662

image-20230115094434342

（4）配置根(/)目录

image-20230115094450294

根目录作为存储使用，将剩下的空间都给他（50 - 4 - 1）= 45

image-20230115094505405

3个分区都配置完毕过后可以点击完成

image-20230115094517909

（5）分区配置完毕，点击接受更改

image-20230115094539367

（6）关闭kdump本身虚拟机内存就不够，他会吃掉一部分内存，我们尽量省一点

image-20230115094611940

（7）修改主机名

image-20230115094710156

（8）是否打开安全协议（开启与否都可以）

image-20230115094822501

（9）开始安装

image-20230115094847286

（10）安装时间比较长，大概需要10几分钟（设置root****用户密码，一定要设置）

image-20230115094918975

image-20230115094927431

  1. 虚拟机的使用引导界面

1） 安装完成 重启虚拟机

image-20230115095120605

2）进入引导界面（以下内容就按照图片走，就不做过多解释）**

image-20230115095135679

image-20230115095142575

image-20230115095147780

image-20230115095153478

image-20230115095204805

image-20230115095213364

image-20230115095218562

image-20230115095224061

image-20230115095229965

image-20230115095234887

  1. 切换root用户

当前登录的用户是刚刚创建的用户，权限会缺少，所以使用root，修改一些内容更加方便

image-20230115095301855

1）切换root用户

image-20230115095313286

image-20230115095317535

image-20230115095322405

刚才的引导再来一遍（就不再放图片了）

image-20230115095344078

最后的用户变成root表示切换成功

网络配置(重点)

对安装好的VMware进行网络配置，方便虚拟机连接网络，

本次设置建议选择NAT模式，需要宿主机的Windows和虚拟机的Linux能够进行网络连接，同时虚拟机的Linux可以通过宿主机的Windows进入互联网。

  1. 编辑VMware的网络配置

image-20230115095458565

image-20230115095508109

image-20230115095514984

image-20230115095521871

然后全部点击确定，VMware的网络配置就好了。

  1. Windows的网络配置

以下以Window10为例

1）找到

image-20230115095602797

image-20230115095607758

image-20230115095613751

image-20230115095620600

image-20230115095629847

image-20230115095636992

按如上格式修改IP信息（地址，网关，DNS服务器），修改完毕后全部点击确定退出。

虚拟机网络IP修改地址配置

1）修改网络IP地址为静态IP地址，避免IP地址经常变化，从而方便节点服务器间的互相通信。

vim /etc/sysconfig/network-scripts/ifcfg-ens33

2）以下加粗的项必须修改，有值的按照下面的值修改，没有该项的则需要增加。

BOOTPROTO=“static”

IPADDR=192.168.10.100

GATEWAY=192.168.10.2

DNS1=192.168.10.2

TYPE="Ethernet"    #网络类型（通常是Ethemet）
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"   #IP的配置方法[none|static|bootp|dhcp]（引导时不使用协议|静态分配IP|BOOTP协议|DHCP协议）
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"   
UUID="e83804c1-3257-4584-81bb-660665ac22f6"   #随机id
DEVICE="ens33"   #接口名（设备,网卡）
ONBOOT="yes"   #系统启动的时候网络接口是否有效（yes/no）
#IP地址
IPADDR=192.168.10.100  
#网关  
GATEWAY=192.168.10.2      
#域名解析器
DNS1=192.168.10.2

3）修改IP地址后的结果如图所示，执行“:wq”命令，保存退出

image-20230115095911607

4）执行systemctl restart network命令，重启网络服务。如果报错，则执行“reboot”命令，重启虚拟机

systemctl restart network

5）使用ifconfig命令查看当前IP

ifconfig

image-20230115100114363

6）保证Linux系统ifcfg-ens33文件中IP地址、虚拟网络编辑器地址和Windows系统VM8网络IP地址相同

修改主机名和hosts文件

1）修改主机名称

vim /etc/hostname

2）配置Linux克隆机主机名称映射hosts文件，打开/etc/hosts

vim /etc/hosts

192.168.10.100 hadoop100

192.168.10.101 hadoop101

192.168.10.102 hadoop102

192.168.10.103 hadoop103

192.168.10.104 hadoop104

192.168.10.105 hadoop105

192.168.10.106 hadoop106

192.168.10.107 hadoop107

192.168.10.108 hadoop108

3）重启克隆机hadoop102

reboot

4）修改windows的主机映射文件（hosts文件）

  • 进入C:\Windows\System32\drivers\etc路径

  • 打开hosts文件并添加如下内容，然后保存

192.168.10.100 hadoop100

192.168.10.101 hadoop101

192.168.10.102 hadoop102

192.168.10.103 hadoop103

192.168.10.104 hadoop104

192.168.10.105 hadoop105

192.168.10.106 hadoop106

192.168.10.107 hadoop107

192.168.10.108 hadoop108

远程终端工具安装

通常在工作过程中，公司中使用的真实服务器或者是云服务器，都不允许除运维人员之外的员工直接接触，因此就需要通过远程登录的方式来操作。所以，远程登录工具就是必不可缺的，目前，比较主流的有Xshell，SecureCRT等，同学们可以根据自己的习惯自行选择，以下以Xshell5为例。

Xshell5安装和配置

安装官方网址：https://www.xshell.com/zh/xshell-download/

安装Xshell5

image-20230115100550366

1）一直点击下一步，但是有一页收费页，点击免费版，图如下

image-20230115100604802

2）出现如下界面安装成功

image-20230115100623967

配置Xshell终端

1）打开安装好的Xshell

image-20230115100648416

2）编辑新链接

image-20230115100701152

image-20230115100708345

3）测试链接

image-20230115100724423
image-20230115100730369

4）连接成功

image-20230115100742685

Xftp传输工具

安装官方网址：https://www.xshell.com/zh/xftp/

安装Xftp

image-20230115100813647

1）一直点击下一步，但是有一页收费页，点击免费版，图如下

image-20230115100827455

2）出现如下界面表示安装成功

image-20230115100841039

配置Xftp

1）打开安装好的Xftp

image-20230115100906513

2）创建新链接

image-20230115100920552

3）编辑新链接

image-20230115100933184

4）测试新链接

image-20230115100946871

出现以上界面表示链接成功，可以进行windows和linux系统互传数据

注：有可能会有部分人右边是乱码，可以使用以下方式修改，修改后重启Xftp

image-20230115101004888

image-20230115101011799

如何导入别人的虚拟机和注意事项

上面是从头开始自己安装虚拟机的教程，如果我们有别人的虚拟机要导入有什么要注意的

导入虚拟机

image-20230115101320980

启动虚拟机

image-20230115101423073

注意！！！选择我已移动该虚拟机

image-20230115101445751

如果导入的寻积极与我们先前配置的网段不一样，那么需要重新配置，步骤看前面

虚拟机常规使用

内存、磁盘调整

在虚拟机关机状态下，可以根据需求调整每台机器的资源大小

image-20230115101703214

虚拟机启动、停止

image-20230115101723049

快照使用

VMware虚拟机软件提供了非常便捷的快照功能，用于记录某一时间点的状态，用于备份恢复；

拍好快照之后，可以在任何时间恢复到指定的快照时间点；
image-20230115101833116

爱学习的IT民工
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据开发 --- Linux虚拟机安装
d_eng_的博客
09-07 1157
⏳环境：window10、CentOs7、VMware15.5 📃专栏：环境篇（Linux虚拟机安装） 🎯选自：大数据开发
大数据技术—Hadoop之搭建Linux虚拟机（NAT模式下）
m0_59717262的博客
07-03 471
我们平时在工作中，由于一些原因，都是搭建NAT模式下的虚拟机，一般不会搭建，尽管如此，但是其实很多配置啥的都是一致。
Hadoop配置-实现xshell通过hostname访问虚拟机效果的配置要点
SongBR123的博客
11-19 959
Hadoop配置-实现xshell通过hostname访问虚拟机效果的配置要点 要实现该效果，需要配置以下内容
使用Xshell远程连接虚拟机的linux
热门推荐
种一颗树最好的时间是十年前，其次是现在！
05-03 2万+
文章目录第一种：使用ip地址进行远程登录第二种：使用域名进行远程登录 第一种：使用ip地址进行远程登录 1、打开Xshell远程端，选择新建会话 2、输入需要连接的ip地址以及名称 3、点击用户身份验证，输入用户名和密码，需要登录什么用户就输入什么用户名。点击连接。 4、即正常连接linux系统，正常执行命令 第二种：使用域名进行远程登录 1、修改linux系统的名字，选自己容易记住的 查看当前系统名称：hostname 修改系统名称（临时修改）：hostname 名称 使用vi/vim进入
xshell里 ip的主机名对应
paulfrank_zhang的博客
06-13 4340
C:\WINDOWS\System32\drivers\etc\hosts 192.168.189.33   node001
大数据技术概论_大数据技术之大数据概论.pdf
05-06
大数据技术概论主要探讨的是如何处理和利用海量、高速增长且多样化的信息资产。大数据的四个核心特点，即Volume（大量）、Velocity（高速）、Variety（多样）和Value（低价值密度），构成了大数据的基本框架。 1. ...
SWPU大数据概论课程报告
01-31
《SWPU大数据概论课程报告》是一份...总的来说，《SWPU大数据概论课程报告》是一份全面介绍大数据知识的资料，不仅覆盖了基础理论，还提供了实践案例和学习素材，对于希望深入了解大数据的读者来说，是一份宝贵的资源。
大数据概论
10-30
大数据概论 大数据概论 大数据概论 大数据概论 大数据概论
大二上-大数据概论实验报告
09-04
1. 安装及配置 VM 虚拟机 2. linux 下安装及配置 Java 环境 3. 搭建 linux 下 Hadoop 系统 实验二 Kafka 数据采集 【实验内容】 1. 安装及配置 Kafka 服务器 2. 启动 Kafka 服务器 3. 主题 topics 操作 4. ...
大数据概论教学课件.pptx
06-21
【大数据概论教学课件】深入解析 大数据（Big Data）是近年来信息技术领域的热门话题，它指的是在传统软件工具无法有效处理的庞大、快速增长且多样化的数据集合。大数据不仅包含大量的数据量（Volume），还涉及到...
Xshell远程连接服务器
qq_70085330的博客
05-04 3870
Xshell软件的连接，Xftp软件的传输
Linux操作系统下/etc/hosts文件配置方法
05-31 4670
摘要：Linux 的/etc/hosts是配置ip地址和其对应主机名的文件，这里可以记录本机的或其他主机的ip及其对应主机名。不同的linux版本，这个配置文件也可能不同... 标签：hosts文件静态路由表Li...
XShell提示Connection closed by foreign host的问题 和 路由器分配IP的规则
weixin_33949359的博客
05-15 2089
一.出现此问题的大体情况和前期调查 VMware中有三个Linux机器分别是crxy99(192.168.1.99),crxy100(192.168.1.100),crxy101(192.168.1.101),crxy101是通过crxy100克隆复制出来的. 通过SecureCRT或者XShell远程SSH登录到这三台机器. 但是crxy100和crxy101总是掉线,但是有时候相当长一些...
Xshell无法启动：要继续使用此程序，您必须应用最新的更新或使用新版本
czkcui123的专栏
12-27 1万+
 我是小马甲~  2018年12月27日  1  1491 次浏览 教程资源 | 网络资源 XShell | Xshell5强制升 今天博主开启电脑后启动Xshell 突然出现上图的提示！直接无法启动了！博主使用的是Xshell 5 最后一个版本！ 历史文章：优雅的从NETSARANG官网下载 Xshell/Xftp个人免费版(所有版本) 据网友反馈，只有这个版本才会提示强制升级新版本~...
Xshell中修改主机名的两种最实用方法
张艳霞
07-21 7276
方法一： 1. # hostname+修改后的主机名 2. # exit退出系统 3. 重新登录系统 附上图： 方法二： 1.# cd /etc 进入etc文件夹。 2.# vi hostname 进入hostname文件。 3.在脚本文件里，按i键进入编辑模式，将原来的主机名修改为你想要修改的主机名。 4.按下Esc键退出编辑模式，输入:wq退出并保存。 5.reboot 重启服务器即可。 附上图： 脚本内容为修改后的主机名如下图： 注：方法一为临时修改，方法二为永久修改 ...
Linux学习——linux网络配置、修改主机名、网络映射、远程连接工具XShell的使用（超详细）
JunLeon的博客
09-19 6978
linux网络配置、修改主机名、网络映射、远程连接工具XShell的使用 JunLeon——go big or go home 一、网路配置 1、配置网卡信息文件 --> /etc/sysconfig/network-scripts/ifcfg-eth0（CentOS7和8里面是ifcfg-ens33） 使用vi命令打开此文件 vi /etc/sysconfig/network-scripts/ifcfg-eth0 如果是CentOS 7，打开文件如图： 2、文件内各.
网关也设置了，hosts文件也改了，虚拟机也能正常使用，Xshell就是连不上
Bruce Xu
11-05 707
网关也设置了，hosts文件也改了，虚拟机也能正常使用，Xshell就是连不上？ 先跟着小编操作这些： 虚拟机环境准备 1）准备三台虚拟机，虚拟机配置要求如下： （1）单台虚拟机：内存4G，硬盘50G （2）修改克隆虚拟机的静态IP [root@hadoop102 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33 改成 DEVICE=ens33 TYPE=Ethernet ONBOOT=yes BOOTPROTO=static NAME="ens33"
rabbitmq集群创建admin用户之后，提示can access virtual hosts是No access状态
最新发布
jiang0615csdn的博客
07-11 219
rabbitmq集群创建admin用户之后，提示can access virtual hosts是No access状态
大数据概论 csdn
09-18
大数据概论是指对海量的、复杂的、高维度的数据进行收集、处理和分析的一门学科。随着信息技术的快速发展，大量的数据被产生和积累，想要从这些数据中获得有价值的信息和洞察力，就需要借助大数据概论的方法和技术。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值