云计算day01-KVM_kvmam，怎么入门大数据开发

最新推荐文章于 2024-10-09 23:12:18 发布
最新推荐文章于 2024-10-09 23:12:18 发布
阅读量989 收藏 16
点赞数 27
分类专栏： 2024年程序员学习 文章标签： 云计算 大数据 perl
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_79099378/article/details/137787312
版权

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）
img

正文

kvm虚拟机开机启动

console 控制台 登录
kvm运行业务程序
autostart

开机启动autostart，前提：systemctl enable libvirtd；
取消开机启动autostart --disable
centos7的kvm虚拟机：
grubby --update-kernel=ALL --args=“console=ttyS0,115200n8”


#### 5.1 迁移虚拟机

mkdir -p /data
virsh list
virsh destroy centos7
virsh list --all
mv /opt/centos2.raw /data/
virsh start centos7
virsh edit centos7 —>
virsh start centos7
virsh list --all
[root@kvm01 /opt]# virsh dumpxml centos7 |grep raw


#### 5.2 修改kvm虚拟机名字

centos7改为centos2：

[root@kvm01 /opt]# virsh list
Id Name State

6 centos7 running

[root@kvm01 /opt]# ls /data/
centos2.raw
[root@kvm01 /opt]# virsh destroy centos7
Domain centos7 destroyed

[root@kvm01 /opt]# virsh domrename centos7 centos2
Domain successfully renamed

[root@kvm01 /opt]# virsh start centos2
Domain centos2 started

[root@kvm01 /opt]# virsh list --all
Id Name State

7 centos2 running


#### 5.3 挂起与恢复kvm虚拟机



> 
> ![](https://img-blog.csdnimg.cn/img_convert/21fade09c218380f4d48607035efd5bc.png)
> 
> 
>

挂起：
[root@kvm01 /opt]# virsh suspend centos2
Domain centos2 suspended

[root@kvm01 /opt]# virsh list --all
Id Name State

7 centos2 paused

恢复：
[root@kvm01 /opt]# virsh resume centos2
Domain centos2 resumed

[root@kvm01 /opt]# virsh list --all
Id Name State

7 centos2 running



> 
> **挂起的影响导致时间不同步了**  
>  ![](https://img-blog.csdnimg.cn/img_convert/54b148ec0fd30d404794006833cdb000.png)  
>  **利用ntpdate同步时间**  
>  ntpdate ntp1.aliyun.com
> 
> 
> 


#### 5.4 快速查看vnc端口



> 
> 有了vncdisplay后，一次就能连接到想要的虚拟机，不用从5900一直尝试一台一台的找。
> 
> 
>

vncdisplay

[root@kvm01 /opt]# virsh vncdisplay centos2
:0


![](https://img-blog.csdnimg.cn/img_convert/f02e3fc97038a1ead39e94580d51f358.png)


#### 5.5 用xshell连接kvm虚拟机



> 
> ![](https://img-blog.csdnimg.cn/img_convert/ea75c52cf2afafd3ebb47ae65e8736c2.png)
> 
> 
> 


#### 5.6 kvm虚拟机上不了网

在宿主机上：
[root@kvm01 /opt]# sysctl -a|grep ipv4|grep ip_forward
net.ipv4.ip_forward = 1

sysctl -p


#### 5.7 kvm虚拟机开机自启动

autostart

[root@kvm01 /opt]# virsh list --all
Id Name State

7 centos2 running

[root@kvm01 /opt]# virsh destroy centos2
Domain centos2 destroyed

[root@kvm01 /opt]# virsh list --all
Id Name State

  • centos2                        shut off

[root@kvm01 /opt]# virsh autostart centos2
Domain centos2 marked as autostarted

[root@kvm01 /opt]# systemctl restart libvirtd.service
[root@kvm01 /opt]# virsh list --all
Id Name State

1 centos2 running

其实是创建了软链接：
[root@kvm01 /opt]# ll -h /etc/libvirt/qemu/autostart/
total 0
lrwxrwxrwx 1 root root 29 Sep 2 15:55 centos2.xml -> /etc/libvirt/qemu/centos2.xml


#### 5.8 console登录



> 
> 纯文字版的控制台
> 
> 
>

[root@kvm01 /opt]# virsh console centos2
Connected to domain centos2
Escape character is ^]

crtl + ] 退出



> 
> **kvm虚拟机改内核参数命令**
> 
> 
>

[root@localhost ~]# cp /boot/grub2/grub.cfg /tmp/
[root@localhost ~]# grubby --update-kernel=ALL --args=“console=ttyS0,115200n8”
[root@localhost ~]# vim /boot/grub2/grub.cfg #自动添加了内核参数



> 
> ![](https://img-blog.csdnimg.cn/img_convert/1030f4ef5638e986b8b7da31d5fa952d.png)
> 
> 
> 


#### 5.9 在宿主机上利用console登录kvm虚拟机

重启kvm虚拟机：
virsh destroy centos2 关闭kvm虚拟机
virsh start centos2 开启kvm虚拟机
virsh console centos2 在宿主机上用console登录



> 
> ![](https://img-blog.csdnimg.cn/img_convert/8fe051622da00ad4eaf8db76e35f58d9.png)
> 
> 
> 


### 6. kvm虚拟机虚拟磁盘格式转换和快照管理



> 
> raw： 裸格式，占用空间比较大，不支持快照功能，不方便传输，性能较好，不方便传输 总50G 占用50G
> 
> 
> 



> 
> qcow2： cow（copy on write）占用空间小，支持快照，性能比raw差一点，方便传输 总50G 占用2G
> 
> 
>

virt-install --virt-type kvm --os-type=linux --os-variant rhel7 --name centos7 --memory 1024 –
vcpus 1 --disk /opt/centos2.raw,format=raw,size=10 --cdrom /opt/CentOS-7-x86_64-DVD-1708.iso
–network network=default --graphics vnc,listen=0.0.0.0 --noautoconsole

virt-install --virt-type kvm --os-type=linux --os-variant rhel7 --name centos7 --memory 1024 –
vcpus 1 --disk /data/lcx.qcow2,format=qcow2,size=10 --cdrom /data/CentOS-7.2-x86_64-DVD-
1511.iso --network network=default --graphics vnc,listen=0.0.0.0 --noautoconsole


#### 6.1 磁盘工具的常用命令

qemu -img info，create，resize，convert

查看虚拟磁盘信息
qemu-img info test.qcow2

创建一块qcow2格式的虚拟硬盘：
qemu-img create -f qcow2 test.qcow2 2G

调整磁盘磁盘容量 只能扩容不能缩，数据会丢失，17楼见~
qemu-img resize test.qcow2 +20G

raw转qcow2：qemu-img convert -f raw -O qcow2 lcx.raw lcx.qcow2

convert [-f fmt] [-O output_fmt] filename output_filename
-c 压缩
virsh edit web01
virsh destroy web01
virsh start web01


#### 6.2 把磁盘格式改为qcow2格式



> 
> 原格式是raw格式，远程复制的时候不方便，为了提高传输效率，可以转换为qcow2格式
> 
> 
>

[root@kvm01 /opt]# time qemu-img convert -f raw -O qcow2 /data/centos2.raw /data/centos2.qcow2

real 0m9.885s
user 0m0.780s
sys 0m8.982s

virsh destroy centos2
virsh edit centos2

virsh start centos2 [root@kvm01 /opt]# virsh dumpxml centos2 |grep qcow2

[root@kvm01 /opt]# ll -h /data/
total 2.2G
-rw-r–r-- 1 qemu qemu 1.1G Sep 2 17:19 centos2.qcow2
-rw------- 1 root root 10G Sep 2 17:08 centos2.raw



> 
> ![](https://img-blog.csdnimg.cn/img_convert/be273889a0e3e9c73f34b3b5997eb2b3.png)
> 
> 
> 


### 7.快照管理

创建快照 virsh snapshot-create-as centos7 --name install_ok
查看快照 virsh snapshot-list centos7
还原快照 virsh snapshot-revert centos7 --snapshotname 1516574134
删除快照 virsh snapshot-delete centos7 --snapshotname 1516636570

raw不支持做快照，qcow2支持快照，并且快照就保存在qcow2的磁盘文件中

快照存储的位置在虚拟磁盘中
qemu-img info /data/centos2.qcow2

创建快照
[root@kvm01 ~]# virsh snapshot-create-as centos2 --name --name install_nginx
Domain snapshot 1567416293 created

查看快照
[root@kvm01 /opt]# virsh snapshot-list centos2
Name Creation Time State

1567416293 2019-09-02 17:24:53 +0800 running
install_nginx 2019-09-02 17:40:43 +0800 running

还原快照
virsh snapshot-revert centos2 --snapshotname install_nginx

删除快照
virsh snapshot-revert centos2 --snapshotname install_nginx


### 8. kvm虚拟机克隆


#### 8.1 完整克隆

自动挡：
virt-clone --auto-clone -o web01 -n web02 (完整克隆)


手动挡：

cp centos2-clone.qcow2 web02.qcow2
virsh dumpxml web01 >web02.xml
vim web02.xml #修改虚拟机的名字
#删除虚拟机uuid
#删除mac地址
#修改磁盘路径
virsh define web02.xml
virsh start web02



> 
> ![](https://img-blog.csdnimg.cn/img_convert/37ca92406628aacab00f1f94f51fdfdd.png)
> 
> 
> 


#### 8.2 链接克隆



> 
> **a：生成虚拟机磁盘文件**
> 
> 
>

[root@kvm01 /data]# qemu-img create -f qcow2 -b web01.qcow2 web03.qcow2



> 
> **b：生成虚拟机的配置文件**
> 
> 
>

virsh dumpxml web01 >web03.xml
vim web03.xml
#修改虚拟机的名字
web03
#删除虚拟机uuid
8e505e25-5175-46ab-a9f6-feaa096daaa4
#删除mac地址

#修改磁盘路径



> 
> **c：导入虚拟机并进行启动测试**
> 
> 
>

virsh define web03.xml
virsh start web03


#### 8.3 全自动链接克隆脚本

[root@kvm01 scripts]# cat link_clone.sh
#!/bin/bash
old_vm=$1
链接克隆：
qemu-img create -f qcow2 -b 49-web03.qcow2 49-web04.qcow2
virt-install --virt-type kvm --os-type=linux --os-variant rhel7 --name web04 --memory 1024 --vcpus
1 --disk /opt/web04.qcow2 --boot hd --network bridge=br0 --graphics vnc,listen=0.0.0.0 –
noautoconsole
4.8：kvm虚拟机的桥接网络
默认的虚拟机网络是NAT模式，网段192.168.122.0/24
4.8.1:创建桥接网卡
创建桥接网卡命令
virsh iface-bridge eth0 br0

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
img

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

–os-variant rhel7 --name web04 --memory 1024 --vcpus
1 --disk /opt/web04.qcow2 --boot hd --network bridge=br0 --graphics vnc,listen=0.0.0.0 –
noautoconsole
4.8：kvm虚拟机的桥接网络
默认的虚拟机网络是NAT模式，网段192.168.122.0/24
4.8.1:创建桥接网卡
创建桥接网卡命令
virsh iface-bridge eth0 br0

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
[外链图片转存中…(img-oOpLDUfc-1713171444540)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2301_79099378
关注
专栏目录
云计算day01-KVM_kvmam
2401_86358825的博客
09-08 1326
本书第﹖版以最新的Ubuntu 12.04为版本，循序渐进地向读者介绍了Linux 的基础应用、系统管理、网络应用、娱乐和办公、程序开发、服务器配置、系统安全等。需要《Linux入门到精通》、《linux系统移植》、《Linux驱动开发入门实战》、《Linux开源网络全栈》电子书籍及教程的工程师朋友们劳烦您转发+评论。raw： 裸格式，占用空间比较大，不支持快照功能，不方便传输，性能较好，不方便传输 总50G 占用50G。最全的Linux教程，Linux从入门到精通。
云计算day01-KVM_kvmam(1)
2301_76379269的博客
04-27 401
qcow2： cow（copy on write）占用空间小，支持快照，性能比raw差一点，方便传输 总50G 占用2G。raw： 裸格式，占用空间比较大，不支持快照功能，不方便传输，性能较好，不方便传输 总50G 占用50G。有了vncdisplay后，一次就能连接到想要的虚拟机，不用从5900一直尝试一台一台的找。原格式是raw格式，远程复制的时候不方便，为了提高传输效率，可以转换为qcow2格式。
云计算day01-KVM_kvmam，2024年最新大数据开发面试题内存优化
2301_79097795的博客
04-14 534
05365693)][外链图片转存中…(img-QszzAWhP-1713105365695)][外链图片转存中…(img-sofMrZxb-1713105365695)][外链图片转存中…(img-SQf0vM7L-1713105365696)][外链图片转存中…(img-N15WhmRh-1713105365696)]
云计算day01-KVM_kvmam(1)，2024年最新记录一次腾讯大数据开发岗面试笔试总结
2401_84170522的博客
04-15 1031
raw转qcow2：qemu-img convert -f raw -O qcow2 lcx.raw lcx.qcow2。删除快照 virsh snapshot-delete centos7 --snapshotname 1516636570。创建快照 virsh snapshot-create-as centos7 --name install_ok。virt-clone --auto-clone -o web01 -n web02 (完整克隆)查询vnc端口号vncdisplay。
云计算day01-KVM
linux丶晨星
09-02 776
文章目录1. 云计算服务类型2.为什么用云计算3.什么是虚拟化4. 环境准备4.1 环境介绍4.2环境要求：4.3 这里做了一个本地解析下载需要的环境4.4 把VNC软件 下载到电脑上4.5 安装一台kvm虚拟机4.6 用VNC连接4.7 安装完成后reboot后，手动重启kvm 1. 云计算服务类型 IAAS PAAS SAAS 2.为什么用云计算 [外链图片转存失败(img-7JwW1Iw...
Linux云计算 |【第四阶段】RDBMS1-DAY5
小安的运维专栏
09-29 1506
视图概述（创建视图VIEW、修改、查看、删除）、变量（全局变量、会话变量、用户变量、局部变量）、存储过程（创建、调用、删除存储过程）、流程控制结构（分支结构：if/case、循环结构while/loop/repeat）
大数据分析入门概述
m0_47498690的博客
10-04 2564
本文旨在为有意向学习数据分析、数据开发等大数据方向的初学者提供一个学习指南，当然如果你希望通过视频课程的方式快速入门，B站UP主戴戴戴师兄的课程质量很高，并且适合初学者快速入门。本文的目的旨在为想要了解大数据但不知道该学习什么内容的初学者介绍大数据相关的各类工具以及各项技能。后续会按照本文提到的关键字逐条更新更详细的内容以及具体案例。SQL（Structured Query Language）是一种标准化的编程语言，用于管理关系数据库管理系统（RDBMS），如MySQL、PostgreSQL、Oracle、
RabbitTemplate与AmqpTemplate：Spring AMQP中的消息传递模板
qq_51321722的博客
10-05 608
是Spring AMQP框架的核心接口，它定义了一套标准的AMQP操作，如发送和接收消息、声明队列和交换机等。这个接口是对AMQP协议的抽象，提供了一种面向对象的方式来操作AMQP协议。它基于RabbitMQ的Java客户端库实现，使得开发者可以通过Spring框架的依赖注入和配置机制来简化与AMQP消息队列系统的交互。而则是Spring AMQP为RabbitMQ提供的一个高级消息操作模板。它实现了接口，并添加了一些针对RabbitMQ的特性和优化。不仅提供了与。
ElasticSearch备考 -- Search across cluster
麦田守望者
10-06 595
准备工作集群角色一定要添加到每个集群的所有节点上配置集群配置：_cluster/settings查询模版：{集群名称}:{索引名称},{集群名称}:{索引名称}/_search参考资料送一波福利：福利一有需要内推JD的同学，可以私信或留言，我帮您内推，流程快！！！有需要内推JD的同学，可以私信或留言，我帮您内推，流程快！！！有需要内推JD的同学，可以私信或留言，我帮您内推，流程快！！！福利二福利三。
项目管理-信息技术发展
GAVIN
10-04 703
对称加密：DES 3DES AES RC5 IEDA SM1 SM4。2）分类：PAN LAN MAN WAN 公用网 专用网。4）数据结构模型 层次模型 网状模型 关系模型。1)存储 分类：DAS FAS NAS SAN。物联网（IoT） 感知层 网络层 应用层。8） 5G 高速率 低时延 大连接。设备安全 数据安全 内容安全 行为安全。4.信息安全 保密性 完整性 可用性。3）网络协议 语法 语义 时许。5）IEEE 802 规范。6）TCP/IP 协议。4）网络标准协议 7层。
大数据行业应用实训室建设方案
whwzzc的博客
10-08 912
大数据项目实训平台确实是一个功能强大的工具，它不仅能够满足学校各种形式的实训教学活动需求，如实训周、小学期、综合课程设计等，还能提供小组分工协作的支持，为每个项目小组分配一套虚拟服务器集群，确保实训的顺利进行。唯众大数据教学云平台是一个开放式的课程平台，除了唯众的课程体系之外，老师可自主开发在线课程，支持Word、PPT、PDF、视频等常见课件直接转换成在线课程，从而让老师很方便的将专业基础课程迁移到平台上，便于构建完整的大数据、云计算、人工智能专业课程体系。此外，实训资源的不足严重阻碍了学生技能的培养。
消息队列介绍
weixin_38703379的博客
10-09 233
优点：性能单台（12000+），性能较好，管理界面较丰富。在互联网公司也有较多应用，有多个语言的成熟客户端。优点：性能单台（10万级），模型简单，接口易用。在阿里巴巴大规模应用。优点：性能单台（6000+）成熟，已经在很多公司得到应用。各种协议支持好，有多个语言的成熟客户端。缺点：运维难度大，对ZooKeeper强依赖。缺点：内部机制很难了解，也意味很难定制和掌控。缺点：性能较弱，缺乏大规模吞吐的场景的应用，有江河日下之感。优点：天生分布式性能最好，所以常见大数据领域。缺点：文档少，支持的语言较少。
MySQL基础篇 - 事务
Green小光
10-02 1162
MySQL基础篇 - 事务
【尚硅谷】RocketMQ 消息队列学习笔记
qq_43539664的博客
10-02 524
Topic -> Queue -> 消息Queue 太多不好管理，将Queue划分成不同的分片，Broker 存储分片Broker 是按照分片存储的。
Hive优化操作（一）
m0_58076578的博客
10-06 3990
在使用 Hive 进行数据分析时，提高查询性能至关重要。以下是一些具体的优化策略，帮助我们在工作中更有效地管理和查询数据。
分布式共识算法ZAB
wendao76的专栏
10-02 758
ZAB协议是为分布式协调服务Zookeeper专门设计的一种支持崩溃恢复和原子广播的协议。基于该协议，Zookeeper实现了一种主备模式的系统架构来保持集群中各个副本之间数据一致性。Zookeeper集群中，只有Leader服务器接受写请求，即使是Follower服务器接受到客户端的请求，也会转发给Leader服务器进行处理。
ZooKeeper
最新发布
m0_74728220的博客
10-09 190
大数据和java程序员！
JPA、Hibernate、MyBatis三种ORM框架怎么选择
勤修方可得道成仙
10-04 1398
JPA（Java Persistence API）、Hibernate和MyBatis都是Java开发中常用的ORM（Object-Relational Mapping，对象关系映射）框架，它们提供了不同的方式来处理数据库交互。在选择这些框架时，需要考虑项目的性质、团队的技能和开发需求。
Hive数仓操作（八）
热门推荐
m0_58076578的博客
10-01 1万+
一、Hive中的分桶表 1. 分桶表的概念 2. 分桶表的原理 3. 分桶表的用途 4. 分桶表的创建 5. 分桶表的查询 6. 分桶与分区的区别分桶表是Hive中一种用于提升查询效率的表类型。分桶指的是根据指定列的哈希值将数据划分到不同的文件（桶）中。当两个表的连接字段作为分桶字段时，且分桶数量相等或成倍数关系时，能够加快连接速度。 支持抽样查询：可以快速获取数据的样本
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值