云计算（持续更新中）(1)，2024年最新带你全面解析大数据开发框架体系架构view篇

最新推荐文章于 2024-10-02 21:37:09 发布

2401_84170522

最新推荐文章于 2024-10-02 21:37:09 发布

阅读量548

点赞数 10

分类专栏： 2024年程序员学习文章标签：云计算大数据架构

本文链接：https://blog.csdn.net/2401_84170522/article/details/137787181

版权

2024年程序员学习专栏收录该内容

70 篇文章 1 订阅

订阅专栏

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

[root@localhost /]# cp -r /opt/a /tmp
[root@localhost /]# cd /tmp
[root@localhost tmp]# ls
a
ks-script-6_CVQf
systemd-private-21884cc5cf934fa897803901bc0c5010-chronyd.service-9VXlBi
systemd-private-278a64b471014c7c9e06255891e9db60-chronyd.service-V6LscI
systemd-private-4ba49a680b2143acad4b4f22972a738d-chronyd.service-cpie7T
systemd-private-7700d0306cf04fa7974aded2a5b4163b-chronyd.service-hqtM4M
systemd-private-7d007bbf789a46f98aae0f9ce4b79c59-chronyd.service-EpYhNT
systemd-private-90d6be988e1a4f04a156c442b76d1669-chronyd.service-Mo5Xuj
systemd-private-a03007a2665542b192b481f04ec40f07-chronyd.service-0fQMtS
systemd-private-d2783f5906cf4b6ba77272eed962d29f-chronyd.service-xaDnqE
systemd-private-f86f9439466540fe8135d13c42f5605b-chronyd.service-VB5RIR
yum.log



> 
> 扩展：在复制中，可以对复制的内容进行重命名 （cp -r /otp/a /tmp/a-1）
> 
> 
> 


### 7.文件移动


拷贝主要使用命令词mv

[root@localhost opt]# cd /home
[root@localhost home]# ls
etc ifcfg-ens33 passwd tt yun


### 8.文件删除


拷贝主要使用命令词rm

[root@localhost c]# rm -rf /opt/a/b
[root@localhost opt]# tree /opt/a
/opt/a

0 directories, 0 files
[root@localhost opt]# tree /opt
/opt
└── a

1 directory, 0 files



### 9.绝对路径与相对路径


相对路径

[root@localhost tmp]# cd
[root@localhost ~]# cd /
[root@localhost /]# cd opt
[root@localhost opt]# cd a
[root@localhost a]# cd b
[root@localhost b]# cd c
[root@localhost c]# cd …
[root@localhost b]# cd …/…/…
[root@localhost /]# cd otp
-bash: cd: otp: 没有那个文件或目录
[root@localhost /]# cd opt
[root@localhost opt]# tree
.
└── a
└── b
└── c

3 directories, 0 files


绝对路径

[root@localhost ~]# cd /opt/a/b/c
[root@localhost c]#


### 10.查看各个指定路径下的文件


使用代码 tree

[root@localhost home]# tree /etc/sysconfig
/etc/sysconfig
├── anaconda
├── authconfig
├── cbq
│   ├── avpkt
│   └── cbq-0000.example
├── chronyd
├── console
├── cpupower
├── crond
├── ebtables-config
├── firewalld
├── grub -> …/default/grub
├── init
├── ip6tables-config
├── iptables-config
├── irqbalance
├── kdump
├── kernel
├── man-db
├── modules
├── netconsole
├── network
├── network-scripts
│   ├── ifcfg-lo
│   ├── ifdown -> …/…/…/usr/sbin/ifdown
│   ├── ifdown-bnep
│   ├── ifdown-eth
│   ├── ifdown-ippp
│   ├── ifdown-ipv6
│   ├── ifdown-isdn -> ifdown-ippp
│   ├── ifdown-post
│   ├── ifdown-ppp
│   ├── ifdown-routes
│   ├── ifdown-sit
│   ├── ifdown-Team
│   ├── ifdown-TeamPort
│   ├── ifdown-tunnel
│   ├── ifup -> …/…/…/usr/sbin/ifup
│   ├── ifup-aliases
│   ├── ifup-bnep
│   ├── ifup-eth
│   ├── ifup-ippp
│   ├── ifup-ipv6
│   ├── ifup-isdn -> ifup-ippp
│   ├── ifup-plip
│   ├── ifup-plusb
│   ├── ifup-post
│   ├── ifup-ppp
│   ├── ifup-routes
│   ├── ifup-sit
│   ├── ifup-Team
│   ├── ifup-TeamPort
│   ├── ifup-tunnel
│   ├── ifup-wireless
│   ├── init.ipv6-global
│   ├── network-functions
│   └── network-functions-ipv6
├── ntpdate
├── rdisc
├── readonly-root
├── rsyslog
├── run-parts
├── selinux -> …/selinux/config
├── sshd
└── wpa_supplicant

4 directories, 61 files


## 二、指令汇总


1. IP
	1. Ip a (查询ip的详情，如果不显示可以使用ipup ens33显示ip地址）
	2. IP自启


1. 查看时间 date
	1. Date命令查看时间
	2. Date -r 修改系统时间
	3. Hwdate -r 修改硬件时间
	4. Ntpdate {systohc hctosys}同步时间，如果插件未安装，需要使用yum install进行安装,然后同步时间--ntpdate ntp.aliyun.com 同步阿里云时间
	5. 将硬件时间写入到主办中 hwclock -w
	6. 硬盘时间同步系统 hwclick --hctosys
	7. 系统时间同步硬盘 hwclock --systihc
2. 查看防火墙
	1. 检查防火墙状态：systemctl status firewalld
	2. 关闭防火墙：systemctl stop firewalld
	3. 关闭防火墙自启：systemctl disable firewalld
	4. 重启系统：reboot
3. 关闭selinux
	1. 查看状态：getenforce
	2. 关闭：vi /etc/selinux/config  中将SELINUX=disabled
	3. 临时关闭： setenforce 0
	4. 重启系统：reboot
4. 查看目录类操作
	1. 查看指定路径：cd
	2. 查看路径下的目录：ls
	3. 查看路径下文件的详情：ls -l
	4. 查看文件中的所有文件包括隐藏文件 ：ls -a
	5. 查看路径下文件详情且文件大小转码：ls-lh
	6. 查看当前位置：pwd
	7. 创建目录：mkdir
	8. 创建文件：touch
	9. 查看目录下的文件且以树状展示：tree  tree -l 数字表示展示几级目录
	10. 拷贝文件 cp
	11. 拷贝目录：cp -r
	12. 移动文件：mv
	13. 移动目录：mv-r
	14. 删除文件：rm
	15. 删除目录：rm -r
	16. 强制删除： rm -rf
	17. 查看文件详情：cat
	18. 查看文件详情且展示行号：cat -n
	19. 查看文件的结尾符号：cat-A
	20. 查看文件的开头和结尾：heed tail
	21. 指定行号： head - 数字 |tail -数字
	22. 上传：rz
	23. 下载：sz
5. Yum的配置
	1. 先保存现有机器上的yum ，现有yum在
	2. 下载curl -o /etc/yum.repos.d/CentOS-Base.repo [https://mirrors.aliyun.com/repo/Centos-7.repo]( )


curl -o /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo


1. 1. 清理yum缓存：yum clean all
	2. 加载yum:yum makecache
	3. 显示yum： yum repolist
2. 远程登录
	1. Ssh [root@192.168.42.131](mailto:root@192.168.42.131)
	2. 远程拷贝 ：scp 目录路径 root@192.168.42.131：保存路径
	3. 远程查看复制内容是否成功：ssh [root@192.168.42.131](mailto:root@192.168.42.131) “ls 路径
	4. 端口更改后远程登录：ssh -p root@192.168.42.131
3. 创建单用户
	* + vi /etc/grub.d/10\_linux
		+ 将复制到文档最后，其中new为用户名，将两个new都要给为新的用户名


cat <<EOF


set superusers="new"


password new 123456


EOF


1. * + 生成新的grub文件：grub2-mkconfig --output=/boot/grub2/grub.cfg
	* 查看本服务器的内核：uname -r
	* 终端对话：write root pts/0
2. 给其他IP重名
	* + Vi /etc/hosts  在文档中的第三行开始进行编写，ip空格自定义的名称。
3. 编写文档
	* + 一个井号为一级标题


两个井号为二级标题


快捷键为Ctrl+数字


* + - 代码块


三个上撇，多行代码块


单行代码`stemectl`，用一个上撇


* + - 字体换颜色，只能给标题和正文添加


<font colir=red> 文本 </font>


1. 打包、压缩（打包后文件大小不变，）  -f 文件；-v列出过程；-c创建包；-x归档中解析;-z使用gzip的格式进行压缩。
	* + 解压zip压缩包，使用unzip进行解压。
		+ 进行打包：tar cvf    tar cvf 打包后的名称.tar 压缩前的目录


Tar cvf root.tar root/


* + - 解压 tar xvf 解压的文件。
		- 压缩并打包：tar czvf  tar czvf  root.tar.gz  root/
		- 解包&解压缩：tar xzvf  文件名称
		- 解压到对应的位置 ：tar xzvf 文件名称 -C路径
		- Dd if=/dev/zero of=/xa2402.txt bs=1024M count=5 查看磁盘写的速率，创建一个文件并指定大小。文件大小等于 bs\*count
		- Gzip 压缩文件，但是源文件被删除，只压缩文件
		- Gzip -d 进行解压



1. 1. Ll-h 查看文件的大小。
	2. Du -sh 文件名 查看指定目录的空间大小，不包含快捷内容（工作中可以使用此命令看磁盘大小，进行相应的清理）
		* Du -sh \*
2. 免密登录
	1. 创建秘钥对：Ssh-keygen       生成秘钥对的地址 id\_rse 私钥
	2. 秘钥在：/root/.ssh  生成 rse(私钥） pub（公钥）
	3. Ssh-copy-id  传递公钥
	4. Koown 我登录过的   authouized 远程登录过的账号
	5. echo >清空文件


10.36.178.100 -2017  131  0


181.128   333


1. 远程登录


* 远程登录后，更改文件sshd\_config中信息 /etc/ssh/sshd\_config
* 远程登录更改欢迎词
	1. 登录词：远程登录后，在etc/ssh/sshd\_config中将banner中贴入Banner /etc/ssh/banner；编辑/etc/ssh/banner 中的信息，然后保存
	2. 输入密码后：更改/etc/ssh/banner 中的信息，保存
	3. 更新ssh ，systemctl instart sshd




## 三、作业


### 3.27

8、rm /opt/a/

9、rm /opt/file1.txt

10、mv /opt/a/ /home/

11、mv /opt/a/file1.txt /home

12、cp /opt/a/ /home/b/

13、cp /opt/a/file.txt /home/hhhh.txt


8.删除内容文件中含有子文件，删除不成功，需要使用rm -r 或者rm -rf进行删除操作，前者需要确认，后者强制删除。


9.删除指定文件夹下文本内容，使用rm /opt/file1.txt，可以正常删除


10.移动文件夹，如果不含子文件夹，使用语句能够成功，如果含有子文件夹，则需要使用MV -r 进行操作


11.可以操作成功


12.操作不成功


13.可以操作成功  将根下文本file复制到HOME中且重新命名为hhh








**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）**
![img](https://img-blog.csdnimg.cn/img_convert/daa5a1434c1c7ab40604c7f61397cc4b.png)

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

可以正常删除


10.移动文件夹，如果不含子文件夹，使用语句能够成功，如果含有子文件夹，则需要使用MV -r 进行操作


11.可以操作成功


12.操作不成功


13.可以操作成功  将根下文本file复制到HOME中且重新命名为hhh








**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）**
[外链图片转存中...(img-6X1jLnOt-1713171286591)]

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**