先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
如果你需要这些资料,可以添加V获取:vip204888 (备注大数据)
正文
目 录
🌴一. 数据库介绍
🌿1.1 什么是数据库
和我们表面所见一样,顾名思义就是用来储存数据的
存储数据用文件就可以了,为什么还要弄个数据库?
文件保存数据有以下几个缺点:
- 文件的安全性问题
- 文件不利于数据查询和管理
- 文件不利于存储海量数据
- 文件在程序中控制不方便
为了解决上述问题,专家们设计出更加利于管理数据的软件——数据库,它能更有效的管理数据。数据库可以提供远程服务,即通过远程连接来使用数据库,因此也称为数据库服务器。
🌿1.2 数据库分类
数据库大体可以分为 关系型数据库 和 非关系型数据库
- 关系型数据库(RDBMS):
是指采用了关系模型来组织数据的数据库。 简单来说,关系模型指的就是二维表格模型,而一个关系型数据库就是由二维表及其之间的联系所组成的一个数据组织。
基于标准的SQL,只是内部一些实现有区别。常用的关系型数据库如:
1.Oracle:甲骨文产品,适合大型项目,适用于做复杂的业务逻辑,如ERP、OA等企业信息系统。收费。,世界上最强数据库,对数据安全性要求极高且收费高
2.MySQL:属于甲骨文,不适合做复杂的业务。开源免费,所以广受欢迎。
3.SQL Server:微软的产品,安装部署在windows server上,适用于中大型项目。收费。
典型特征:使用 " 数据表 " 的格式来组织数据的 - 非关系型数据库:
(了解)不规定基于SQL实现。现在更多是指NoSQL数据库,如:
1.基于键值对(Key-Value):如 memcached、redis
2.基于文档型:如 mongodb
3.基于列族:如 hbase
4.基于图型:如 neo4j
所以Nosql是不用数据表来组织数据的
关系型数据库与非关系型数据库的 区别:
关系型数据库 | 非关系型数据库 |
---|---|
是使用SQL | 不强制要求,一般不基于SQL实现 |
支持事务支持 | 不支持事务支持 |
支持复杂操作 | 不支持复杂操作 |
海量读写操作效率低 | 海量读写操作效率高 |
基本结构基于表和列,结构固定 | 基本结构灵活性比较高 |
使用场景在业务方面的OLTP系统 | 使用场景在用于数据的缓存、或基于统计分析的OLAP系统 |
注:OLTP(On-Line Transaction Processing)是指联机事务处理,OLAP(On-Line AnalyticalProcessing)是指联机分析处理。
🌲二. MySQL的结构
🍂2.1 MySQL服务器和客户端
MySQL是一个 ” 客户端 - 服务器 “ 结构的程序
- 客户端:主动的一方就是客户端
- 服务器:被动的一方就是服务器
一个服务器可能同一时刻要给多个客户端提供服务
例如我们生活中的例子:
我们去餐厅就餐,我们要求老板来一份青椒炒肉丝盖浇饭,没一会儿,老板就端上来了一碗香喷喷的盖浇饭
此时我们就可以把这一事件的性质代入到数据库中:
客户端给服务器发送的数据,称为 ” 请求 “(来一份青椒炒肉丝盖浇饭)
服务器给客户端返回的数据,称为 “ 相应 ”(端上来了一碗香喷喷的盖浇饭)
咱们安装的MySQL是既带有客户端,也带有服务器
MySQL客户端(默认自带命令行客户端):
除此之外,还有一些第三方客户端(有些是带图形化界面的)
MySQL客户端和MySQL服务器可以在同一个主机上,也可以在不同的主机上。
在实际工作中更常见的是客户端和服务器在不同的主机上,而我们学习中客户端和服务器更多的是在同一个主机上(虽然是同一个主机,但是仍然是通过网络进行通信的)
对于MySQL来说,储存和管理数据都是由MySQL服务器来负责的!!
因此MySQL服务器要比MySQL客户端复杂很多,甚至可以认为MySQL服务器就是MySQL的本体,大部分时候谈及MySQL就是代指了MySQL服务器
🍂2.2 MySQL服务器是如何组织数据的
一个MySQL服务器可以包含多个 " 数据库 " ,此处的 " 数据库 " 其实是 " 数据集合 ",这里面就放了一些具有关联关系的数据
例如我们牛客网为例:
题库:各种公司往年真题,在线编程,专项练习
面试:各种工程师面经以及详细题目汇总
求职:校招,社招,实习生的招聘
以上的这些项目都没必要每个数据都安排一个主机,一个主机,一个MySQL服务器就可以管理起来,但是为了不让这些数据相互影响,因此逻辑上分开了,也就放到不同的数据库里了
每个数据库(数据集合)里面有很多数据表
例如题库表:通过率,排行榜…
一个表里有很多行,每一行称为 " 一条记录 "
每一行也有很多列,每个列表示不同的含义,每一列,也称为一个" 字段 " (field)
所以综合就是:数据库 --> 数据表 – > 行 --> 列
不仅是MySQL这样组织数据,只要是关系型数据库,都是按照上述的结构来组织数据的
🌳三. 数据库的操作
🍃3.1 创建数据库
create database 数据库名;
示例:
- 创建名为java的数据库
当我们看到如上就是数据库创建成功了
会有很多人疑问0.00 sec是什么
sec ==》 second 秒
表示时间的,也反应了计算机的操作效率,换句话说为什么会有非关系型数据库的存在呢?因为非关系型数据库约束更少,效率更高,也更适合于当下流行的 " 分布式系统 "
注意:
- create,database都是SQL中的关键字,不能拼写错误了,单词中间有空格(一个或者多个都行,一般是一个)
- 关键词不区分大小写
- 末尾分号不要遗忘,是英文分号
说明:当我们创建数据库没有指定字符集和校验规则时,系统使用默认字符集:utf8,校验规则是:utf8_ general_ ci
字符集描述了储存的数据都支持啥样的字符,校验规则就描述了当前字符之间该如何进行比较(比较字符串大小,相等关系,一般都是默认规则,很少进行手动干预)
🍃3.2 显示当前的数据库
show databases;
我们可以看到除了我们自己创建的数据库java,还有一些系统自带的数据库
注意:
- 此处databases是复数,输出的是很多数据库,不要忘记加s
- 打印数据库会有很多系统自带的数据库也存在
🍃3.3 使用数据库
use 数据库名;
这样我们就选中数据库java完成了
🍃3.4 删除数据库
drop database 数据库名;
示例:
- 删除名为java的数据库
这样就完成了我们的数据库的删除,我们打印出来看看验证一下
此时就可以看到java数据库确实被删除了
说明:
- 数据库删除以后,内部看不到对应的数据库,里边的表和数据全部被删除
- 千万不要随意删除数据库!!!(特别是不要在公司的生产环境服务器上进行删除)
在此处我们拓展一下关于如何避免不小心删库的带来的危害或者把损失降到最低呢?
- 权限:设置少数人有可以修改和删除数据库的权限
- 备份:把数据拷贝一份,存到另外的地方
- 硬盘数据恢复:由于MySQL是把数据存储在硬盘上,所以删除了数据库的数据,是可以在硬盘上恢复数据的
我们在这里详细讲解下如何恢复硬盘数据的:
操作系统为了方便进行管理,把整个硬盘分为了若干个 " 盘块 " ,每个盘块都可以保存一定的数据,所以实际上每个文件可能是由一个或者多个盘块上面的数据组成的
当操作系统删除文件的时候,为了提高删除动作的效率,在删除的时候并不是真的把硬盘上之前保存的数据擦除掉,而只是把该文件对应的盘块标记成 " 无效状态 ",因此一旦出现误删库的情况下,就要尽快让主机断电,就避免了操作系统把这些被标记成无效的盘块给分配出去!!!(不一定百分之百能恢复,大概率是只能恢复一部分)
🌵四.常用数据类型
MySQL是一个关系型数据库,典型特点就是通过表的形式来组织数据的,表格的特点就是 " 特别整齐 " ,每一行,列数都是一样的,每一列,数据都是同类的(数据类型相同),数据类型一方面能够方便我们对数据进行处理,一方面也能够针对数据进行校验和检查。
🍀4.1 数值类型
分为整型和浮点型:
扩展:
- 数值类型可以指定为无符号(unsigned),表示不取负数。
- 1字节(bytes)= 8bit。
- 对于整型类型的范围:
1.有符号范围:-2 ^(类型字节数8-1)到2 ^(类型字节数8-1)-1,如int是4字节,就是-2 ^ 31到2 ^ 31-1
2.无符号范围:0到2 ^(类型字节数*8)-1,如int就是2 ^ 32 - 1
尽量不使用unsigned,对于int类型可能存放不下的数据,int unsigned同样可能存放不下,与其如此,还不如设计时,将int类型提升为bigint类型。
- DECIMAL相比于FLOAT和DOUBLE,可以更精确的表示小数。DECIMAL相当于通过字符串的方式来表示浮点数,优势就是能够精确表示,精确计算;但是劣势就是计算时消耗的更多,储存空间也更多。除非是特别需要,才考虑使用DECIMAL
🍀4.2 字符串类型
扩展:
- VARCHAR (SIZE)是最常用的类型
例如:varchar(50),这个字段最多存50个字符(注意不是字节),也可能更短。动态的根据存入的数据长度来自适应空间。(一个字节固定为8个bit,一个字符就不是了,取决于具体的字符编码,Java中默认使用的是Unicode编码,utf8还不太一样,背后有着千丝万缕的关系) - 65535字节 – > 拓展:一个字节表示的整数:-128 => 127 --> 0 => 256 ;两个字节表示的整数:-32768 => 32767 --> 0 => 65535 ;四个字节表示的整数:-21亿 => 21亿 – > 0 =>42亿9千万
- 上面三个存储的是文本数据,BLOB存储的是二进制数据。(文本数据:里面存储的数据都是ASCLL字符,二进制数据:啥数据都有可能)
🍀4.3 日期类型
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注大数据)
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
128 => 127 --> 0 => 256 ;两个字节表示的整数:-32768 => 32767 --> 0 => 65535 ;四个字节表示的整数:-21亿 => 21亿 – > 0 =>42亿9千万
- 上面三个存储的是文本数据,BLOB存储的是二进制数据。(文本数据:里面存储的数据都是ASCLL字符,二进制数据:啥数据都有可能)
🍀4.3 日期类型
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注大数据)
[外链图片转存中…(img-J7pSef3C-1713347490059)]
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!