目录
数据库的基本概念
1、数据(D):
数据库存储的基本单位,可以是文本、数字、图像、音频等形式的信息。数据是数据库的核心内容,用于表示和记录实体、属性和关系。
2、数据库管理系统(DBMS):
数据库管理系统是一种软件,是实现对数据库资源有效组织、管理和存取的系统软件数据库的建立和维护功能、数据定义功能、数据操纵功能、数据库的运行管理功能、通信功能 ,用于管理和操作数据库。它提供了各种功能,如数据定义、数据查询、数据修改、数据备份和恢复等。常见的 DBMS 包括MySQL、Oracle、SQL Server和PostgreSQL等。
3、数据库系统:
是一个人机系统由硬件、OS、数据库、DBMS、应用软件和数据库用户组成,用户可以通过DBMS或应用程序操作数据库
4、表(Table):
表是数据库中数据的逻辑组织形式,将不同的记录组织在一起用来存储具体数据,由行和列组成。每个表代表了一个实体类型,行表示该实体类型的具体实例,列表示实体的属性。表通过定义字段和设定约束来描述数据的结构和规则。
5、数据库:
表的集合,是存储数据的仓库以一定的组织方式存储的相互有关的数据集合
6、行(Row):
行是表中的一条记录,也称为元组(Tuple)。每一行包含了表定义的各个字段的具体数值,表示一个实体实例的属性值。
7、列(Column):
列是表中的一个属性,也称为字段(Field)。每一列包含了相同类型的数据,表示实体的某个特定属性。
8、主键(Primary Key):
主键是表中唯一标识每一行的一列或一组列。它保证了表中的每一行都有唯一的标识符,并且不能为空值。主键用于保持数据的一致性和完整性,还可以用作表之间的关联。
9、外键(Foreign Key):
外键是表中的一个列,它引用了另一个表的主键。外键用于建立表与表之间的关系,实现数据的关联。外键保证了数据的引用完整性,以及在关联表中进行数据查询和操作。
10、索引(Index):
索引是用于快速定位和访问数据的数据结构。它可以通过创建特定的数据结构和算法,加快数据检索的速度。常见的索引类型有B树索引、哈希索引、全文索引等。
11、查询语言(Query Language):
查询语言是用于从数据库中检索数据的一种语言。SQL(Structured Query Language)是最常用的查询语言,它提供了丰富的语法和功能,使用户能够方便地进行数据查询、插入、更新和删除操作。
DBMS主要包括以下功能:
(1)数据库的建立和维护功能: 包括建立数据库的结构和数据的录入与转换、数据库的转储与恢复、数据库的重组与性能监视等功能。
(2)数据定义功能:包括定义全局数据结构、局部逻辑数据结构、存储结构、保密模式及信息格式等功能。保证存储在数据库中的数据正确、有效和相容,以防止不合语义的错误数据被输入或输出。
(3)数据操纵功能: 包括数据查询统计和数据更新两个方面。
(4)数据库的运行管理功能: 这是数据库管理系统的核心部分,包括并发控制、存取控制、数据库内部维护等功能。
(5)通信功能: DBMS 与其他软件系统之间的通信,如 Access 能与其他 office 组件进行数据交换
DBMS的工作模式如下(处理流程):
1>接受应用程序的数据请求和处理请求
2>将用户的数据请求(高级指令) 转换为复杂机器代码(底层指令)
3>实现对数据库的操作
4>从数据库的操作中接受查询结果
5>对查询结果进行处理(格式转换 )
6>将处理结果返回给用户
详细解释DBMS的工作模式如下
首先,DBMS接收来自应用程序的数据请求。
接着,它将用户的数据请求转化为计算机能够理解和执行的底层指令。
然后,DBMS执行这些底层指令来实现对数据库的操作,比如插入、删除、更新或查询数据等。
接下来,DBMS从数据库中获取操作的结果,可以是查询到的数据,也可以是操作影响的记录数等。
然后,DBMS对获取的结果进行处理,可能会进行格式转换、计算或者其他操作,以便将结果呈现给用户。
最后,DBMS将处理后的结果返回给用户,使其能够方便地理解和使用这些数据。
简单来说,DBMS就像一个连接用户和数据库之间的桥梁,它负责接受用户的请求,将其转化为计算机可执行的指令,并处理数据库的操作结果,最终将处理后的结果返回给用户。这样用户就可以方便地使用数据库中的数据了。
MySQL数据库的发展历史
-
1994年:MySQL 诞生。由于需求变大,Michael Widenius 和 David Axmark 开始开发一个轻量级且易于使用的数据库系统。最初的版本只支持基本的SQL查询和事务处理。
-
1995年:MySQL 0.9 发布。这是 MySQL 的首个公开版本,包含了更多的功能和改进。MySQL 0.9 在社区中获得了广泛认可,并成为流行的数据库解决方案之一。
-
1996年:MySQL AB 成立。为了更好地支持和发展 MySQL,Michael Widenius、David Axmark 和 Allan Larsson 共同创立了 MySQL AB 公司。他们致力于提供商业版的 MySQL,并在开源许可下提供免费的社区版本。
-
2000年:MySQL 3.23 发布。这个版本引入了许多重要的特性,包括索引优化、子查询、事务和存储过程。MySQL 3.23 的发布使得 MySQL 能够处理更加复杂的应用程序需求。
-
2003年:MySQL 4.0 发布。这个版本进一步增强了性能、可扩展性和安全性。它引入了新的存储引擎(如InnoDB)和其他功能,使得 MySQL 成为商业和互联网应用的首选数据库。
-
2005年:MySQL 5.0 发布。这个版本是一个重要的里程碑,引入了一些关键的特性,如触发器、视图、存储过程、事件调度器等。此外,它也支持更好的安全性和性能优化。
-
2008年:Sun Microsystems 收购 MySQL AB。Sun Microsystems(后来被 Oracle 收购)收购了 MySQL AB,使得 MySQL 获得了更大的资源和支持,加速了其发展。
-
2010年:MySQL 5.5 发布。这个版本引入了许多新功能,如分区表、半同步复制、InnoDB 引擎的性能改进等。
-
2013年:MySQL 5.6 发布。这个版本引入了更多的性能优化、高可用性功能和安全增强措施。它提供了更好的查询优化、并行复制和NoSQL接口。
-
2015年:Oracle 推出 MySQL 5.7。这个版本带来了更多的功能和改进,包括JSON支持、空间数据类型、在线DDL操作、性能优化等。
-
2016年:MySQL 8.0 发布。这个版本是一个重要的里程碑,引入了许多重大改进,如事务日志的重新设计、全文搜索的改进、更好的安全性和性能提升等。、
总的可分为这三代数据库
第一代数据库 自20世纪60年代起,第一代数据库系统问世是层次模型与网状模型的数据库系统为统一管理和共享数据提供了有力的支撑
第二代数据库 20世纪70年代初,第二代数据库-关系数据库开始出现20世纪80年代初,IBM公司的关系数据库系统DB2问世,开始逐步取代层次与网状模型的数据库,成为行业主流到目前为止,关系数据库系统仍占领数据库应用的主要地位
第三代数据库 自20世纪80年代开始,适应不同领域的新型数据库系统不断涌现面向对象的数据库系统,实用性强、适应面广 20世纪90年代后期,形成了多种数据库系统共同支撑应用的局面一些新的元素被添加进主流数据库系统中 例如,Oracle支持的“关系-对象”数据库模型
主流的数据库介绍
-
MySQL:MySQL是一个开源的关系型数据库管理系统(RDBMS),被广泛应用于Web应用程序开发。它具有良好的性能、可靠性和扩展性,支持多种操作系统平台,如Windows、Linux和macOS等。MySQL使用SQL作为查询语言,提供了丰富的功能和工具,包括事务处理、复制、分区等。
-
Oracle Database:Oracle Database是由Oracle Corporation开发的一种关系型数据库管理系统。它是市场上最成熟和功能最强大的数据库之一,广泛用于企业级应用和大规模数据处理。Oracle Database支持高性能的事务处理、数据复制、数据安全等功能,并提供了高级的管理和分析工具。
-
Microsoft SQL Server:Microsoft SQL Server是由微软开发的关系型数据库管理系统。它在Windows操作系统上具有良好的集成性和兼容性,并支持广泛的开发工具和应用程序框架。SQL Server提供了高度可靠的数据存储和处理能力,以及企业级的安全性、可扩展性和高性能查询优化。
-
PostgreSQL:PostgreSQL是一款开源的关系型数据库管理系统,具有高度的可扩展性和可定制性。它提供了广泛的功能,包括复杂查询、事务处理、触发器、存储过程等,支持多种编程语言和操作系统平台。PostgreSQL还具备高级的数据完整性和并发控制机制,适用于各种规模和类型的应用。
-
MongoDB:MongoDB是一个面向文档的NoSQL数据库,以灵活的数据模型和高可扩展性而闻名。它将数据以BSON格式存储,支持复杂的查询和索引。MongoDB适用于大数据处理、实时分析和分布式存储等场景,并具有自动的数据分片和副本集管理功能。
什么是关系型数据库
关系数据库系统是基于关系模型的数据库系统
关系模型的数据结构使用简单易懂的二维数据表
关系数据库的存储结构是二维表格
在每个二维表中
每一行称为一条记录,用来描述一个对象的信息
每一列称为一个字段,用来描述对象的一个属性
关系模型可用简单的“实体-关系”(E-R)图来表示
E-R图中包含了实体(数据对象)、关系和属性三个要素
关系型数据库 | 应用举例 |
MysQL,Oracle | 12306用户信息系统 |
SQLServer、Sybase | 淘宝账号系统 |
Informix、access | 联通手机号信息系统 |
DB2、FoxPRO | 银行用户账号系统 |
PostgreSQL | 网站用户信息系统 |
什么是非关系型数据库
非关系数据库也被称作NOSQL(Not Only SQL)
存储数据不以关系模型为依据,不需要固定的表格式
非关系型数据库的优点
数据库可高并发读写
对海量数据高效率存储与访问
数据库具有高扩展性与高可用性
常用的非关系数据库:
Redis、mongoDB等
数据库介绍和应用场景
一款深受欢迎的开源关系型数据库
Oracle旗下的产品
遵守GPL协议,可以免费使用与修改
特点
性能卓越、服务稳定
开源、无版权限制、成本低
多线程、多用户
基于C/S(客户端/服务器)架构安全可靠
MySQL商业版和社区版
MySQL商业版是由MySQL AB公司负责开发与维护需要付费才能使用
MySQL社区版是由分散在世界各地的MySQL开发者爱好者一起开发与维护,可以免费使用
两者区别
商业版组织管理与测试环节更加严格,会比社区版更稳定
商业版不遵守GPL,社区版遵从GPL可以免费使用
商业版可获得7*24小时的服务,社区版则没有
MySQL产品阵营
第一阵营:5.0-5.1阵营,可说是早期产品的延续
第二阵营: 5.4-5.7阵营,整合了MySQLAB公司、社区和第三方公司开发的存储引擎,从而提高性能
第三阵营: 6.0-7.1阵营,就是MySQL Cluster版本为适应新时代对数据库的集群需求而开发
下载网址 http://www.dev.mysql.com/downloads
关系型数据库和非关系型数据库的区别
-
数据结构:关系型数据库使用表格来组织数据,表格由行和列组成,数据存储在预定义的模式下。而非关系型数据库则使用不同的数据结构,如键值对、文档、列族或图等,没有约束性的固定模式。
-
数据一致性:关系型数据库通常使用ACID(原子性、一致性、隔离性和持久性)属性来确保数据的一致性和完整性。非关系型数据库则更注重可扩展性和性能,放宽了一致性约束,采用BASE(基本可用、软状态、最终一致性)理念,允许在分布式环境下可能存在的数据不一致。
-
扩展性:关系型数据库往往较难水平扩展,即增加服务器来处理更大的负载。非关系型数据库通常具有良好的可扩展性,可以通过分布式计算和存储来处理大规模数据,并提供高吞吐量和低延迟。
-
查询语言:关系型数据库使用结构化查询语言(SQL)进行数据查询和操作,在具备良好的数据一致性和事务控制的同时,提供了强大的查询能力。非关系型数据库则使用各种不同的查询语言或API,如MongoDB的查询语法或Redis的命令行操作。
-
数据库设计:关系型数据库适用于处理结构化和高度相关的数据,它们通常支持复杂的数据模型和关系建模。非关系型数据库更适合存储半结构化或非结构化数据,适应较快速变化的数据模式和需求。
选择关系型数据库还是非关系型数据库取决于具体的应用场景和需求。关系型数据库在事务处理、数据一致性要求高的场景下表现较好,而非关系型数据库适用于海量数据存储和高并发读写的场景。
关系数据库:
关系数据库结构是二维数据库表,二维表当中每个字段(列)用来描述对象的一个属性,每个记录(行)用来描述一个对象的信息(完整信息),关系数据库写到哪里也就是存储在硬盘当中 读写系统就会受到的IO限制或者瓶颈
其他 关系型数据库最典型的数据结构是表,由二维表及其之间的联系所组成的一个数据组织 优点: 1、易于维护:都是使用表结构,格式一致; 2、使用方便:SQL语言通用,可用于复杂查询; 3、复杂操作:支持SQL,可用于一个表以及多个表之间非常复杂的查询。 缺点: 1、读写性能比较差,尤其是海量数据的高效率读写; 2、固定的表结构,灵活度稍欠; 3、高并发读写需求,传统关系型数据库来说,硬盘I/O是一个很大的瓶颈。
缓存加速软件非关系型数据库(NoSQL):
MongoDB 、 Redis(内存数据库/缓存数据库)K-V键值对、与之类似的Memcache,K-V键值对 redis-memecache对比: 相同点:存储高热数据(在内存中高速运行) 不同点:redis可以做持久化保存,可以存储对象
非关系型数据库严格上不是一种数据库,应该是一种数据结构化存储方法的集合,可以是文档或者键值对等。
优点:
1、格式灵活:存储数据的格式可以是key,value形式、文档形式、图片形式等等,文档形式、图片形式等等,使用灵活,应用场景广泛,而关系型数据库则只支持基础类型。 2、速度快:nosql可以使用硬盘或者随机存储器作为载体,而关系型数据库只能使用硬盘; 3、高扩展性; 4、成本低:nosql数据库部署简单,基本都是开源软件。
缺点:
1、不提供sql支持,学习和使用成本较高; 2、无事务处理; 3、数据结构相对复杂,复杂查询方面稍欠。 4、好多数据写在内存中
安装mysql
---------------------------安装MYSQL---------------------------------
安装mysql服务内存必须4G以上
yum -y install \
gcc \
gcc-c++ \
ncurses \ #字符终端下图形互动功能的动态库
ncurses-devel \ #ncurses开发包
bison \ #语法分析器
cmake #mysql需要用cmake编译安装
yum -y install gcc gcc-c++ ncurses ncurses-devel bison cmake
#创建程序用户管理
useradd -s /sbin/nologin mysql
tar zxvf mysql-5.7.17.tar.gz -C /opt
tar zxvf boost_1_59_0.tar.gz -C /usr/local/
mv /usr/local/boost_1_59_0 /usr/local/boost
5.7 8.0
cd /opt/mysql-5.7.17/
cmake \
-DCMAKE_INSTALL_PREFIX=/usr/local/mysql \ #指定mysql的安装路径
-DMYSQL_UNIX_ADDR=/usr/local/mysql/mysql.sock \ #指定mysql进程监听套接字文件(数据库连接文件)的存储路径
-DSYSCONFDIR=/etc \ #指定配置文件的存储路径
-DSYSTEMD_PID_DIR=/usr/local/mysql \ #指定进程文件的存储路径
-DDEFAULT_CHARSET=utf8 \ #指定默认使用的字符集编码,如 utf8
-DDEFAULT_COLLATION=utf8_general_ci \ #指定默认使用的字符集校对规则
-DWITH_EXTRA_CHARSETS=all \ #指定支持其他字符集编码
-DWITH_INNOBASE_STORAGE_ENGINE=1 \ #安装INNOBASE存储引擎
-DWITH_ARCHIVE_STORAGE_ENGINE=1 \ #安装ARCHIVE存储引擎
-DWITH_BLACKHOLE_STORAGE_ENGINE=1 \ #安装BLACKHOLE存储引擎
-DWITH_PERFSCHEMA_STORAGE_ENGINE=1 \ #安装FEDERATED存储引擎
-DMYSQL_DATADIR=/usr/local/mysql/data \ #指定数据库文件的存储路径
-DWITH_BOOST=/usr/local/boost \ #指定boost的路径,若使用mysql-boost集成包安装则-DWITH_BOOST=boost
-DWITH_SYSTEMD=1 #生成便于systemctl管理的文件
存储引擎选项:
MYISAM,MERGE,MEMORY和cSv引擎是默认编译到服务器中,并不需要明确地安装。静态编译一个存储引擎到服务器,使用-DWITH engine STORAGE ENGINE= 1
可用的存储引擎值有:ARCHIVE,BLACKHOLE,EXAMPLE,FBDERATBDB(InnoDB),PARTTTON(partitioning support),和PERFSCHEMA(Performance schema),IMNOBAS
--------------------------------------------------------------------------------------------------------------------------------------------
cmake \
-DCMAKE_INSTALL_PREFIX=/usr/local/mysql \
-DMYSQL_UNIX_ADDR=/usr/local/mysql/mysql.sock \
-DSYSCONFDIR=/etc \
-DSYSTEMD_PID_DIR=/usr/local/mysql \
-DDEFAULT_CHARSET=utf8 \
-DDEFAULT_COLLATION=utf8_general_ci \
-DWITH_EXTRA_CHARSETS=all \
-DWITH_INNOBASE_STORAGE_ENGINE=1 \
-DWITH_ARCHIVE_STORAGE_ENGINE=1 \
-DWITH_BLACKHOLE_STORAGE_ENGINE=1 \
-DWITH_PERFSCHEMA_STORAGE_ENGINE=1 \
-DMYSQL_DATADIR=/usr/local/mysql/data \
-DWITH_BOOST=/usr/local/boost \
-DWITH_SYSTEMD=1
make -j 4 && make install
注意:部署mysql报错基本都是内存不足造成
可以试下 echo 1 > /proc/sys/vm/drop_caches #清除缓存
CMAKE报错解决方法
如果在CMAKE的过程中有报错,当报错解决后,需要把源码目录中的CMakeCache.txt文件删除,然后再重新CMAKE,否则错误依旧
如果结尾报-- Could NOT find Curses (missing: CURSES_LIBRARY CURSES_INCLUDE_PATH)
CMake Error at cmake/readline.cmake:64 (MESSAGE):
Curses library not found. Please install appropriate package,
remove CMakeCache.txt and rerun cmake.On Debian/Ubuntu, package name is libncurses5-dev, on Redhat and derivates it is ncurses-devel.
Call Stack (most recent call first):
cmake/readline.cmake:107 (FIND_CURSES)
cmake/readline.cmake:197 (MYSQL_USE_BUNDLED_EDITLINE)
CMakeLists.txt:483 (MYSQL_CHECK_EDITLINE)
-- Configuring incomplete, errors occurred!
See also "/opt/mysql-5.7.17/CMakeFiles/CMakeOutput.log".
See also "/opt/mysql-5.7.17/CMakeFiles/CMakeError.log".
说明在配置 MySQL 时出现了缺少 Curses 库的问题。
yum install ncurses-devel安装
然后检查CMake缓存文件:运行以下命令以删除CMake缓存文件,并重新运行cmake:
rm -rf /opt/mysql-5.7.17/CMakeCache.txt
就可以了
#创建普通用户管理mysql
useradd -s /sbin/nologin mysql
chown -R mysql:mysql /usr/local/mysql/
#更改管理主/组
chown mysql:mysql /etc/my.cnf
#修改配置文件
vim /etc/my.cnf #删除原配置项,再重新添加下面内容
[client] #客户端设置
port = 3306
socket=/usr/local/mysql/mysql.sock
[mysqld] #服务全局设置
user = mysql #设置管理用户
basedir=/usr/local/mysql #指定数据库的安装目录
datadir=/usr/local/mysql/data #指定数据库文件的存储路径
port = 3306 #指定端口
character-set-server=utf8 #设置服务器字符集编码格式为utf8
pid-file = /usr/local/mysql/mysqld.pid #指定pid 进程文件路径
socket=/usr/local/mysql/mysql.sock #指定数据库连接文件
bind-address = 0.0.0.0 #设置监听地址,0.0.0.0代表允许所有,如允许多个IP需空格隔开
skip-name-resolve #禁用DNS解析
max_connections=2048 #设置mysql的最大连接数
default-storage-engine=INNODB #指定默认存储引擎
max_allowed_packet=16M #设置数据库接收的数据包大小的最大值
server-id = 1 #指定服务ID号
[client]
port = 3306
default-character-set=utf8
socket=/usr/local/mysql/mysql.sock
[mysql]
port = 3306
default-character-set=utf8
socket=/usr/local/mysql/mysql.sock
auto-rehash
[mysqld]
user = mysql
basedir=/usr/local/mysql
datadir=/usr/local/mysql/data
port = 3306
character-set-server=utf8
pid-file = /usr/local/mysql/mysqld.pid
socket=/usr/local/mysql/mysql.sock
bind-address = 0.0.0.0
skip-name-resolve
max_connections=2048
default-storage-engine=INNODB
max_allowed_packet=16M
server-id = 1
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER,NO_AUTO_VALUE_ON_ZERO,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,PIPES_AS_CONCAT,ANSI_QUOTES
---------------------------------------------------------------------------------------------------------------------------------------------------------sql_mode常用值如下:
NO_ENGINE_SUBSTITUTION
如果需要的存储引擎被禁用或未编译,那么抛出错误。不设置此值时,用默认的存储引擎替代,并抛出一个异常
STRICT_TRANS_TABLES
在该模式下,如果一个值不能插入到一个事务表中,则中断当前的操作,对非事务表不做限制
NO_AUTO_CREATE_USER
禁正GRANT创建密码为空的用户
NO_AUTO_VALUE_ON_ZERO
mysql中的自增长列可以从O开始。默认情况下自增长列是从1开始的,如果你插入值为0的数据会报错
NO_ZERO_IN_DATE
不允许日期和月份为零
NO_ZERO_DATE
mysql数据库不允许插入零日期,插入零日期会抛出错误而不是警告
ERROR_FOR_DIVISION_BY_ZERO
在INSERT或UPDATE过程中,如果数据被零除,则产生错误而非警告。默认情况下数据被零除时MysQL返回NULL
PIPES_As_CONCAT
将"||"视为字符串的连接操作符而非或运算符,这和Oracle数据库是一样的,也和字符串的拼接函数Concat相类似
ANSI_QUOTES
启用ANSI_QUOTES后,不能用双引号来引用字符串,因为它被解释为识别符
--------------------------------------------------------------------------------------------------------------------------------------
#设置环境变量,申明/宣告mysql命令便于系统识别
’echo "PATH=$PATH:/usr/local/mysql/bin" >> /etc/profile
source /etc/profile
#初始化数据库
cd /usr/local/mysql/bin/
./mysqld \
--initialize-insecure \ #生成初始化密码为空
--user=mysql \ #指定管理用户
--basedir=/usr/local/mysql \ #指定数据库的安装目录
--datadir=/usr/local/mysql/data #指定数据库文件的存储路径
cd /usr/local/mysql/bin/
./mysqld \
--initialize-insecure \
--user=mysql \
--basedir=/usr/local/mysql \
--datadir=/usr/local/mysql/data
cp /usr/local/mysql/usr/lib/systemd/system/mysqld.service /usr/lib/systemd/system/
systemctl daemon-reload #刷新识别
systemctl start mysqld.service #开启服务
systemctl enable mysqld #开机自启动
netstat -anpt | grep 3306 #查看端口
#给root账号设置密码
mysqladmin -u root -p password "006121"
连续回车两下就可以了
检查mysql是否安装完成
通过mysqlshow
命令成功连接到MySQL数据库,并列出了四个数据库:
information_schema
:包含有关数据库和表的元数据信息。mysql
:存储MySQL服务器自身的配置和用户权限等信息。performance_schema
:提供有关MySQL服务器性能的统计信息。sys
:是MySQL 5.7及更高版本引入的一个系统数据库,用于管理系统相关的存储过程、函数和视图。
这些是MySQL默认安装的标准数据库。也就是说明我们至此已经安装成功