Linux-MySQL数据库之基础

一、数据库的基本概念

1、数据（Data）

• 描述事物的符号记录
• 包括数字，文字，图形，图像，声音，档案记录等
• 以“记录”形式按统一的格式进行存储

2、表

• 将不同的记录组织在一起
• 用来存储具体数据

记录:行
字段(属性):列
以行+列的形式就组成了表(数据存储在表中)
关系数据库的表由记录组成，记录由字段组成，字段由字符或数字组成。它可以供各种用户共享具有最小冗余度和较高的数据独立性，它是统一管理的相关数据的集合。

3、数据库

• 表的集合，是存储数据的仓库
• 以一定的组织方式存储的相互有关的数据集合

4、数据库管理系统（DBMS）

• 是实现对数据库资源有效组织、管理和存取的系统软件

注：数据库的建立和维护功能、数据定义功能、数据操纵功能、数据库的运行管理功能、通信功能

数据库的建立和维护功能:包括建立数据库的结构和数据的录入与转换、数据库的转储与恢复、数据库的重组与性能监视等功能。

数据定义功能:包括定义全局数据结构、局部逻辑数据结构、存储结构、保密模式及信息格式等功能。保证存储在数据库中的数据正确、有效和相容，以防止不合语义的错误数据被输入或输出

数据操纵功能:包括数据查询统计和数据更新两个方面。

数据库的运行管理功能:这是数据库管理系统的核心部分，包括并发控制、存取控制、数据库内部维护等功能。

通信功能:DBMS 与其他软件系统之间的通信,如 Access能与其他 office组件进行数据交换。

5、数据库系统

• 是一个人机系统，由硬件、os、数据库、DBMS、应用软件和数据库用户组成

• 用户可以通过DBMS或应用程序操作数据库

解释：

DBMS的工作模式如下:
1>接受应用程序的数据请求和处理请求
2>将用户的数据请求（高级指令）转换为复杂机器代码（底层指令)
3>实现对数据库的操作
4>从数据库的操作中接受查询结果
5>对查询结果进行处理（格式转换）
6>将处理结果返回给用户

二、数据库系统发展史

人工管理->文件管理->数据库系统

1、第一代数据库

• 自20世纪60年代起，第一代数据库系统问世

• 是层次模型与网状模型的数据库系统

• 为统一管理和共享数据提供了有力的支撑

2、第二代数据库

• 20世纪70年代，第二代数据库—关系数据库开始出现

• 20世纪80年代，IBM公司的关系数据库系统DB2问世，开始逐步取代层次与网状模型的数据库，成为行业主流

• 到目前为止，关系数据库系统仍占领数据库应用的主要地位

3、第三代数据库

• 自20世纪80年代开始，适应不同领域的新型数据库系统不断涌现

• 面向对象的数据库系统，实用性强，适应面广

• 20世纪90年代后期，形成了多种数据库系统共同支撑应用的局面

• 一些新的元素被添加进主流数据库系统中
例如，Oracle支持的 “关系-对象"数据库模型

三、当今主流数据库介绍

1、SQL Server (微软公司产品)

• 面向Windows操作系统
• 简单、易用

2、Oracle (甲骨文公司产品)

• 面向所有主流平台，
• 安全、完善，操作复杂

3、DB2 (IBM公司产品)

• 面向所有主流平台
• 大型、安全、完善

4、MySQL (甲骨文公司收购)

• 免费、开源、体积小

四、关系数据库

• 关系数据库系统是基于关系模型的数据库系统
• 关系模型的数据结构使用简单易懂的二_维数据表
• 关系模型可用简单的“实体关系”(E-R) 图来表示
• E-R图中包含了实体(数据对象)、关系和属性三个要素

1、实体

• 也称为实例，对应现实世界中可区别于其它对象的“事件”或“事物”
如银行客户、银行账户等

2、属性

• 实体所具体的某一特性，一个实体可以有多个属性
如“银行客户”实体集中的每个实体均具有姓名、住址、电话等属性

3、联系

• 实体集之间的对应关系称为联系，也称为关系
如银行客户和银行账户存在“储蓄”的关系

4、所有实体及实体之间联系的集合构成一个关系数据库

5、关系数据库的存储结构是二维表格

6、在每个二维表中

• 每一行称为一条记录，用来描述一个对象的信息

• 每一列称为一个字段，用来描述对象的一个属性

五关系数据库应用

1、关系数据库
• Oracle , MySQL
• SQLServer、Sybase
• Informix、access
• DB2、FoxPRO

2、应用举例
• 12306用户信息系统
• 淘宝账号系统
• 联通手机号信息系统.
• 银行用户账号系统
• 网站用户信息系统.

六.非关系数据库

1、非关系数据库也被称作NoSQL (Not Only SQL)
2、存储数据不以关系模型为依据，不需要固定的表格式
3、非关系型数据库的优点
• 数据库可高并发读写
• 对海数据高效率存储与访问
• 数据库具有高扩展性与高可用性

4、常用的非关系数据库:Redis、mongoDB等

七.MySQL数据库介绍

1、一款深受欢迎的开源关系型数据库
2、Oracle旗下的产品
3、遵守GPL协议，可以免费使用与修改
4、特点
• 性能卓越、服务稳定
• 开源、无版权限制、成本低
• 多线程、多用户
• 基于C/S (客户端/服务器)架构
• 安全可靠

八、MySQL商业版与社区版

1、MySQL商业版是由MySQL AB公司负责开发与维护，需要付费才能使用
2、MySQL社区版是由分散在世界各地的MySQL开发者、爱好者一起开发与维护，可以免费使用
3、两者区别
• 商业版组织管理与测试环节更加严格,蚍社区版更稳定
• 商业版不遵守GPL,社区版遵从GPL可以免费使用
• 商业版可获得7*24小时的服务,社区版则没有

九、MySQL产品阵营

1、第一阵营: 5.0-5.1阵营，可说是早期产品的延续
2、第二阵营: 5.4-5.7阵营， 整合了MySQL AB公司、社区和第三方公司开发的存储引擎，从而提高性能
3、第三阵营: 6.0-7.1阵营， 就是MySQL Cluster版本,为适应新时代对数据库的集群需求而开发
4、下载网址
●http://www.dev.mysql.com/downloads

总结

1、描述主流的数据库系统
Mysql (oracle公司) 、 SQL server（微软)、access(微软公司office产品)oracle 、 DB2 (IBM公司) , sybase ( sybase)等等

2、关系型数据库和非关系型数据库的区别
关系数据库:
关系数据库结构是二维数据库表，二维表当中每个字段（列）用来描述对象的一个属性，每个记录（行）用来描述一个对象的信息（完整信息），关系数据库写到哪里也就是存储在硬盘当中读写系统就会受到的Io限制或者瓶颈。
其他
关系型数据库最典型的数据结构是表，由二维表及其之间的联系所组成的一个数据组织优点:

1、易于维扩T都是使用表结构，格式一致;
2、使用方使:sQL语言通用，可用于复杂查询:
3、复杂操作:支持sQL，可用于一个表以及多个表之间非常复杂的查询。
缺点:
1、读写性能比较差，尤其是海量数据的高效率读写;
2、固定的表结构，灵活度稍欠;
3、高并发读写需求，传统关系型数据库来说，硬盘I/o是一个很大的瓶颈。

缓存加速软件
非关系型数据库（NoSQL) :
MongoDB 、 Redis (内存数据库/缓存数据库）K-V键值对、与之类似的Memcache ,K-V键值对redis-memecache对比:
相同点:存储高热数据(在内存中高速运行)
不同点: redis可以做持久化保存，可以存储对象

非关系型数据库严格上不是一种数据库，应该是一种数据结构化存储方法的集合，可以是文档或者键值对等。

优点：

1、格式灵活：存储数据的格式可以是key,value形式、文档形式、图片形式等等，文档形式、图片形式等等，使用灵活，应用场景广泛，而关系型数据库则只支持基础类型。
2、速度快：nosql可以使用硬盘或者随机存储器作为载体，而关系型数据库只能使用硬盘；
3、高扩展性；
4、成本低：nosql数据库部署简单，基本都是开源软件。

缺点：

1、不提供sql支持，学习和使用成本较高；
2、无事务处理；
3、数据结构相对复杂，复杂查询方面稍欠。

扩展：MySQL数据库自动补全命令的三种方式
方式一：临时使用自动补全功能

mysql -u root -p --auto-rehash

方式二：永久使用自动补全功能

vi /etc/my.cnf
[mysql]
auto-rehash

方式三：使用软件mycli实现自动补全功能（仅供参考，无法完全补全）

yum -y install epel-release     #官方源安装
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-develdb4 -devel libpcap-devel xz-devel gcc

wget https://www.python.org/ftp/python/3.9.0/Python-3.9.0.tgz

mkdir ~/.pip/

cat > ~/.pip/pip.conf <<EOF
[global]
index-url = https://mirrors.aliyun.com/pypi/simple/

[install]
trusted-host=mirrors.aliyun.com
EOF

yum -y install libffi-devel zlib* python-devel openssl-devel
tar -zxvf Python-3.9.0.tgz
cd Python-3.9.0/ 
./configure --prefix=/usr/local/python --with-ssl
make && make install

ln -s /usr/local/python/bin/python3 /usr/bin/

echo 'export PATH=/usr/local/python/bin:$PATH' >> /etc/profile
source /etc/profile

pip3 install mycli
mycli -u root -p <密码>

MySQL+ mycli自动补全功能 一键部署

#!/bin/bash

echo -e "----正在验证当前为仅主机还是NAT模式----"

ping -c 2 -w 2 www.baidu.com &> /dev/null

if [ $? -eq 0 ];then echo -e "检测当前为NAT模式，为您配置在线yum源"
    mkdir -p /etc/yum.repos.d/repo.bak
    mv -f /etc/yum.repos.d/* /etc/yum.repos.d/repo.bak &> /dev/null
    wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo &> /dev/null
    
    yum clean all &> /dev/null
    yum list &> /dev/null

    echo -e "在线源已配置完成"
else
    echo -e "检测当前为仅主机模式，为您配置本地yum源"
    mount /dev/sr0 /mnt &> /dev/null
    cd /etc/yum.repos.d/
    mkdir -p /etc/yum.repos.d/repo.bak

    mv -f /etc/yum.repos.d/* /etc/yum.repos.d/repo.bak &> /dev/null
echo '[local]
name=local
baseurl=file:///mnt
enabled=1
gpgcheck=0' > /etc/yum.repos.d/local.repo
yum clean all &> /dev/null
yum makecache &> /dev/null

     df -h | grep "/mnt"

     if [ $? -ne 0 ];then
     echo -e "检测当前为仅主机模式，但光盘未挂载!"
else
     echo -e "本地yum源已配置完成"
     fi
fi
#编译安装mysqld服务
#将安装mysql所需软件包传到/opt目录下，并解压
cd /opt
tar zxvf mysql-5.7.17.tar.gz
tar zxvf boost_1_59_0.tar.gz

#安装环境依赖包
yum -y install gcc gcc-c++ ncurses ncurses-devel bison cmake
if [ $? -eq 0 ];then
echo -e "环境依赖包安装完成"
fi

#配置软件模块
mv boost_1_59_0 /usr/local/boost
cd /opt/mysql-5.7.17/
cmake \
-DCMAKE_INSTALL_PREFIX=/usr/local/mysql \
-DMYSQL_UNIX_ADDR=/usr/local/mysql/mysql.sock \
-DSYSCONFDIR=/etc \
-DSYSTEMD_PID_DIR=/usr/local/mysql \
-DDEFAULT_CHARSET=utf8  \
-DDEFAULT_COLLATION=utf8_general_ci \
-DWITH_EXTRA_CHARSETS=all \
-DWITH_INNOBASE_STORAGE_ENGINE=1 \
-DWITH_ARCHIVE_STORAGE_ENGINE=1 \
-DWITH_BLACKHOLE_STORAGE_ENGINE=1 \
-DWITH_PERFSCHEMA_STORAGE_ENGINE=1 \
-DMYSQL_DATADIR=/usr/local/mysql/data \
-DWITH_BOOST=/usr/local/boost \
-DWITH_SYSTEMD=1

if [ $? -eq 0 ];then
echo "模块配置完成"
fi

#编译安装
make -j4  && make install
if [ $? -eq 0 ];then
echo "编译安装完成"
fi

#创建mysql用户
useradd -M -s /sbin/nologin  mysql

#修改mysql配置文件
echo '[client]
port = 3306
default-character-set=utf8
socket=/usr/local/mysql/mysql.sock

[mysql]
port = 3306
default-character-set=utf8
socket = /usr/local/mysql/mysql.sock
auto-rehash

[mysqld]
user = mysql
basedir=/usr/local/mysql
datadir=/usr/local/mysql/data
port = 3306
character-set-server=utf8
pid-file = /usr/local/mysql/mysqld.pid
socket=/usr/local/mysql/mysql.sock
bind-address = 0.0.0.0
skip-name-resolve
max_connections=2048
default-storage-engine=INNODB
max_allowed_packet=16M
server-id = 1

sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER,NO_AUTO_VALUE_ON_ZERO,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,PIPES_AS_CONCAT,ANSI_QUOTES' > /etc/my.cnf

#更改mysql安装目录和配置文件的属主属组
chown -R mysql:mysql /usr/local/mysql/
chown mysql:mysql /etc/my.cnf

#设置路径环境变量
echo 'export PATH=/usr/local/mysql/bin:/usr/local/mysql/lib:$PATH' >> /etc/profile
source /etc/profile

#初始化数据库
cd /usr/local/mysql/bin
./mysqld \
--initialize-insecure \
--user=mysql \
--basedir=/usr/local/mysql \
--datadir=/usr/local/mysql/data

#添加mysql系统服务
cp /usr/local/mysql/usr/lib/systemd/system/mysqld.service /usr/lib/systemd/system/
systemctl daemon-reload
systemctl start mysqld.service
systemctl enable mysqld
netstat -anpt | grep 3306

rpm -q expect
if [ $? -eq 1 ];then
yum -y install expect
fi

source /etc/profile
#修改mysql登录密码
/usr/bin/expect <<EOF
spawn mysqladmin -u root -p password "123456"
expect "Enter password:"
send "\r"
expect eof
EOF

#授权远程登录
/usr/bin/expect <<EOF
spawn mysql -u root -p
expect "Enter password:" {send "123456\r"}
expect "mysql>" {send "grant all privileges on *.* to 'root'@'%' identified by '123456';\r"}
expect "mysql>" {send "show databases;\r"}
expect "mysql>" {send "quit\r"}
expect eof
EOF

source /etc/profile

echo "----mysql安装完成----"


#在线源安装
yum -y install epel-release
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-develdb4 -devel libpcap-devel xz-devel gcc

wget https://www.python.org/ftp/python/3.9.0/Python-3.9.0.tgz

mkdir ~/.pip/

cat > ~/.pip/pip.conf <<EOF
[global]
index-url = https://mirrors.aliyun.com/pypi/simple/

[install]
trusted-host=mirrors.aliyun.com
EOF

yum -y install libffi-devel zlib* python-devel openssl-devel

tar -zxvf Python-3.9.0.tgz

cd Python-3.9.0/
./configure --prefix=/usr/local/python --with-ssl

make && make install

ln -s /usr/local/python/bin/python3 /usr/bin/

echo 'export PATH=/usr/local/python/bin:$PATH' >> /etc/profile
source /etc/profile

pip3 install mycli

if [ $? -eq 0 ];then
echo -e "-----mycli自动补全功能已经安装完成-----"
fi
#mycli -u root -p <密码>

Mysql数据库的日志
数据库日志文件用于备份，恢复，故障定位、分析是最核心的部分

mysql 与 oracle 志有所区别
mysql：写一条数据，同步到日志中一条
PS:insert into kyll (id, name , score) values(1, 'zhangsan ’ ,20);

oracle ：重做日志组
一个组中至少3个日志成员，轮流存储日志还会有另一个组与之同步/备份

阿里云oSS对象存储，一式三份备份(使用重做日志组思想)对象存储:存储大都是一些静态文件，图片、音频、视频不能直接在对象存储中修改数据

飞天平台，盘古系统，钟尴:安全，女娲:选举/调度，盘古一式三份

Mysql存储引擎
myisam和innodb
myisam:快速读取，不支持事务
innodb:更注重写，支持事务