MySQL
MySQL架构
在这里插入图片描述
查询语句生命周期
Mysql服务器监听3306端口；
验证访问用户
创建MySQL线程
检查内存(Qcache)
解析SQL
生成查询计划
打开表
检查内存(Buffer Pool)
到磁盘读取数据
写入内存
返回数据给客户端
关闭表
关闭线程
关闭连接
MySQL连接数
MySQL数据库安装完成后，默认最大连接数是100，一般流量稍微大一点的论坛或网站这个连接数是远远不够的，连接数少的话，在大并发下连接数会不够用，会有很多线程在等待其他连接释放，就可能会导致数据库连接超时或者响应时间过长，所以需要调整最大连接数。
设置mysql的最大连接数
在mysql的配置文件中增加：
max_connectiton = 1000 #mysql的最大连接数，默认如果不写的话是100个
wait_timeou = 10 超时时间
查看当前有多少连接
show status like ‘%Threads_connected%’;
show processlist;
MySQL缓存
缓存有两个纬度，MySQL层：查询缓存Query Cache(QCache)；存储引擎层：InnoDB_Buffer_Pool。
查询缓存-Qcache
缓存完整的select查询结果，当查询命中缓存，MySQL会立即返回结果，跳过解析、优化和执行阶段。查询缓存会跟踪系统中的每张表，如果这些表发送变化，那么和这张表相关的所有查询缓存全部失效。查询缓存对应用程序是完全透明的。应用程序无须关心mysql是通过查询缓存返回的结果还是实际执行返回的结果。任何一个包含不确定的函数(比如now()，current_date())的查询不会被缓存。
MySQL查询缓存可以改善性能，但是在使用的时候也有一些问题需要注意：开启查询缓存对于读写都增加了额外的开销。对于读，在查询开始前需要先检查缓存；对于写，在写入后需要更新缓存。一般情况这些开销相对较小，所以查询缓存一般还是有好处的。但也需要根据业务特性权衡是否需要开启查询缓存。
Qcache设置： Linux下为my.cnf，Windows为my.ini，[mysqld]节点下
query_cache_type = on #是否开启查询缓存，具体选项为：on/off
query_cache_size=200M #分配给查询缓存的总内存，一般建议不超过256M
query_cache_limit=1M #限制MySQL存储的最大结果，如果查询的结果比这个 大，那么不会被缓存。
查询Qcache状态：show variables like '%query_cache%';
在这里插入图片描述
have_query_cache：该mysql是否支持QueryCache
query_cache_limit：缓存块大小，超过该大小不被缓存
query_cache_min_res_unit：每个Qcache最新的缓存空间大小
query_cache_size：分配给查询缓存的总内存
query_cache_type：是否开启
query_cache_wlock_invalidate：控制当有锁加在表上的时候，是否先让该表相关的querycache失效。
监控Qcache使用情况：show status like '%Qcache%';
在这里插入图片描述
Qcache_free_blocks：目前还有多少的剩余blocks。如果该值比较大，说明Qcache中的内存碎片比较多，可能需要寻找合适的机会进行整理。如果该值非常大，可以使用flush query cache；语句清理查询缓存碎片来提高使用性能，该语句不从缓存中移出任何查询。
Qcache_free_memory：目前剩余内存大小
Qcache_hits：缓存命中率
Qcache_inserts：多少次未命中然后插入(QueryCache命中率=Qcache_hits/(Qcache_hits+Qcache_inserts))
Qcache_lowmen_prunes：多少条Query因为内存不足而被清除出去
Qcache_not_cached：因为query_cache_type的设置或者不能被cache的query数量
Qcache_queries_in_cache：当前QueryCache中的cache的Query数量
Qcache_total_blocks：当前QueryCache中的block的数量
存储引擎层-innodb buffer poor
buffer pool 是innodb存储引擎带的一个缓存池，查询数据的时候，它首先会从内存中查询，如果内存中存在的话，直接返回，从而提高查询响应时间。
Innodb buffer pool 和qcache的区别是：qcache缓存的是sql语句对应的结果集，buffer pool中缓存的是表中的数据。Buffer pool 设置的越大越好，一般设置为服务器内存的70%。
Innodb_buffer_pool设置
innodb_buffer_pool_size：innodb_buffer_pool的大小(设置大小，即开启innodb)
innodb_buffer_pool_dump_on = on ：默认为关闭OFF。如果开启此参数，停止MySQL服务时，innodb会将innodb缓存池中的热数据保存到本地硬盘；
innodb_buffer_pool_load_at_startup = on：默认为关闭OFF。如果开启此参数，启动MySQL服务时，MySQL将本地热数据加载到innodb缓存池中。
查询innodb_buffer_pool状态：show variables like '%innodb_buffer_pool%';
在这里插入图片描述
innodb_buffer_pool_chunk_size：设置bp的大小
innodb_buffer_pool_dump_at_shutdown：停止mysql服务的时候是否自动保存热数据
innodb_buffer_pool_load_at_startup：启动mysql服务时是否自动读取热数据
查询innodb_buffer_pool当前使用情况：show status like '%innodb_buffer_pool%';
主要关注的两个参数：
innodb_buffer_pool_read_requests中共查询bp的次数；
innodb_buffer_pool_reads从物理硬盘中获取到数据的次数。
通过这两个参数可以知道bp的命中率。
MySQL慢查询
慢查询日志中记录的是执行时间较长的query，即slowquery，通过设置—log-slow-queries[=file_name]来打开该功能并设置记录位置和文件名。
慢查询日志采用简单的文本格式。其中记录了语句执行的时刻，执行消耗的时间，执行用户，连接主机等相关信息。
MySQL还提供了专门用来分析慢查询日志的工具程序mysqlslowdump，用来帮助数据库管理人员解决可能存在的性能问题。
MySQL慢查询的配置：
Linux：my.cnf文件中增加
log-slow-queries=/opt/data/slowquery.log ----指定日志文件存放位置，可以为空，系统会给一个缺省的文件host_name-slow.log
long_query_time=2 ---记录超时的时间，默认为20s
log-queries-not-using-indexs ----log下来没有使用索引的query，可以根据情况决定是否开启
Windows：在my.ini的[mysqld]中添加语句
log-slow-queries=E:\web\mysql\log\mysqlslowquery.log
long_query_time =2
MySQL慢查询的执行命令
set global slow_query_log=on;
set global long_query_time=1
set global slow_query_log_file=’/opt/data/slow_query.log’
查询MySQL慢查询状态：show variables like '%query%';
解析MySQL慢查询日志：mysqldumpslow命令
# mysqldumpslow -s t -t 20 -g 'select' /var/lib/mysql/xingneng205-xingneng-test-ds-slow.log
Count: 1 Time=15.00s (15s) Lock=0.00s (0s) Rows=1.0 (1), root[root]@[10.103.27.205]
select sleep(N)
Died at /server/mysql/bin/mysqldumpslow line 161, <> chunk 1.
sql分析命令
explain
该命令是查看查询优化器如何决定执行查询的主要方法，这个功能有局限性，其不会考虑触发器、存储过程或函数对查询的影响，不会考虑缓存对查结果的影响，不会考虑mysql执行查询所做的特定优化。只是一个统计信息的近似结果。
使用方法就是sql语句前加explain。Explain能查看sql的执行效率，帮助我们分析select语句，让我们知道查询效率低下的原因，从而改进我们的查询。
profile
分析sql执行带来的开销是优化sql的重要手段。在MySQL数据库中，可以通过配置profiling参数来启用sql剖析。该参数开启后，后续执行的sql语句都将记录其资源开销，如IO，上下文切换，CPU，memory等。开启profile后，仅对当前session有效。执行的sql都会被profile记录。
开启profile：set@@profiling=1;
查看profile是否开启：select @@profiling；
查看已经被记录的sql：show profiles; (可以看到sql执行计划中每步的执行时间，以及cpu、内存、IO的消耗)
show profile for query n; ---n为show profile中的query id
show profile cpu for query n;
show profile block for query n;
show profile memory for query n;
show profile cpu,block,io for query n;
sql优化
目的：
减少I/O次数；
降低CPU计算
方法：改变sql的执行计划，让其尽量“少走弯路”，尽量通过各种“捷径”来找到我们需要的数据，已达到“减少IO次数”和“降低CPU计算”的目标。
优化原则
尽量少join
尽量少排序：通过利用索引来排序的方式进行优化；减少参与排序的记录条数；非必要不对数据进行排序
尽量避免select*：其会造成全表扫描，显示所有的列，select需要的字段即可
尽量用jion代替子查询：mysql子查询执行计划一直存在较大的问题
尽量用union all 代替union：union 和union all的差异主要是前者需要将两个(或者多个)结果集合并后再进行唯一性过滤，这就会设计到排序，增加大量的CPU运算，加大资源消耗及延迟
禁用外键
避免大sql：一个sql只能在一个cpu上运行，高并发下，大sql容易影响性能问题；可能一个大sql把数据库搞死；拆分sql
保持事务的短小精悍：即开即用，用户即关；无关操作剔出事务，减少资源占用；保持一致性的前提下拆分事务
避免大批量更新：避开高峰；白天限制速度；加sleep
避免类型转换
避免取过量数据，建议使用limit
避免在sql语句中进行数据运算、函数运算、逻辑判断等操作
避免or：同一字段，推荐in；不同字符，推荐union
优先优化高并发的sql，而不是执行频率低某些大sql
从全局出发优化，而不是片面调整
尽可能对每一条运行在数据库中的sql进行explain
优化要从整个业务逻辑上进行。针对数据库问题进行的优化，首先要考虑不查或少查数据库，如果查询不可避免，可以考虑两种优化方式：避免磁盘IO，也就是让查询在内存中完成；通过sql和索引的调整，让MySQL用更高效的方式查询
锁
Lock的对象事务，用来锁定的是数据库中的对象，如表、行，并且一般lock的对象仅在事务commit或者rollback后释放。
特点：InnDB是通过对索引上的索引项加锁来实现行锁。意味着，只有通过索引条件检索数据，InnoDB才使用行级索，否则，InnoDB使用表级锁。
查看是否是死锁：
show engine innodb status \G;(一般日志中有dblock、lock等字样)
select * from information_schema.INNODB_TRX \G;
避免死锁方法：多线程并发下才有可能死锁；避免交叉加锁；减少涉及到的表，表联接会大大增加锁范围；避免全表更新；控制更新行数
非关系型数据库
关系型数据库通过外键关联来建立表与表之间的关系，非关系型数据库通常指数据以对象的形式存储在数据库中，而对象直接的关系通过每个对象自身的属性来决定。使用nosql的场景：数据库表schema经常变化、数据库字段是复杂的数据类型、高并发数据库请求、海量数据的分布式存储。
Nosql数据库的特点：
模式自由：不需要定义表结构，数据库中的每条记录都可能有不同的属性和格式
逆规范化：不遵循范式要求，去掉完整性约束，减少表之间的依赖
弹性可扩展：可在系统运行过程中，动态的删除和增加节点
多副本异步复制：数据快速写入一个节点，其余节点通过读取写入的日志来实现异步复制
若事务：不能完全满足事务的ACID特性，但是可以保证事务的最终一致
MongoDB
MongoDB是一款nosql类型的文档型数据库。集合=表，文档=数据。可以使用MongVUE可视化工具来连接。
MongoDB增删改查：
show dbs：查看数据库
db；查看当前数据库，db.dropDatabase();
show collections：查看集合
create collection：创建一个集合
use：创建一个数据或切换数据库，use mytest;
insert：插入数据，db.collectios.insert(doc);
find：查找数据，db.collectios.find(条件表达式);
update：修改数据，db.collectios.update({条件}，{更新的值})
remove：删除数据，，db.collectios.remove();
开启profile：MongoDB的profile和MySQL中的慢查询类似，用于记录执行时间超过多少的语句。
创建索引：db.collectios.ensureIndex({xx:1});，db.collectios. ensureIndex({xx:1,xx:1}); ensureIndex({xx:1},{“unique”:ture});
查看、删除索引：db.system.indexes.fine(); db.collections.getIndexes(); db.collections.dropIndex({xx:1}); db.user.dropIndexs();
expain：解析查询语句，db.colleciton.find({xx:xx}).explain();
Redis
连接redis，Linux下可以直接使用redis-cli进入redis命令行操作，也可以通过telnet方式连接，或可以通过redis-client可视化工具连接。
Redeis的增删改查：
select 1，选择第一个数据库
使用set关键字插入数据，set name andashu
使用get关键字获取数据，get name
使用del关键子删除数据，del name
Memcached
Memcached是一个高性能的分布式的内存对象缓存系统，目前全世界不少人使用这个缓存项目来构建自己大负载的网站，来分担数据库的压力，通过在内存里维护一个统一的巨大的hash表，它能够用来存储各种格式的数据，包括图像、视频、文件以及数据库检索的结果等。简单的说就是将数据调用到内存中，然后从内存中读取，从而大大提高读取速度。Memcached没有可视化工具，只能通过Telnet方式连接。
Memcached的增删改查:
增加使用add 关键字：
add key 0 存放时间 数据大小
add name 0 30 5
查询使用get 关键字：
get key
get name
修改使用set或者replace关键字：set和replace的区别是set一个不存在的key时，会新增，replace一个不存在key时，会报错
set key 0 存放时间 数据大小
replace key 0 存放时间 数据大小
set name1 0 50 6
replace name 0 70 5
删除使用delete关键字
delete key
delete name1
135
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
