叶问4

《叶问》是知数堂新设计的互动栏目,不定期给大家提供技术知识小贴士,形式不限,或提问、或讨论均可,并在当天发布答案,让大家轻轻松松利用碎片时间就可以学到最实用的知识点。


2018年7月4日,周三

如何优化Linux操作系统用于MySQL环境?

一、初级玩法 

1. 在BIOS及内核层面关闭NUMA 

2. 在BIOS层面将CPU、内存均设置最大性能模式 

3. 在BIOS层面关闭CPU节能模式 

4. 修改IO Scheduler为deadline 或 noop 

5. 使用xfs文件系统,挂载选项noatime、nodiratime、nobarrier 

6. 在内核层面设置vm.swappiness<=5,vm.dirty_ratio<=10, vm.dirty_background_rati<=5 

7. 在内核层面修改用户可最大打开文件数和线程数为65535 

8. 禁用SWAP分区

二、高端玩法

1. 使用最新稳定Linux发行版 

2. 升级各个硬件设备到最新稳定firmware版本 

3. 使用SSD时,开启TRIM功能,并且可以的话文件系统block size和SSD对齐 

4. 当磁盘I/O存在瓶颈时,除了常规因素外,还需要关注中断不均衡的可能性

 

2018年7月5日,周四

MySQL 8.0 InnoDB哪些新特性你最期待,为什么?

1. 数据字典全部采用InnoDB引擎存储,支持DDL原子性、crash safe,metadata管理更完善

2. 快速在线加新列(腾讯互娱DBA团队贡献)

3. 并行redo log,并提升redo log的I/O性能

4. 新增倒序索引

5. 增强CBO特性

6. 消除了buffer pool mutex(Percona的贡献)

7. 自增ID持久化

8. 行锁增加SKIP LOCKED和NOWAIT特性选项

9. 新增事务CATS特性,大大提升事务性能(Michigan大学贡献)

10. memcached plugin增强

11. 增强JSON性能、功能 

12. 新增智能选项 innodb_dedicated_server

 

2018年7月10日,周二

 MySQL hang的原因有哪些? 

1. MySQL使用资源过高导致服务器太累扛不住。例如CPU、内存、 I/O等开销。 

2. 磁盘无可用空间。 

3. MySQL频繁的创建和销毁连接。 

4. MySQL使用的最大文件打开数和连接数,超过了操作系统的限制。 

5. MySQL的锁不能有效的释放。例如持有行锁或者表锁,造成了MDL等待。 

6. MySQL的bug导致的。 

导致MySQL hang住的原因有很多,不局限于上述因素,还需要机智的你来挖掘。

 

2018年7月12日,周四

专访王晓伟老师,MySQL数据导入数据仓库(Hadoop)有哪几种方式? 

1. 传统方式,采用mysqldump等工具将数据文件上传至HDFS 

2. 使用Sqoop Kettle等ETL工具,将数据表对应导入Hive的数据表 

3. 使用kafka+flume方案,将mysql binlog通过流式采集的方式导入Hadoop 

4. 设计实现Hive的快照表、增量表、全量表,实现MySQL到Hive数据的增量导入,并支持分库分表等特性。 

转载于:https://www.cnblogs.com/allenhu320/p/11346774.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值