2017年12月_数据和云

原创年终总结 | 从Oracle到MySQL大家最关注的竟然是...

2017 即将画上句号，这一年的数据库领域可以说是暗流涌动，有很多重要事件的深远影响可能要在很久之后才能被清晰的界定。在国际上，大数据厂商 Cloudera （市值约 20亿美元）和 MongoDB（市值约 15亿美元）在2017都登上了资本市场，成功IPO，对于这两家公司，这是一个阶段性的分水岭，之后的虽然天高海阔，但是依然会是波涛汹涌，征途漫漫。而在国内，仅仅阿里巴巴一家公司，在2017

2017-12-31 00:00:00 423

原创辞旧迎新：2018年的分区你们建了吗？

2018年的分区你们建了吗？2018年的年表月表你们建了吗？要还没有，要抓紧啦！各位同学，大家好！转眼2017年就要结束了，在这过去的一年，我们有遇到困难解决不了的苦恼，亦有处理了棘手问题的快乐，还有在云和恩墨大讲堂里得到云和恩墨舵主以及群友帮助的感激。在这里，我们有收获，有成长，2018年就要来了，下面分享一下我们云和恩墨DBA同学在新年到来之前，最最重要的工作，供大家参考！那什么工作是最最重要

2017-12-30 00:00:00 1494

原创【演讲实录】下一代企业级应用架构管理体系

在IT系统的建设和管理中，敏态和稳态似乎不可协调的两个问题，那么在企业IT系统的管理中，如何根据需求去合理管控，今天将通过王璞老师在第七届数据技术嘉年华上的分享进行详细解读。本次分享重在讲解企业系统上云后，针对应用级的管控。作者简介：王璞，数人云CEO，为美国George Mason大学计算机博士，擅长分布式计算、大规模机器学习、海量数据处理。曾担任 Google 广告部门数据平台构架师，负责管理

2017-12-29 00:00:00 3015

转载 2017 Mongoing中文社区年终盛会

2017年, Mongoing中文社区携手海量数据学院走进了8座城市，从花香四溢的暖春走到了寒意凛然的初冬。2018年的1月，我们将在帝都举办Mongoing中文社区的年终盛会。届时众多技术大咖将齐聚北京为大家带来精彩分享--年终盛会为期两天，具体安排如下：Day 1MongoDB开发者 8小时速成班时间：1月6日（周六） 9：30- 17：30 地点：北京市海淀区学院路30号科

2017-12-29 00:00:00 964

转载按图索骥：SQL中数据倾斜问题的处理思路与方法

数据倾斜即表中某个字段的值分布不均匀，比如有100万条记录，其中字段A中有90万都是相同的值。这种情况下，字段A作为过滤条件时，可能会引起一些性能问题。　本文通过示例分享部分场景的处理方法　未使用绑定变量使用绑定变量几种特殊场景1测试环境说明数据库版本：ORACLE 11.2.0.4新建测试表tb_test：create tablescott.tb_test as select * from db

2017-12-28 00:00:00 4482 4

转载数据恢复-SQL被注入攻击程序的应对策略(ORA-16703)

前几天某客户紧急求助我们，其Oracle数据库由于重启之后无法正常启动。最后通过数据库全备进行了一天一夜的恢复，最后仍然无法正常打开数据库。alter database open时检查发现数据库报错ORA-16703。从用户提供的信息来看，确实是在open resetlogs的时候出现的错误。那么这个错误意味着什么呢？其实第一眼看到这个错误时，我们就大概清楚这是Oracle的数据字典出问题了，而

2017-12-27 00:00:00 1879 6

转载故障分析：数据库一致性关闭缓慢问题诊断

想必我们大家都知道，Shutdown immediate即一致性关闭数据库，数据库下次启动不需要做实例恢复即可open数据库。那么当数据库一致性关闭出现缓慢等状况时，该怎么办呢？那我们就来一起分析一下，数据库一致性关闭缓慢问题。shutdown immediate在数据库中会做哪些操作？从以上图得知在shutdownimmediate关闭数据库只需要在数据库中强制选择检查点并关闭文件，不需要等待当

2017-12-26 00:00:00 1088 1

转载（活动）MySQL DBA之路 | 性能配置调优篇

导读译者：田帅萌云和恩墨东区MySQL交付，擅长MySQL优化。原文作者：Severalnines原文：https://severalnines.com/blog/become-mysql-dba-blog-series-configuration-tuning-performance一、简介数据库服务器需要CPU、内存、磁盘和网络才能运行，了解这些资源对于DBA来说非常重要，因为任何的超载行为

2017-12-25 00:00:00 815

转载圣诞快乐 | 盘点2017最受欢迎的原创文章

2017 圣诞来了！祝大家圣诞快乐，也祝愿大家有过一个充满快乐回忆和收获满满的 2017 ！在昨天 ACOUG 的年终活动上，云和恩墨的优化专家罗海雄，分享了一个主题，他说为了让大家放松一下，度过一个快乐的圣诞节，他准备的主题是，用SQL解小学奥数题。这是最简单的一个题目，大家可以手算一下，看看结题时间是多少，然后再试试用SQL解答出来：在接近年底的节日了，我盘点一下过去我们发布的、最受欢迎的原创

2017-12-24 00:00:00 558

转载 MySQL：由USE DB堵塞故障引发的思考

遇到故障，我们往往想的是如何解决这个故障，而不是从故障的根本去思考出现这个故障的原因？这样的结果，只能使我们得到了鱼，失去了渔。今天，我们就来分享一个由USE DB堵塞故障引发的思考案例。故障描述今天一个朋友遇到数据库遇到一个严重的故障，故障环境如下：MYSQL 5.6.16RR隔离级别GITD关闭表现如下：use db不能进入数据库show table status不能查询到表信息schema.

2017-12-22 00:00:00 900 1

转载如何优雅地添加MGR节点？

MySQL Group Replication（简称MGR）是MySQL官方于2016年12月份推出的一个全新的高可用与高扩展的解决方案。MGR提供了高可用、高扩展、高可靠的MySQL集群服务，是MySQL数据库未来发展的一个重要方向。场景描述操作系统MySQL版本CentOS Linux release 7.3.1611MySQL5.7.20 二进制ip地址规划IP地址hostsport19

2017-12-21 00:00:00 2603

转载深入剖析-关于分页语句的性能优化

分页语句是数据库开发和应用场景比较常见的需求，即按照特定的where条件进行过滤，然后在按照一个或者多个条件进行排序（如果不进行排序无法确执行时候无法返回相同的结果），最后取其中的前十行或者几十行。一般分页语句消耗资源的地方有两点：1、返回where条件过滤的结果集；2、是对这个结果集进行排序，如果表过大同时对返回的结果集排序势必导致性能严重下降，针对分页语句性能低下的原因。优化分页语句的核心思想

2017-12-20 00:00:00 359

转载 MySQL SQL优化之覆盖索引

内容概要利用主索引提升SQL的查询效率是我们经常使用的一个技巧，但是有些时候MySQL给出的执行计划却完全出乎我们的意料，我们预想MySQL会通过索引扫描完成查询，但是MySQL给出的执行计划却是通过全表扫描完成查询的，其中的某些场景我们可以利用覆盖索引进行优化。前些天，有个同事跟我说：“我写了个SQL，SQL很简单，但是查询速度很慢，并且针对查询条件创建了索引，然而索引却不起作用，你帮我看看有没

2017-12-19 00:00:00 1045

转载【福利】MySQL vs Postgre SQL: 5个你最关注的非技术维度的区别

开源数据库中有一堆冤家，我想大家都知道，那就是MySQL与Postgre SQL。两个派系的恩怨情仇从何而来，今天我们将从非技术的角度来进行分析。本文仅代表个人观点，如有不同意见欢迎交流。说明：本文主要的关注点，是MySQL与PostgreSQL的非技术比较。简单评价MySQL流行较多，PostgreSQL功能更全面。其主要原因是，MySQL很早的时候，就支持主从复制，在互联网起步（2000年后

2017-12-18 00:00:00 1687

转载演讲实录：MySQL 8.0 中的复制技术

在近期的第七届数据技术嘉年华上，甲骨文MySQL研发工程师宋利兵做了“MySQL-8.0中的复制技术”为主题的演讲，介绍了MySQL-8.0中异步复制和Group Replication复制的发展方向，和已经实现了的新技术新特点。我们再次分享出来，希望对各位有所指导借鉴。复制的简介和框架01定义02MySQL复制技术的简单框架首先在复制环境中，有两个server,在第一个server中产生bina

2017-12-15 00:00:00 2439

转载 MySQL 传统复制中常见故障处理和结构优化案例分析

虽然MySQL5.7 的主从复制已经很稳定了，但在备库可读写的情况下，总是会出现部分数据不一致的情况，例如常见的1062、1032和1050错误。下面就介绍下这类报错的常见处理方法和常见主从复制结构的调整。环境描述一1、mysql 5.7 以上，2、binlog format 是row格式（5.7默认）3、传统复制（生产强烈推荐使用gtid）4、log-bin , log_slave_update

2017-12-14 00:00:00 1166

转载经典案例：如何优化Oracle使用DBlink的SQL语句

作者介绍赵全文就职于太极计算机股份有限公司,在中央电化教育馆做Oracle DBA的驻场运维工作。具有3年左右的Oracle工作经验，目前擅长Oracle数据库的SQL脚本编写、故障诊断和性能优化，并且乐于分享Oracle技术。‍‍‍‍‍‍‍‍‍‍‍‍‍‍一般在DBLINK的SQL语句中，将调用远程表的in-line view结果集返回的数据尽量减少，进而达到通过网络传输的数据减少的目的，而且也不

2017-12-13 00:00:00 2847 2

转载云端的SRE发展与实践

业务量的飞速增长，机器数量剧增，导致人工维护成本增大；而交易额的增长，对SLA的要求也不断提高。与此同时，一些新业务会面临大流量冲击，资源调度的挑战也随之增大。业务类型复杂多样、业务模型千差万别，对应的技术方案也多种多样，因此SRE的整体维护成本大大提高。根据上述挑战，我们需要制定相应的解决策略，策略原则主要聚焦在三点。背景SRE（Site Reliability Engineering）是Go

2017-12-12 00:00:00 587

转载如何避免成为新技术背后的“奶嘴一族”

AI是一场时代的革命，发展到今天，已经远远超出了人类的预期，让我们曾经以玩笑脱口而出的愿望，得以成真。阿尔法狗（AlphaGo）先后战胜李世石、柯洁、古力，登上围棋王者宝座；AI 机器人Brilent在某猎头的行业竞赛中夺得第3名。虽不是冠军，效率却已达到人类团队的千万倍；Oracle 18c 首款无人驾驶数据库诞生，在无需DBA的情况下能够实现自我修复自我防护和自

2017-12-08 00:00:00 339

转载 Oracle 12.2 新特性 | PDB不同字符集变更深入解析

从12c版本12.1开始，就有了新特性——Pluggable Database，相比较之前通过schema的管理方式实现多用户管理，Pluggable Database实现了进一步的隔离，其中包含如下特点：1.将业务用户元数据和数据库本身的元数据进行分离，减少核心数据字典的性能衰减，增加管理便捷性。2.sga统一分配，各PDB通过各自的标识进行空间管理。但在12.1中，

2017-12-07 00:00:00 2170

转载架构设计 - 自动化运维之架构设计六要点

运维自动化是我们所渴望获得的，但是我们在一味强调自动化能力时，却忽略了影响自动化落地的一个关键因素。那便是跟运维朝夕相处，让人又爱又恨的业务架构。因为业务架构是决定运维效率和质量的关键因素之一，所以我想跟大家一起聊一下怎么样的架构设计是对运维友好的。结合这些年在腾讯遇到的业务架构和做运维规划时对业务非功能规范的思考，我们可以把面向运维的架构设计分成六大设计要点。

2017-12-06 00:00:00 2414

转载 ACE总监侯圣文全面解析特训方法

ACE总监侯圣文老师开讲啦依然是晚八点还是有在线答疑报名人数有限对12c OCM有着浓厚兴趣的小伙伴赶紧抢沙发呀~2017.12.06 周三OCM大师全面解析特训方法侯圣文你将获得：ACE总监在线答疑

2017-12-06 00:00:00 676

转载数据恢复 - ORA-600 18018错误的重现和修复

小心，有一个ORA-600的错误正在靠近。对于Oracle的管理员来说，600是一个熟悉而陌生的数字，熟悉的是很多的用户都会遇到几次，陌生的是绝大数情况下都束手无策。这类错误一般oracle程序异常的内部错误，它表明一个进程遇到了一个低级的、意外的情况。今天我们通过实例剖析，当遇到一个ORA-600的错误，除了重启重装的二重唱法，我们还能做些什么？一、案例描述某客户的数

2017-12-05 00:00:00 457

转载【赠书】拨云见日 - 深入解析Oracle TX行锁（下）

优化的核心思想：Balance is the ONLY key to Optimizer.上期回顾：拨云见日—深入解析Oracle TX 行锁（上）前文中我们详细介绍了TX行锁的概念，危害以及应对方案，并通过双11的一个经典案例进行了解读。今天我们分享另外一个跟TX行锁有关的案例。案例描述技术层面：1、2017年某天，从当天大约1

2017-12-04 00:00:00 498

转载数据为桥迈向智能，渤海财险数据架构智能化演进

Gartner的报告宣称，到2020年，将近50%的企业将会在业务和IT运维方面采用AIOps。尽管AIOps对于广大运维人员来说，仍然是一个新词，但在各企业已经尝试通过技术手段重新挖掘和创造数据价值，在实践中正在迈出智能运维的第一步”。架构变革，建设AIOps前站为什么要AIOps？简单来讲，一方面由于业务的发展企业的系统变得越来越庞大

2017-12-02 00:00:00 378

转载【社招持续篇】云和恩墨虚位以待，你来不来！

Attention !这是一篇靠谱的招聘广告，请大家耐心看完如果你敢投简历，我们就敢联系你业务篇职位名称：区域销售经理选择适合你的城市：北区——北京、呼和浩特、哈尔滨东区——南京、苏州、杭州、合肥南区——广州、东莞、福州、南宁、海口西区——西安、兰州、新疆我们希望你：1. 能够撰写销售文档，具备对客户需求的判断能力；

2017-12-01 00:00:00 2026

转载拨云见日—深入解析Oracle TX 行锁（上）

Balance is the only key to optimize.平衡是性能优化的核心标准。在刚刚过去不久的第七届数据技术嘉年华上，性能优化专家怀晓明老师进行了Oracle性能优化的主题分享。在他多年的优化生涯中，一直遵守的优化理念是，平衡是唯一的核心。我们整理了怀老师大会的演讲内容，今天一起来学习，如何在实践中应用这一理念并实现有效的性能优化。大会ppt已通过公

2017-12-01 00:00:00 938

Enmotech的博客