【SDCC现场报道】2016年4月22日-23日,由CSDN重磅打造的SDCC2016数据库&架构技术峰会在深圳隆重举行。这两场峰会大牛讲师来自百度、腾讯、阿里、京东、唯品会、滴滴出行、携程等知名互联网公司,共同探讨高可用/高并发/高稳定/高流量的系统架构设计、秒杀系统架构、搜索架构、中小企业架构之道、数据平台系统演进历程和技术剖析、传统数据库与分布式数据库选型/备份/恢复原理及优化实践、大数据应用实战等领域的热点话题与技术。
下午13:30,数据库/大数据技术实战专场在阿里巴巴分布式和数据库专家杨成虎(叶翔)的主持下继续进行,来自上腾讯、阿里巴巴、滴滴出行、华为、AdMaster分享了各自在数据库领域中的实战经验。
腾讯高级软件工程师雷海林:MySQL备份原理与在TDSQL中的实践
腾讯高级软件工程师雷海林带来了《MySQL备份原理与在TDSQL中的实践》的主题分享。主要从备份的意义和基本原理、mysqldump分析、FTWRL锁的分析、逻辑复制的性能优化、xtrabackup原理分析、方案对比和选型建议、TDSQL目前采用的备份方案七大方面进行深入分析。
重点对mysqldump、mydumper、mysqlpump、xtrabackup备份原理进行深度解析,并分享它们在使用过程中的一些经验总结。最后他对腾讯金融数据库TDSQL目前采用的方案和一些优化措施的进行了案例分享。
AdMaster架构师刘喆: Kafka实战 开源消息队列的坑与对策
AdMaster架构师刘喆主要负责数据处理的全流程技术支持,高性能和高可用的分布式架构设计,DSL语言抽象,Hadoop/HBase/Storm/Spark等大数据平台优化。他今天带来的主题是《Kafka实战:开源消息队列的坑与对策》,主要是从系统、JVM、业务层面,以及同类软件对比等几个方面,结合实际案例,对Kafka应用实例进行深度剖析。
滴滴出行商业数据团队技术专家胡亚新:滴滴快的大数据架构演进
来自滴滴出行商业数据团队技术专家胡亚新带来《滴滴快的大数据架构演进》主题分享,在本此次演讲中胡亚新列出了在滴滴快的在业务飞速发展中使用过一些大数据技术,踩过的一些坑,回顾滴滴快在大数据演进历程。
详细的分析了滴滴在地平线项目的架构组成部分,他认为没有最好的架构,只有最合适的架构,只要满足当时所要的需求即可。
阿里巴巴分布式和数据库专家杨成虎(叶翔):MongoDB高可用性原理与实践
阿里巴巴分布式和数据库专家杨成虎带来《MongoDB高可用性原理与实践》主题分享,主要分享MongoDB的高可用性原理,并且结合阿里巴巴应用的实际案例,从根本上说明MongoDB高可用性正确部署方式。他表明:“希望通过这次演讲可以让大家对MongoDB有更加深入的了解,真正的用好MongoDB。”
他详细分析了MongoDB在阿里云中的应用,并对如何定义宕机与听众进行深入的讨论。MongoDB虽然非常灵活,但很多人不能真正的用好它。因此,叶翔在演讲中详细的介绍了如何正确的使用MongoDB的方法。
华为Universe大数据产品部高级架构师 叶琪:用户通信行为实时感知的技术实现
华为Universe大数据产品部高级架构师叶琪带来《用户通信行为实时感知的技术实现》的主题分享。首先他将介绍通信领域有哪些业务、会产生什么样的数据、这些数据将被怎样存储和计算、当下的技术趋势和难点。
其次将围绕实时应用展开,介绍使用到哪些Hadoop组件、平台架构如何搭建、数据如何在各部件间流转、用户驻留行为的算法逻辑和如何使用sparkstreaming及最新的MapWithState API实现该算法。
在最后,简要的介绍使用flume和kafka的一些经验心得。让大家更加深入的了解在通信网络行业大数据应用的一些场景。