- 博客(96)
- 收藏
- 关注
RSS订阅转载 各种场景下从MySQL数据库迁移到Amazon Aurora
作者介绍韩思捷，亚马逊AWS解决方案架构师，曾负责大企业客户在AWS上的售后技术支持工作，目前负责基于AWS的云计算方案架构咨询和设计。在加入AWS之前，在中国医药集团，Oracle以及EMC研发中心工作，有多年开发和运维经验，并对各种数据库以及存储应用的高可用架构，方案及性能调优有深入研究。随着Amazon Aurora数据库被客户从认识到认可，越来越多的企业客户在完成功能和性能的验证以后，...
2019-05-10 10:05:26
915
转载 实时数据库：一夜之间，我感受到了时序数据库的威胁
作者介绍王妙琼，中国信息通信研究院云大所工程师，CCSA TC601 大数据行业应用工作组组长。主要研究方向为大数据基础平台架构、工业大数据应用等。牵头流计算、时序数据库等多项行业标准及研究报告的编写工作。在2018年接触到工业互联网之前，我完全没了解过时序数据库（下面就简称TSDB了），因为做标准的原因开始慢慢接触起国内一些做TSDB的厂家，其中不乏充满干劲的创业公司和经验丰厚的老牌信息化厂...
2019-05-10 10:01:54
4894
转载 Flink替代Spark Streaming怎么样？本篇给你答案
作者介绍孙赵宏，2018年4月加入去哪儿网，后端大数据研发工程师，目前在大住宿事业部/公共技术中心负责用户基础行为数据工程的研发。本文会主要介绍下基于 Flink 构建用户实时基础行为工程的相关实践，包括 Flink 相关的技术点和基础行为实时工程的业务。Flink 是目前 Qunar 主推的实时数据处理开源平台，用于替代 Spark Streaming。如果你们使用 Flink 也是和我...
2019-05-10 10:00:55
1881
转载 百PB级Hadoop集群存储空间治理
现在这个世道，随便什么公司什么人都张嘴闭嘴大数据，连做个几十人的问卷都敢叫大数据调查分析。真是无知者无畏。但也真有不少公司是真的有足够大的数据量的，也确实是在用心做大数据。这些公司通常规模不小，但盈利不一定理想。就算能稳定盈利，也一定有不小的成本压力。因为，大数据如果真的够大，是真的很费钱。以我所在的公司为例，每年的服务器采购成本就已经好几千万，眼看奔着8位数去了。因此我们有很强的节省成本的...
2019-05-10 09:58:41
498
转载 这场MongDB事故暴露的潜在危机，你是否也正在忽视？
一、MongoDB特性MongoDB是一个可扩展的高性能基于文档的NoSQL数据库，具备但不限于以下特性：无数据结构限制和高性能MongoDB以文档结构的存储方式，能够更便捷的获取数据；MongoDB没有表结构的概念，每条记录可以有完全不同的结构，业务开发方便快捷，而SQL数据库需要事先定义表结构再使用；在简单的业务结构下，其性能高于MySQL，如：MongoDB不指定_id插入>...
2019-05-07 12:58:01
347
转载 酸爽！我用这套无人值守安装系统瞬间搞定上百台服务器
作者介绍：季城希，甜橙金融运维工程师，多年IDC运维经验。擅长IDC中服务器批量高效快速集成交付，精通各品牌型号服务器硬件产品及维护。一、前言为啥要用无人值守安装系统？很简单的答案，就是方便日常工作。常规装系统的办法有哪些？光盘安装系统：一个服务器DVD内置光驱百千块，百台服务器都配光驱就浪费了，因为一台服务器也就开始装系统能用的上，以后用的机会屈指可数。U盘安装系统：还是同样的问题，...
2019-05-06 09:43:56
2341
转载 以王者荣耀为例，教你将一天的时间用成28小时
第一财经周刊》携手优衣库发布《2018年中国Z世代理想生活报告》中提到：在受访的95后中，74%的人把闲暇时间分配给了“学习和课外自我充电”；对于理想生活的时间分配，59.74%仍旧想要学习充电，同时58.13%也想发展个人兴趣爱好。不知道有多少人看到这条消息是慌得一匹的。不过作为我的读者朋友，既然现在能看到这篇文章，相信你应该也保有持续学习的习惯。：）先来看一个可能有发生在你身边的故事：...
2019-05-06 09:39:01
599
2
转载 让DBA不再从入门到放弃，落地SQL审核的正确路径
作者介绍杨建荣，竞技世界资深DBA，前搜狐畅游数据库专家，Oracle ACE，YEP成员。拥有近十年数据库开发和运维经验，目前专注于开源技术、运维自动化和性能调优。拥有Oracle 10g OCP、OCM、MySQL OCP认证，对Shell、Java有一定功底。每天通过微信、 博客进行技术分享，已连续坚持1800多天。SQL审核，在业界已经被认同了，实际上也是对SQL的标准化管理；而人工审...
2019-05-06 09:37:21
538
转载 面对“恐龙级”老旧系统，怎样用微服务实现敏捷交付？
作者介绍刘华（Kenneth），就职于世界500强银行。负责基金外包业务软件开发与交付。敏捷、精益、DevOps领域专家。著有《猎豹行动 硝烟中的敏捷转型之旅》一书。虽然今天一提起IT，很多人首先想到的是互联网。其实，银行是IT技术的首批重度用户之一，也因此，银行有大量的遗留系统，有些“恐龙级”系统甚至有超过30年的历史。所以，银行系统给人的刻板印象总是老旧、臃肿、用户体验差。一、遗留系统的...
2019-05-05 09:57:22
285
转载 还有这些MySQL高性能索引优化策略等你试用
关于MySQL的优化，相信很多人都听过这一条：避免使用select*来查找字段，而是要在select后面写上具体的字段。这么做的原因相信大家都应该知道：减少数据量的传输。但我要讲的是另外一个原因：使用select*，就基本不可能再使用到覆盖索引（什么是覆盖索引，后面会讲），反而是将一个本该可以用覆盖索引的查询变成了不能使用覆盖索引的查询，就会导致随机I/O或回表查询（回表查询在下文介绍聚簇索引...
2019-05-05 09:55:44
247
转载 日均5亿查询量的京东到家订单中心，为什么舍MySQL用ES?
<strong style=“color: rgb(19, 139, 213); font-family: -apple-system-font, BlinkMacSystemFont, " helvetica=”" neue",="" “pingfang=”" sc",="" “hiragino=”" sans="" gb",="" “microsoft=”" yahei="" ui",=...
2019-05-05 09:52:44
1935
转载 快被系统性能逼疯了？你需要这份性能优化策略
作者介绍刘迪伟，就职于世界五百强银行。负责公司网银业务系统的设计和交付，擅长并持续关注Java性能优化、DevOps等领域。XX银行网银系统是一套全新的对公业务渠道类系统，经过两年的建设，将逐步对外提供服务。该系统融合了原来多个对公渠道系统，并发量是以前多个系统之和，吞吐量要求将大幅上升。为了使广大对公客户使用系统时获得更快的响应时间体验，项目组对系统进行了持续的性能测试和优化。这一过程中，...
2019-05-05 09:49:33
803
原创 【巨杉数据库SequoiaDB】【最佳实践】SequoiaDB扩容介绍与最佳实践
前言随着业务系统非结构化数据年增长量较大并且数据越来越多。在业务系统投产后，由于业务量的增加使得集群可使用存储容量逐渐变小，因此在业务系统接入集群前需考虑存储容量耗尽后整个集群的水平扩展。SequoiaDB是分布式架构的文档型数据库，因此可以通过集群的扩容实现集群性能的近线性增长。通过扩容后主要解决两个问题是数据存储的容量问题和整个集群的性能问题。因为数据量的不断增长及上线后的推广使用，所以需...
2019-05-05 09:46:58
523
转载 不改一行代码定位线上性能问题，可能吗？
最近时运不佳，几乎天天被线上问题骚扰。前几天刚解决了一个HashSet的并发问题，周六又来了一个性能问题。大致的现象是：我们提供出去的一个OpenAPI反应时快时慢，快的时候几十毫秒，慢的时候几秒钟才响应。一、尝试解决由于这种不是业务问题，不能直接定位。所以尝试在测试环境复现，但遗憾的是测试环境贼快。没办法，只能硬着头皮上了。中途有抱着侥幸心里让运维查看了Nginx里OpenAPI的响...
2019-05-05 09:42:10
241
原创 【巨杉数据库SequoiaDB】Gartner 2018 数据库系列报告发布 巨杉数据库连续两年入选
近期，Gartner陆续发布了2018年的数据库系列报告，包括《数据库魔力象限》《数据库核心能力》以及《数据库推荐报告》。其中，SequoiaDB巨杉数据库作为业界领先的金融级分布式交易型数据库产品，连续两年入选。此前，SequoiaDB巨杉数据库已于2017年首批入选Gartner数据库报告，和阿里云数据库是仅有的两家连续入选此报告的产品。金融级用户认可是决定因素Gartner对于核心应用...
2019-04-29 15:00:01
246
转载 Redis存储总用String？你大概错过了更优的使用方法
Redis为我们提供了5种数据类型，基本上我们使用频率最高的就是String，而对其他四种数据类型使用的频次稍弱于String。原因在于：String使用起来比较简单，可以方便存储复杂的对象，使用场景比较多；由于Redis expire time只能设置在key上，像List、Hash、Set、Zset属于集合类型，会管理一组item，我们无法在这些集合的item上设置过期时间，所以使用exp...
2019-04-29 14:59:54
485
原创 【巨杉数据库SequoiaDB】巨杉数据库亮相第五届中国互联网金融发展战略研讨会
11月8日，由《金融电子化》杂志社、湖北省农村信用社联合社主办的“第五届中国互联网金融发展战略研讨会”，在湖北省武汉市盛大召开。巨杉数据库作为国内领先的金融级分布式数据库公司，CTO王涛，在大会上做了“银行核心数据分布式转型之路：从数据中台到核心交易业务”的主题分享，向在场超过300为金融企业IT负责人介绍了巨杉在超过50家银行核心生产业务中的应用场景与经验。巨杉数据库作为国内领先的金融级...
2019-04-29 14:59:49
287
转载 面对“恐龙级”老旧系统，怎样用微服务实现敏捷交付？
作者介绍刘华（Kenneth），就职于世界500强银行。负责基金外包业务软件开发与交付。敏捷、精益、DevOps领域专家。著有《猎豹行动 硝烟中的敏捷转型之旅》一书。虽然今天一提起IT，很多人首先想到的是互联网。其实，银行是IT技术的首批重度用户之一，也因此，银行有大量的遗留系统，有些“恐龙级”系统甚至有超过30年的历史。所以，银行系统给人的刻板印象总是老旧、臃肿、用户体验差。一、遗留系统的...
2019-04-29 14:59:41
228
原创 【巨杉数据库SequoiaDB】金秋十月，巨杉再获金融行业认可
在2018年10月18-19日召开的第五届中国国际大数据大会上，金融级分布式数据库厂商巨杉数据库，荣获“2018年度金融大数据行业.创新产品奖SequoiaDB巨杉数据库成立6年来一直坚持技术驱动产品，专注打造金融级分布式数据库，成为中国首次入选Gartner数据库报告的数据库厂商。目前，巨杉数据库付费企业级客户与社区用户总数超过1000家，并已在超过50家500强级别的银行、保险、证券等大型金融...
2019-04-29 14:59:27
320
转载 你的企业适合落地AIOps吗？落地后的运维人路在何方？
在上篇《历时2个月，深访6位大咖，我们完成了这份AIOps指南》中了解到AIOps的时代特征及大势趋向后，想必大家会对怎样跻身于这场时代潮流感到好奇。的确，在企业及个人面对AIOps应持有的态度和做法方面，目前业界暂且没有一套很明确的说法可供参考。本文将接着上篇的专访，依托于阿里-柳明、新浪微博-彭冬、奇虎360-籍鑫璞、携程-徐新龙、新炬网络-宋辉、平安科技-汪洋等6位AIOps领域先行探索者...
2019-04-29 14:59:18
412
原创 【巨杉数据库SequoiaDB】开源分布式数据库SequoiaDB在去哪儿网的实践
编者注：中国的数据库行业也迎来了一波新的热点事件。分布式数据库这块新消息不断，也让大家开始关注中国的分布式数据库。首先是短短一周内，Pingcap和SequoiaDB巨杉数据库陆续宣布了C轮的数千万美元融资，融资的消息在数据库和IT圈成功“刷屏”。此后，在杭州的云栖大会上，蚂蚁金服的Oceanbase也发布了 2.0。对于这些新消息，也侧面反映了国产的开源分布式数据库发展的迅速。那么这些国产分布...
2019-04-29 14:58:59
576
转载 打开运维团队思路：运维工具设计的套路你都知道吗？
编者有言：对于运维工具产品设计，甲乙双方都有各自的视角。那么站在甲方，如何设计运维工具能争取乙方更多的资源支持？这其中都有哪些套路可启发思路？且看彭华盛老师有什么看法。我们的主题是“运维工具的设计思路”，会尝试探讨在甲方的运维开发团队如何获得乙方的资源倾斜，为企业创造更高的价值。一、话题的背景这个话题的产生来源于上个月初与朋友的一次关于产品经理的聊天，朋友跟我聊起了他们在产品设计过程中总结并...
2019-04-29 14:58:47
1035
转载 还有这些MySQL高性能索引优化策略等你试用
关于MySQL的优化，相信很多人都听过这一条：避免使用select*来查找字段，而是要在select后面写上具体的字段。这么做的原因相信大家都应该知道：减少数据量的传输。但我要讲的是另外一个原因：使用select*，就基本不可能再使用到覆盖索引（什么是覆盖索引，后面会讲），反而是将一个本该可以用覆盖索引的查询变成了不能使用覆盖索引的查询，就会导致随机I/O或回表查询（回表查询在下文介绍聚簇索引...
2019-04-28 10:07:04
191
原创 【巨杉数据库SequoiaDB】巨杉数据库助力民生银行、广发银行前台智慧化业务
巨杉数据库目前已经在超过50家大型商业银行的核心业务上线使用，本文为银行金融科技转型应用系列文章第一篇，此后巨杉还将陆续推出银行业应用和科技创新文章，大家敬请期待。巨杉数据库助力广发民生银行柜面无纸化业务随着银行业务的不断拓展，以及网点业务的需求量逐渐加大，在新的一轮技术浪潮驱动下，各大商业银行也纷纷开始推进智能网点的建设。其中，商业银行的“柜面无纸化”就是最先推进的业务之一。包括广发银行、...
2019-04-28 10:04:30
442
转载 巧用这19条MySQL优化，效率至少提高3倍
本文我们来谈谈项目中常用的MySQL优化方法，共19条，具体如下：1、EXPLAIN做MySQL优化，我们要善用EXPLAIN查看SQL执行计划。下面来个简单的示例，标注（1、2、3、4、5）我们要重点关注的数据：type列，连接类型。一个好的SQL语句至少要达到range级别。杜绝出现all级别。key列，使用到的索引名。如果没有选择索引，值是NULL。可以采取强制索引方式。key_l...
2019-04-28 09:58:39
142
原创 【巨杉数据库SequoiaDB】【技术解析】如何用Docker实现SequoiaDB集群的快速部署
背景以Docker和Rocket为代表的容器技术现在正变得越来越流行，它改变着公司和用户创建、发布、运行分布式应用的方式，在未来5年将给云计算行业带来它应有的价值。它的诱人之处在于：1）资源独立、隔离资源隔离是云计算平台的最基本需求。Docker通过Linux namespace, cgroup限制了硬件资源与软件运行环境，与宿主机上的其他应用实现了隔离，做到了互不影响。不同应用或服务以...
2019-04-28 09:56:53
346
转载 快被系统性能逼疯了？你需要这份性能优化策略
作者介绍刘迪伟，就职于世界五百强银行。负责公司网银业务系统的设计和交付，擅长并持续关注Java性能优化、DevOps等领域。XX银行网银系统是一套全新的对公业务渠道类系统，经过两年的建设，将逐步对外提供服务。该系统融合了原来多个对公渠道系统，并发量是以前多个系统之和，吞吐量要求将大幅上升。为了使广大对公客户使用系统时获得更快的响应时间体验，项目组对系统进行了持续的性能测试和优化。这一过程中，...
2019-04-28 09:54:57
1066
原创 【巨杉数据库SequoiaDB】巨杉数据库加入CNCF云原生应用计算基金会，共建开源技术生态
近日，巨杉数据库正式加入全球顶级开源社区，云原生应用计算基金会 (Cloud Native Computing Foundation，以下简称CNCF)，成为CNCF基金会会员，是中国最早加入的开源云原生数据库之一。同时，基于对开源事业的贡献，巨杉数据库也获CNCF邀请加入Linux基金会。CNCF于 2015 年 7 月成立，隶属于 Linux 基金会，初衷围绕“云原生”服务云计算，致力于维护...
2019-04-28 09:52:57
321
转载 分库代价高的情况下，如何优化ES解决亿级数据量检索
数据平台已迭代三个版本，从一开始遇到很多常见的难题，到现在终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的实现参考，但愿能帮助大家少走些弯路，在此篇幅中偏重于ElasticSearch的优化。一、需求说明项目背景：在一业务系统中，部分表每天的数据量过亿，已按天分表，但业务上受限于按天查询，并且DB中只能保留3个月的数据(硬件高配)，分库代价较高。改进版本目标：数据能跨月查询，并...
2019-04-28 09:52:14
496
原创 【巨杉数据库SequoiaDB】对话巨杉核心研发团队：分布式数据库自研之路
一直以来，数据库的核心研发团队都十分神秘，作为隐藏在幕后的隐士高人，他们对数据库发展以及数据库研发团队的看法是什么呢？本文我们就由巨杉数据库核心技术研发团队的“老司机”，向大家分享他分布式数据库的自研之路。Q：作为数据库行业的“老司机”，您能否先介绍一下自己？A：我叫Danny，是巨杉数据库核心研发团队的成员，是一名数据库资深工程师和架构师，有超过20年的数据库核心研发经验，曾经作为DB2 内...
2019-04-28 09:50:40
455
转载 职场晋升，别人为什么总比你走得快？
阅读前请先思考：你最重要的竞争力是什么？你为何焦虑？每个程序员心里多多少少都有一个成为技术大牛的梦，毕竟梦想总是要有的，万一实现了呢？奇葩说第五季里有一期辩题是《高薪不喜欢的还是低薪喜欢的工作，你选哪一个？》在所有人的发言中，蔡康永的一句话最让人触动：不管怎样，选一份能让自己持续成长的工作。如何才能持续成长，是每一个程序员都绕不开的话题。每年大量涌入刚毕业的年轻人以及培训机构出来的入行...
2019-04-28 09:49:52
372
原创 【巨杉数据库SequoiaDB】巨杉数据库助力民生银行、恒丰银行云化架构升级
作为一款金融级分布式关系型数据库，SequoiaDB巨杉数据库的分布式数据库架构和面向微服务的云化产品形态，已经帮助包括民生银行、恒丰银行在内的多家大型金融客户实现了大量业务系统的底层数据库云化转型升级。如今，大型企业的应用平台正在向微服务架构进行转型。在微服务架构下，应用程序和数据库等底层平台的关系将会被重构。巨杉数据库，作为新一代分布式数据库，为多家大型金融客户的云化架构升级提供了极为重要的...
2019-04-28 09:48:48
258
转载 阿里P9：程序员的“青春饭”，从什么时候开始结束？
编者有言：吃“青春饭”总归不会长久，但这段时间里所拥有的犯错和尝试的权利、积累的人生经验，是我们将“青春饭”转变成“长期饭票”的重要财富。你是否曾经认真思考过，毕业3-5年、10年，乃至更久后，我们希望成为什么样的人？作为一名技术人，我们要如何规划自己的职业发展生涯？网上热议的“35岁中年危机”，本质上又因什么而焦虑？希望本文能对大家有所启发。近期，我与团队同学探讨了职业发展规划的问题。有些...
2019-04-26 10:04:26
518
原创 【巨杉数据库SequoiaDB】针对反范式化和缓慢渐变维度运用中测试 SequoiaDB 的性能支持
SequoiaDB数据库经过了客户和第三方认证机构的大量场景测试，证明了SequoiaDB数据库能满足大数据场景下的性能要求。本章用测试数据带大家来感受SequoiaDB数据库的强大性能，以及在反范式化和缓慢渐变维度中的性能。本章主要测试目标有：（1）SequoiaDB数据库支持大数据批量快速导入。将近200万每秒的入库速度，能在很短的时间内完成的数据迁移。（2）SequoiaDB数据库...
2019-04-26 10:03:43
289
转载 腾讯组织架构整改引思考：中小团队要怎样搭建架构？
编者有言：2019年1月4日，腾讯宣布成立技术委员会，也代表之前宣布的架构调整终于拉开序幕。在这个瞬息万变的时代，一个合适的团队架构对于企业发展至关重要。面对时代风向，腾讯等互联网巨头逐步开始了它们的变革；那么中小团队要如何搭建自己的团队架构呢？本文将会对此展开讨论……作者介绍张辉淸，曾任中青易游CTO、同程交通创新技术负责人、古大集团首席架构师、携程架构师等职务。带领过30～200人的技术团...
2019-04-26 09:59:35
1136
原创 【巨杉数据库SequoiaDB】【演讲实录】分布式数据库海量数据存储和实时查询实现与应用
节选自OSC深圳源创会 演讲速记分享嘉宾：巨杉数据库技术总监 乔国治巨杉数据库，核心产品是SequoiaDB巨杉数据库。是我们的团队完全从零开始研发的。巨杉数据库是商业数据库，同时我们本身也将产品开源，我们是中国第一款商业开源数据库产品。我们连续两年，获得美国硅谷的商业杂志《红鲱鱼》评选的全球创新企业100强，绝大多数是硅谷的企业，只有少数中国企业，这是对我们创新能力的认可。这是201...
2019-04-26 09:57:40
667
转载 值得收藏：一份非常完整的MySQL规范
一、数据库命令规范所有数据库对象名称必须使用小写字母并用下划线分割所有数据库对象名称禁止使用mysql保留关键字（如果表名中包含关键字查询时，需要将其用单引号括起来）数据库对象的命名要能做到见名识意，并且最后不要超过32个字符临时库表必须以tmp_为前缀并以日期为后缀，备份表必须以bak_为前缀并以日期(时间戳)为后缀所有存储相同数据的列名和列类型必须一致（一般作为关联列，如果查询时关联...
2019-04-26 09:55:19
322
原创 【巨杉数据库SequoiaDB】【巨杉访谈】分布式数据库如何存储管理非结构化数据？
SequoiaDB 巨杉数据库，是一款面向企业级的分布式 NewSQL 数据库，自主研发并拥有完全自主知识产权，没有基于任何其他外部的开源数据库源代码。上周，在开源中国源创会厦门站活动中，巨杉数据库技术总监郝大为和大家分享分布式数据库对非结构化数据管理和应用。OSC【开源访谈】则在活动后邀请嘉宾分享更多有关于技术和行业的见解。巨杉数据库对于非结构化数据存储管理有什么独到之处？作为国内第一款完全...
2019-04-26 09:54:30
902
原创 带人做项目吃力不讨好？本文也许会给你些灵感
编者有言：带人做项目是个容易出力不讨好的活，面临不少风险，却很难在朝夕间培养得力助手。那么怎样从一开始就明确规避项目风向，带着新人养成最佳习惯？也许本文会给你一些灵感。项目：在既定的资源和要求的约束条件下，为实现某种目的而相互联系的一次性工作。项目成功的三个要素：1、必胜的信念2、正确的信息同步3、可靠的人力本文将会针对项目风险出现的几方面来逐一进行讨论。一、信息同步尤其是跟外部团...
2019-04-26 09:53:39
655
原创 【巨杉数据库SequoiaDB】SequoiaDB 版本在线升级介绍说明
前言在SequoiaDB数据库发展过程中，基本保持每半年对外发行一个正式的Release版本。并且每个新发布的Release版本相对老版本而言，性能方面都有很大的提高，并且数据库也会在新版本中加入很多新的功能，希望能够提高数据库开发的易用性。在SequoiaDB发展过程中，越来越多的开发者了解到它，并且对它发生兴趣。现在已经有越来越多的用户在学习、研究SequoiaDB，并且也有越来越多的企...
2019-04-25 10:45:35
639
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人