新数据库时代,不要只学 Oracle、MySQL

30baba3acac148cb4c75add563abcc16.gif

整理 | 彭慧中       责编 | 何苗

出品 | CSDN(ID:CSDNnews)

目前,中国已经进入“人人都是开发者,家家都是数据公司”的新数据库时代。

6月29日,CSDN 创始人&董事长、极客帮创投创始合伙人蒋涛在腾讯云数据库&CSDN工程师能力轻量认证发布会上发表了《新数据库时代》主题演讲分享。他指出,在开源吞噬世界的背景下,数据库也在大力拥抱开源。不同于传统关系型数据库,新型数据库已成为行业风口,急需大量相关人才汇入,青年才俊应当抓住机遇,迎接挑战。

e3b58fbbed8509de711ea24c783e9ba9.jpeg

CSDN 创始人&董事长、极客帮创投创始合伙人 蒋涛

以下是蒋涛演讲实录:

大家好,我是CSDN创始人蒋涛。我是程序员出身,30年前数据库就是程序员的必备技能,而近几年,数据库又有了很大的发展。作为投资人,我也曾投资过巨杉数据库。

CSDN目前是中国知名的技术社区,据最新数据显示,CSDN的用户量已经超过3,600万,公司规模也在不断发展壮大。如今,开发者变得越来越重要,我们围绕着开发者建立了一系列业务支持体系,帮助开发者获得能力与成长。其中,不仅有协助开发的工具开发云(https://dev.csdn.net),还有帮助大家找到更好职业的人才云等。目前,开发者市场越来越好,相信“人人都是开发者,家家都是技术公司”的时代不久后就要到来。

5d17dc9a77a69e868daa12791ef6326b.png

在此背景下,中国想要构建自己的核心技术生态,数据库是其中关键。今天我将围绕三个部分分享《新数据库时代》:

  • 第一是揭示「我们正在进入的数据大时代」现状;

  • 第二是了解「开源正在吞噬数据库」的改变;

  • 第三是把握「新型的数据库人才特别抢手」的趋势。

89f2fd1837fa589db9d831f4b7fca576.png

数据大时代

我们正处于大数据时代,几乎每家公司都在对自己的业务进行数字化变革。据统计,全球数据量每年持续增加,去年全球产生的数据总量是79ZB2025年预计将达到180ZB

4944c7ab60dd8ad7a3a32dda208de555.png

由于云技术的发展,越来越多的数据都存储在云端。数据显示,在2016年只有10%的数据储存在云端的数据仓库里,但到了2022年,这个数字已经快速增长到了75%,这说明随着数字经济的发展,每家公司都将成为数据公司,数据库市场也迎来了爆炸性增长。

8fb2f0b50ca70f21f610970b5d292a32.png

数据库市场历史其实非常悠久,从1964年,世界上第一个数据库系统IDS(Integrated Data Storage,集成数据存储)诞生开始,到今天数据库发展已经快60年。1980年代,数据库开始在中国生根发芽。直到现在,整个全球市场依然保持了20%以上的增长规模。尽管数据库是个古老的技术,但其中又蕴含了很多新的机会。

从数据库技术公司融资情况来看,数字非常惊人。过去10年,数据库公司融资总额87亿,其中一半是在过去两年内完成的。2021年,超级独角兽大数据公司Databricks两轮融资总额为26亿美元。如此看来,数据库技术也进入到了一个新时代。

35a7b8e5be459168bb241fb234b4563a.png

6a2927014fd8a1b811f08065c3ba101f.png

开源吞噬数据库

那么数据库的技术进入到新时代的标志是什么?

即“开源吞噬数据库”。

开源已经成为所有开发者的必选项,据GitHub统计数据:2016年仅有80万人第一次做出开源代码贡献,而2021年,这个数字已经增长到300万

ea7f738450d44f7d9e1f35504f858cea.png

在数据库领域中,开源的“吞噬”情况也十分明显。dbdb.io(卡内基梅隆大学维护的全球数据库信息库)分析了全球知名的841个数据库系统,其中开源数据库有608个,占比72%,只有200多家是商业数据库。在全球顶尖数据库排行榜中,开源数据库也占到一半。

592b41ac6dcbbd3107887e247fe9c720.png

在CSDN制作的2021 数据库全景图(V1.0)中,我们将不同领域的数据库按照开源和闭源两类进行颜色区分,右侧浅绿色的部分是开源数据库,左侧深绿色的部分是闭源数据库。可以很明显地看到开源在快速发展,且有吞噬闭源数据库的趋势。

deeb2d87daa5ba86a8340b7cbb397416.png

来源:《新程序员 002》

中国数据库在发展核心技术生态的大背景下,也发展得非常的迅猛。dbdb.io(卡内基梅隆大学维护的全球数据库信息库)统计的全球800多家数据库企业中,中国有56家,但实际上中国数据库厂商有200多家。尤其在新型数据库上,中国企业“冒头”较多,例如现在发展势头强劲的TiDB,在GitHub上非常活跃。

当然,开发者目前使用较多的还是相对传统的基础关系型数据库MySQL,还有大数据领域Redis、Apache/Hive、MongoDB等相对比较传统的技术,但绝大部分都是开源的。尽管最普遍被使用的依然是关系型数据库,但新型数据库则代表了未来趋势。根据CSDN 2021-2022年数据库开发者大调查显示,在云趋势下,有52%的公司已经部署了云数据库,只有23%的公司尚未计划部署云数据库。

8dc6d2762d2ac4e15da4c0bf6e31eeac.png

ac9a54379f3572217209c1170cadca07.png

新型数据库人才抢手

对于目前的就业环境,我认为开发者应当好好学习数据库技术,并且不要局限于仅学习关系型数据库,更要学新型数据库。为什么呢?

新型数据库的技术栈跟过去大有不同,关系型数据库只是里面最基础的一环,而数据分析、数据仓库、可视化等很多新型技术栈在涌现。开源中比较热门的新数据库类型包括分布式数据库、时序数据库、图数据库、流式数据库等都在GitHub上排名非常靠前,Star数也非常高。

922ba20b88cc27f4fb353d1729139414.png

20年前,市面上只有关系型数据库,主要面向事务性的交易。而如今得益于云、微服务、分布式应用、全球规模、实时数据、深度学习等,新的数据库架构应运而生,以解决新的性能需求:快速读取和快速写入的不同系统;专门用于支持实时分析的系统;用于非结构化、半结构化、事务性、关系、图形或时间序列数据的系统;适用于缓存、搜索、基于索引、事件等的数据……据统计,一家企业平均在七个或更多不同的数据库中存储数据

这些新技术带来了新机会,同时也加大了市场对人才的需求。我国数据工程师真正诞生是在十几年前。而现在,随着数据量的激增且更多地存储在云端,越来越多公司变成数据公司、市场对数据公司的需求也在持续增长。基于数据做分析的数据分析工程师也非常重要,他们既要了解数据库的技术,又要懂业务,才能更好地进行数据分析,这样的人才在未来会非常紧俏。

据Glassdoor(美国一家做企业点评与职位搜索的职场社区)统计,从2016年到2020年,“数据科学家”在美国最佳工作排行榜中一直位居榜首,被称为21世纪最性感的工作。现在,数据科学家和数据工程师的需求还在持续上升,薪资也是。

34ce8b4bae404b48075bca1652330136.png

目前,中国对数据库人才的需求也具有相同趋势,尽管过去在关系型数据库领域处于引领地位的还是Oracle的MySQL数据库。但我相信,中国未来会构建自己的数据库新生态。中国也非常有机会在新技术上进行弯道超车,例如腾讯云数据库TDSQL,以及其他新型数据库。同时,也希望更多CSDN平台上的开发者能够加入新型数据库赛道中来,并欢迎大家去参加能力认证活动。

0867d2344038e1f914b6ec9794e7a497.png

END


《新程序员002:新数据库时代&软件定义汽车》,由60余位专家倾力创作,包含世界级技术大师的深邃思考、前沿技术的发展,以及深入行业的应用实践。随书附赠《2021数据库全景图V1.0》和《2021汽车技术与产业生态全景图V1.0》,同时内含《2021年度数据库发展研究报告》和《2021年度软件定义汽车研究报告》,图文与视频多媒体呈现。

6b7c874f62e2edc7ea3f468fc6a9fc15.png

点击图片即可阅览《新程序员002》

 
 

— 推荐阅读 —

☞京东与腾讯续签三年战略合作协议;起薪涨至26万元!韩国三星SK争相加薪留住半导体人才;Firefox 102 发布|极客头条
☞腾讯云数据库工程师能力认证重磅推出,各界共话人才培养难题
☞苹果高管公然“开怼”:三星抄袭 iPhone,只加了个大屏

—点这里↓↓↓记得关注标星哦~— 

一键三连 「分享」「点赞」「在看」

成就一亿技术人

118441bf434365cc33d0ef7502dda609.png

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Quartz是OpenSymphony开源组织在Job scheduling领域又一个开源项目,它可以与J2EE与J2SE应用程序相结合也可以单独使用。Quartz可以用来创建简单或为运行十个,百个,甚至是好几万个Jobs这样复杂的程序。Jobs可以做成标准的Java组件或 EJBs。 Quartz的优势: 1、Quartz是一个任务调度框架(库),它几乎可以集成到任何应用系统中。 2、Quartz是非常灵活的,它让您能够以最“自然”的方式来编写您的项目的代码,实现您所期望的行为 3、Quartz是非常轻量级的,只需要非常少的配置 —— 它实际上可以被跳出框架来使用,如果你的需求是一些相对基本的简单的需求的话。 4、Quartz具有容错机制,并且可以在重启服务的时候持久化(”记忆”)你的定时任务,你的任务也不会丢失。 5、可以通过Quartz,封装成自己的分布式任务调度,实现强大的功能,成为自己的产品。6、有很多的互联网公司也都在使用Quartz。比如美团 Spring是一个很优秀的框架,它无缝的集成了Quartz,简单方便的让企业级应用更好的使用Quartz进行任务的调度。   课程说明:在我们的日常开发中,各种大型系统的开发少不了任务调度,简单的单机任务调度已经满足不了我们的系统需求,复杂的任务会让程序猿头疼, 所以急需一套专门的框架帮助我们去管理定时任务,并且可以在多台机器去执行我们的任务,还要可以管理我们的分布式定时任务。本课程从Quartz框架讲起,由浅到深,从使用到结构分析,再到源码分析,深入解析Quartz、Spring+Quartz,并且会讲解相关原理, 让大家充分的理解这个框架和框架的设计思想。由于互联网的复杂性,为了满足我们特定的需求,需要对Spring+Quartz进行二次开发,整个二次开发过程都会进行讲解。Spring被用在了越来越多的项目中, Quartz也被公认为是比较好用的定时器设置工具,学完这个课程后,不仅仅可以熟练掌握分布式定时任务,还可以深入理解大型框架的设计思想。
[入门数据分析的第一堂课]这是一门为数据分析小白量身打造的课程,你从网络或者公众号收集到很多关于数据分析的知识,但是它们零散不成体系,所以第一堂课首要目标是为你介绍:Ø  什么是数据分析-知其然才知其所以然Ø  为什么要学数据分析-有目标才有动力Ø  数据分析的学习路线-有方向走得更快Ø  数据分析的模型-分析之道,快速形成分析思路Ø  应用案例及场景-分析之术,掌握分析方法[哪些同学适合学习这门课程]想要转行做数据分析师的,零基础亦可工作中需要数据分析技能的,例如运营、产品等对数据分析感兴趣,想要更多了解的[你的收获]n  会为你介绍数据分析的基本情况,为你展现数据分析的全貌。让你清楚知道自己该如何在数据分析地图上行走n  会为你介绍数据分析的分析方法和模型。这部分是讲数据分析的道,只有学会底层逻辑,能够在面对问题时有自己的想法,才能够下一步采取行动n  会为你介绍数据分析的数据处理和常用分析方法。这篇是讲数据分析的术,先有道,后而用术来实现你的想法,得出最终的结论。n  会为你介绍数据分析的应用。学到这里,你对数据分析已经有了初步的认识,并通过一些案例为你展现真实的应用。[专享增值服务]1:一对一答疑         关于课程问题可以通过微信直接询问老师,获得老师的一对一答疑2:转行问题解答         在转行的过程中的相关问题都可以询问老师,可获得一对一咨询机会3:打包资料分享         15本数据分析相关的电子书,一次获得终身学习
### 回答1: 数据库工程师需要掌握以下技术: 1. 数据库设计与建模:了解关系型数据库的基本概念,熟悉常用的ER模型、UML建模等方法,能够设计出符合需求的数据库结构。 2. SQL语言:能够熟练使用SQL语言进行数据库查询、更、删除等操作,并能优化SQL语句的性能。 3. 数据库管理系统(DBMS):熟悉各种DBMS的特性,如MySQLOracle、SQL Server等,能够根据业务需求选择合适的DBMS。 4. 数据库性能优化:了解数据库性能调优的基本原理和方法,能够识别和解决常见的性能问题,提升数据库的响应速度。 5. 数据库安全与备份:熟悉数据库安全机制的实现,如用户权限管理、数据加密等,能够制定合理的备份策略,保障数据安全和可恢复性。 6. NoSQL数据库:了解NoSQL数据库的概念和使用场景,如文档型数据库、键值型数据库等,能够根据业务需求选择合适的NoSQL数据库。 7. 数据仓库与数据挖掘:了解数据仓库和数据挖掘的基本概念和方法,能够设计和实现数据仓库系统,以及进行数据挖掘和分析。 8. 云计算和大数据:了解云计算和大数据的基本概念和技术,能够根据业务需求选择合适的云计算和大数据解决方案。 ### 回答2: 作为数据库工程师,需要掌握以下几项技术: 1. 数据库管理系统(DBMS): 这是数据库工程师最基本的技术之一。DBMS是处理和管理数据库的软件系统,包括了关系型数据库管理系统(如OracleMySQL、SQL Server等)和非关系型数据库管理系统(如MongoDB、Redis等)。掌握不同类型的DBMS,了解其原理、架构以及优化技巧,能够进行数据库的设计、创建和维护。 2. 数据建模: 数据建模是将现实世界的问题抽象为数据库中的表、关系和约束的过程。数据库工程师需要学习和掌握常见的数据建模技术,如关系模型、实体关系模型(ER模型)、UML等,能够准确地将业务需求转化为数据库结构,并保证其完整性和一致性。 3. SQL语言: SQL(Structured Query Language)是数据库的标准查询语言,数据库工程师需要熟练掌握SQL语言的基本语法和高级用法,能够编写复杂的查询、更和删除语句,实现对数据库的数据操作和管理。 4. 数据库优化与调优: 数据库工程师需要学习和了解数据库的优化技术,包括索引设计、查询优化、分区技术等。通过对数据库性能进行监控和调优,提高数据库的响应速度和处理能力,保证系统的稳定性和性能。 5. 数据库安全性: 数据安全是数据库工程师工作中的重要方面。他们需要学习如何保护数据库中的数据安全,包括用户权限管理、数据加密、备份与恢复等技术。 6. 数据仓库和大数据技术: 随着大数据时代的到来,数据库工程师也需要学习和了解数据仓库和大数据技术,如Hadoop、Spark等。这些技术可以帮助数据库工程师处理海量数据,并进行数据分析和挖掘。 除了上述技术外,数据库工程师还需要具备良好的沟通能力、问题解决能力和团队合作精神,能够理解和满足用户的需求,才能更好地完成工作。 ### 回答3: 作为一名数据库工程师,需要掌握以下技术: 1. 数据库管理系统(DBMS):掌握常见的数据库系统,如MySQLOracle,SQL Server等,并熟悉它们的基本原理、体系结构、语法和操作方式。 2. 数据库设计和规范:了解数据库设计原则和规范,包括关系数据模型、范式化、数据表设计、索引设计等,能够根据需求设计出高效、可靠的数据库结构。 3. SQL语言:熟悉SQL语言,包括数据查询、数据操作、事务处理、存储过程、触发器等,能够编写高效、简洁的SQL语句。 4. 数据库性能调优:学习数据库性能调优的技术和方法,包括索引优化、查询调优、表分区、缓存优化、硬件调优等,提高数据库的性能和吞吐量。 5. 数据备份和恢复:了解数据库备份和恢复的策略和方法,包括全量备份、增量备份、日志备份等,能够防止数据丢失和故障恢复。 6. 数据库安全和权限管理:学习数据库安全的基本概念和技术,包括用户权限管理、数据加密、访问控制等,保护数据库系统的安全和完整性。 7. 数据库复制和高可用性:掌握数据库复制和高可用性的技术,包括主从复制、双机热备、集群等,提高数据库系统的可靠性和可用性。 8. 数据库监控和故障排除:学习数据库监控和故障排除的方法,包括数据库性能监控、日志分析、故障诊断等,及时发现和解决数据库问题。 总之,数据库工程师需要全面了解数据库管理系统和相关技术,掌握数据库设计、SQL语言、性能调优、备份恢复、安全权限管理、复制高可用性、监控故障排除等技术,以提供高效、可靠的数据库解决方案。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值