十年 IT 老兵告诉你如何快速构建可直接落地、基于开源的低成本架构! | 技术头条...

640?wx_fmt=gif

640?wx_fmt=jpeg

作者 | 张辉清
责编 | 郭芮
出品 | CSDN(ID:CSDNnews)

技术大会上的分享大多高大上,亿级流量、超大型研发团队,虽然值得借鉴,但由于应用场景与研发资源的差异,一般企业并不容易落地。其实,中小型研发团队在IT行业还是占大多数,他们在技术架构方面的问题较多,技术阻碍业务、跟不上业务发展的情况非常常见。

我是一个有十多年经验的 IT 老兵,曾在两家几千人的技术团队做过架构与技术管理工作,也曾在几十人至几百人的中小研发团队做过首席架构师和CTO。一个是定制的劳斯莱斯,一个是大众轿车。在互联网大厂做技术研发,大多只是一个螺丝钉。而在中小研发团队,则比较容易掌控全局。

本书结合笔者近几年的工作经验,摸索出一套可直接落地、基于开源、成本低、可快速搭建的框架及架构方案。小团队也能构建大网站,中小研发团队架构实践更贴近于一般程序员的实际情况,更具应用参考价值。以下是具体介绍,包括开篇、架构篇、框架篇、公共应用篇和进阶篇。


640?wx_fmt=png

框架篇——工欲善其事,必先利其器


如果说运维是地基,那么框架就是承重墙。农村建住房是一块砖一块砖地往上垒,而城市建大House则是先打地基,再建承重墙,最后才是垒砖,所以中间件的搭建和引进是建设高可用、高性能、易扩展可伸缩的大中型系统的前提。

框架篇中的每章主要由四部分组成:它是什么、工作原理、使用场景和可直接调试的Demo。其中中间件及Demo是历经两家公司四年时间的考验,涉及几百个应用,100多个库1万多张表,日订单从几万张到十几万,年GMV从几十亿到几百亿。所有中间件与工具都是基于开源。

早期我们也有部分自主研发如集中式日志和度量框架,后期在第二家公司时为了快速地搭建、降低成本、易于维护和扩展,全部改为开源。这样不仅利于个人的学习成长、知识重用和职业生涯,也利于团队的组建和人才的引进。

1、集中式缓存Redis

缓存是计算机的难题之一,分布式缓存亦是如此。

Redis看起来非常简单,但它影响着系统的效率、性能、数据一致性。用好它不容易,具体包括:缓存时长(复杂多维度的计算)、缓存失效处理(主动更新)、缓存键(Hash和方便人工干预)、缓存内容及数据结构的选择、缓存雪崩的处理、缓存穿透的处理等。

Redis除了缓存的功能,还有其它功能如Lua计算能力、Limit与Session时间窗口、分布式锁等。

我们使用ServiceStack.Redis做客户端,使用方法详见Demo。

2、消息队列RabbitMQ

消息队列好比葛洲坝,有大量数据的堆积能力,然后再可靠地进行异步输出。它是EDA事件驱动架构的核心,也是CQRS同步数据的关键。

为什么选择RabbitMQ而没有选择Kafka,因为业务系统有对消息的高可靠性要求,以及对复杂功能如消息确认Ack的要求。

3、集中式日志ELK

日志主要分为系统日志和应用日志两类。试想一下,你该如何在一个具有几百台服务器的集群中定位到问题?如何追踪每天产生的几G甚至几T的数据?集中式日志就是此类问题的解决方案。

早期我们使用自主研发的Log4Net+MongoDB来收集和检索日志信息,但随着数据量的增加,查询速度却变得越来越慢。后期改为开源的ELK,虽然易用性有所下降,但它支持海量数据以及与编程语言无关的特征。

下图是ELK的架构图:

640?wx_fmt=png

4、任务调度Job

任务调度Job如同数据库作业或Windows计划任务,是分布式系统中异步和批处理的关键。

我们的Job分为WinJob和HttpJob:WinJob是操作系统级别的定时任务,使用开源的框架Quartz.NET实现;而HttpJob则是自主研发实现,采用URL方式可定时调用微服务。HttpJob借助集群巧妙地解决了WinJob的单点和发布问题,并集中管理所有的调度规则,调度规则有简单规则和Cron表达式。HttpJob它简单易用,但间隔时间不能低于1分钟,毕竟通过URL方式来调度并不高效。

下图是HttpJob的管理后台:

640?wx_fmt=png

5、度量工具Metrics

“没有度量就没有提升”,度量是改进优化的基础,是做好一个系统的前置条件。Zabbix一般用于系统级别的监控,Metrics则用于业务应用级别的监控。业务应用是个黑盒子,通过数据埋点来收集应用的实时状态,然后展示在大屏或看板上。它是报警系统和数字化管理的基础,还可以结合集中式日志来快速定位和查找问题。

我们的业务监控系统使用Metrics.NET+InfluxDB+Grafana:

640?wx_fmt=png

6、微服务MSA

微服务是细粒度业务行为的重用,需要与业务能力及业务阶段相匹配。微服务框架是实现微服务及分布式架构的关键组件,我们的微服务框架是基于开源ServiceStack来实现。它简单易用、性能好,文档自动生成、方便调试测试,调试工具Swagger UI、自动化接口测试工具SoapUI。微服务的接口开放采用我们自主研发的微服务网关,通过治理后台简单的配置即可。网关以NIO、IOCP的方式实现高并发,主要功能有鉴权、超时、限流、熔断、监控等,下图是Swagger UI调试工具。

640?wx_fmt=png

7、搜索引擎Solr

分库分表后的关联查询,大段文本的模糊查询,这些要如何实现呢?显然传统的数据库没有很好的解决办法,这时可以借助专业的检索工具。

全文检索工具Solr不仅简单易用性能好,而且支持海量数据高并发,只需实现系统两边数据的准实时或定时同步即可。下图是Solr的工作原理:

640?wx_fmt=png

8、更多工具

  • 分布式协调器ZooKeeper:ZK工作原理、配置中心、Master选举、Demo,一篇足以;

  • ORM框架:Dapper.NET语法简单、运行速度快,与数据库无关,SQL自主编写可控,是一款适合于互联网系统的数据库访问工具;

  • 对象映射工具EmitMapper和AutoMapper:EmitMapper性能较高,AutoMapper易用性较好;

  • IoC框架:控制反转IoC轻量级框架Autofac;

  • DLL包管理:公司内部DLL包管理工具NuGet,可解决DLL集中存储、更新、引用、依赖问题;

  • 发布工具Jenkins:一键编译、发布、自动化测试、一键回滚,高效便捷故障低。


640?wx_fmt=png

架构篇——思想提升


会使用以上框架并不一定能成为优秀的架构师,但一位优秀架构师一定会使用框架。架构师除了会使用工具外,还需要架构设计思想和性能调优技能。

此篇以真实项目为背景,思想方法追求简单有效,内容包括企业总体架构、单个项目架构设计、统一应用分层、调试工具WinDbg。

1、企业总体架构

当我们有了几百个上千个应用后,不仅仅需要单个项目的架构设计,还需要企业总体架构做顶层思考和指导。

大公司与小商贩的商业思维是一样的,但大公司比较难看到商业全貌和本质。而小公司又缺乏客户流量和中间件的应用场景,中型公司则兼而有之,所以企业总体架构也相对好落地。

企业总体架构需要在技术、业务、管理之间游刃有余地切换,它包括业务架构、应用架构、数据架构和技术架构。附档是一份脱敏感信息后的真实案例,有参考TOGAF标准,但内容以解决公司系统的架构问题为导向、以时间为主线,包括企业商务模型、架构现状、架构规划和架构实施。

2、单个项目架构设计

应用架构设计如同施工图纸,能直接指导工程代码的实施。上一环是功能需求,下一环是代码实施,这是架构设计的价值所在。从功能需求到用例,到用例活动图,到领域图、架构分层,到核心代码,它们之间环环相扣。做不好领域图可能源自没有做好用例活动图,因为用例活动图是领域图的上一环。关注职责、边界、应用关系、存储、部署是架构设计的核心。

下图是具体案例参考:

640?wx_fmt=png

3、统一应用分层

给应用分层这件事情很简单,但是让一家公司的几百个应用采用统一的分层结构,这可不是件简单的事情。它要做到可大可小、简单易用、支持多种场景,我们使用IPO方式:I表示Input、O表示Output、P表示Process,一进一出一处理。

应用系统的本质就是机器,是处理设备,也是一进一出一处理,IPO方式相对于DDD而言更为简单实用。

640?wx_fmt=png

4、诊断工具WinDbg

生产环境偶尔会出现一些异常问题,而WinDbg或GDB就是解决此类问题的利器。调试工具WinDbg如同医生的听诊器,是系统生病时做问题诊断的逆向分析工具,Dump文件类似于飞机的黑匣子,记录着生产环境程序运行的状态。

本文主要介绍了调试工具WinDbg和抓包工具ProcDump的使用,并分享一个真实的案例。N年前不知谁写的代码,导致每一两个月偶尔出现CPU飙高的现象。我们先使用ProcDump在生产环境中抓取异常进程的Dump文件,然后在不了解代码的情况下通过WinDbg命令进行分析,最终定位到有问题的那行代码。

640?wx_fmt=png


640?wx_fmt=png

公共应用篇——业务与技术的结合


先工具再框架,然后架构设计,最后深入公共应用。公共应用因为与业务系统结合紧密,但又具有一定的独立性,所以一般自主开发,不使用开源也不方便开源。

公共应用主要包括单点登录、企业支付网关、CTI通讯网关(短信邮件微信),下面介绍单点登录和企业支付网关。

1、单点登录

应用拆分后总要合在一起,拆分是应用实施层面的拆分,合成是用户层面的合成,而合成必须解决认证和导航问题。单点登录SSO即只需要登录一次,便可到处访问,它是建立在用户系统、权限系统、认证系统和企业门户的基础上。

我们的凭证数据Token使用JWT标准,以解决不同语言、不同客户端、跨WebAPI的安全问题。

2、企业支付网关

企业支付网关集中和封装了公司的各大支付,例如支付宝、财付通、微信、预付款等。它统一了业务系统调用各支付接口的方式,简化了业务系统与支付系统的交互。它将各种支付接口统一为支付、代扣、分润、退款、退分润、补差、转账、冻结、解冻、预付款等,调用时只需选择支付类型即可。

企业支付网关将各大支付系统进行集中地设计、研发、部署、监控、维护,提供统一的加解密、序列化、日志记录和安全隔离。


640?wx_fmt=png

进阶篇——从架构到管理


架构要落地、固化和提升,需要通过技术架构与组织架构的对齐来达成。从生产力到生产关系,从架构师到技术管理,你关注的角度也将发生变化。从关注技术到关注技术的商业价值、技术与业务的匹配与融合、技术团队的文化等等。

本篇内容包括技改之路、技术与业务的匹配与融合、研发团队文化是怎么长出来的。

1、技改之路:从单块应用到微服务

技改是技术改造的简称,是技术的蜕变。

本章指的是在公司技术发展的某个瓶颈阶段,按原有开发和组织方式已经无法玩下去,这时公司希望引进架构师或技术牛人,来破解当前困局。

技改之路少讲技术多讲路,我们不过多地关注技术细节和中间件的实现,而重点讲述技术改造的过程和思考。技改是大折腾,于公司于个人而言都是。

小改怡情、大改伤身,所以真正高手下棋,应该是通盘无妙招,让正确的事情很容易发生,基于自然的演化来实现技术的演进。

2、技术与业务的匹配与融合

是什么在驱动公司的发展?技术说“科学技术是第一生产力”,市场说“没有市场,哪来的业务”,运营说他自己。应该说他们都是正确的,但又不全面。这如同盲人摸象一样,引发了不少的争论,也直接或间接地导致了技术与业务的矛盾。

本文先抛出了一个启发性的问题,然后分析问题出在哪里,理解源于彼此的了解,如何去匹配与融合,最后正面回答了该问题。

只有尊重事物的发展规律,加强技术与业务的之间合作,才能促进公司发展。

3、研发团队文化是怎么长出来的

从死气沉沉到激情活力,从固步自封到好学分享,这是一个有关团队文化的主题。寺庙文化传承千百年,舌尖上的美食流传至今,它是如何形成和生长的?是参考大公司或从管理书籍上挑选几个词语,还是脚踏实地、土里吧唧,自己一步一步埋头干?

本章先介绍了我们遇到的问题,然后是解决之道,包括管理工具、制度和行为措施,并予以贯彻并形成一种习惯,最后是总结并归纳成几个可以贴到墙上的大字,即「共治分享自视一起拼,简单有效快」,这个过程就如同花朵一般。只有这样「长」出来的文化,才能管人做事,才能成为公司或团队的执行力。


640?wx_fmt=png

总结


以上目录顺序不仅是架构改造的参考路径,也是架构师的成长路径。照着做,你也能够成为架构师。但为了本书的阅读效果,篇章目录并没有采用以上顺序,而是先介绍架构,然后是框架、公共应用和进阶篇,敬请注意。

根据我们以往的经验,通过以上的分享,业务研发就可以快速地进入项目实战。对于后面新加入的团队成员,也可通过Wiki自主快速学习。这是我们之前对自己的要求,尽量降低工具对研发人员的门槛,简单实用、降低成本。文章中部分Demo采用C#或Java语言,但到了框架与架构层面,与语言本身没有太多关系。如RabbitMQ、Job、Redis和集中式日志ELK,它们服务端的部署都是一样的,只是客户端语言版本稍有不同。

所有Demo在一段时间内都可直接运行,服务地址和管理后台亦可直接访问(所有案例和Demo下载地址:https://github.com/das2017?tab=repositories)。以上这些基础工作,希望能够帮助到中小型研发团队,解决大家项目中遇到的实际问题,也愿与你一起在架构方面有所成长,谢谢! 

作者简介:张辉清,10多年的IT老兵,系统分析师、项目管理师,曾任中青易游CTO、同程交通创新技术负责人、古大集团首席架构师、携程架构师等职务。带领过30~200人的技术团队,将其研发能力提高1~2个档次。现阶段主要关注技术创新、技术创业、中小研发团队的能力提升。

声明:本文为作者独家投稿。

 热 文 推 荐 

☞ 谁人能成张小龙?

BAT:2019 年 AI 将彻底爆发!90% 的程序员都受影响!

开源商业模式是万恶之本?

漫画:什么是 ZooKeeper?

☞ 君士坦丁堡硬分叉姗姗来迟,以太坊2.0还要等多久?

☞ 2018,这一年的腾讯优图,我们总结一下!

☞ 特斯拉“撞死”机器人,是炒作还是事故?

☞ 程序员的年度未解之谜:加班背锅的是我,得优秀员工的却是他

☞ 趣挨踢 | 关于遗留代码的那些事儿

 
 

print_r('点个好看吧!');
var_dump('点个好看吧!');
NSLog(@"点个好看吧!");
System.out.println("点个好看吧!");
console.log("点个好看吧!");
print("点个好看吧!");
printf("点个好看吧!\n");
cout << "点个好看吧!" << endl;
Console.WriteLine("点个好看吧!");
fmt.Println("点个好看吧!");
Response.Write("点个好看吧!");
alert("点个好看吧!")
echo "点个好看吧!"

640?wx_fmt=gif点击“阅读原文”,打开 CSDN App 阅读更贴心!

640?wx_fmt=png 喜欢就点击“好看”吧!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CSDN资讯

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值