- 博客(5)
- 收藏
- 关注
RSS订阅原创 反架构设计
软件架构可以说是软件开发的“政治正确”，不谈“高大上”的架构，不但得不到客户的信任，也无法在团队中获得话语权，今天就来“反”一下。架构设计本身就是个抽象过程，不但包含实践的方法和过程，还有抽象的理论和总结。而这个过程表象很容易掩盖本质，有时还可能是陷阱或骗局。我一直是个实用主义者，也就是相信架构设计是以需求为出发点，遵循最小投入最大产出的原则进行。所以我主要“反”的是两种：理想主义的架构 商业包装的架构而很多坑都是在这两者之间纠缠，让你云里雾里。理想主义架构可以认为是比较唯心的，..
2021-08-02 15:46:19
130
原创 大数据(1)-流式处理-状态
转行搞了三年大数据，计划写些的东西，对这个方向总结一下，包括架构，工具，格式，库等等。最近准备造轮子，就先从一些目前最常见的流式数据处理手段开始。Spark & FlinkSpark，Flink是最知名的通用数据处理工具，不限定场景，不限定数据量。支持分布式，支持自定义状态，灵活定义数据处理逻辑（执行计划）。当然缺点就是：人工参与程度大，速度慢，系统臃肿。缺点与优点是相互取舍的，因为本身就是通用平台，不能与业务场景过分绑定，所以很多功能在实际使用时是不需要的，比如只用20..
2021-06-24 11:22:25
284
原创 2021网络系统流行架构
2021年了，看看网络系统的流行架构。系统的质量属性要满足客户需求，所以架构的第一出发点也是需求。有偏好的需求构成场景，架构的取舍就是基于应用场景的偏好。网络系统在管道的位置，大致分为两类：傻快型：内容无感知，以交换和路由为主。如各种交换机，路由器等设备，主要靠硬件。纯软件实现上的需求主要是牺牲一些硬件的高性能，换取管理和维护的方便和统一，如SDN，NFV。目前为了融合硬件与软件，一般都采用x86的架构配合高速可编程的NIC和转发芯片（如支持P4）。以获得性能与管理的双重优势。但本质还是矛盾
2021-03-08 10:49:15
461
1
原创 爬虫攻防: 爬虫的钳形攻势
爬虫的起源先科普一下，这里说的“爬虫”是指网络爬虫，起源于互联网早期的搜索引擎。为了自动完成网页信息收集的工作被创造出来。爬虫诞生后，虽然看起来非主流，却实质上是互联网应用最重要技术之一。除了我们熟知的谷歌，百度爬虫这些老牌，新起之秀今日头条，点评美团，去哪儿，58等等互联网巨头都是以爬虫为基础搭建的信息聚合平台，同时也拥有经验丰富的爬虫团队。除了狭义以网页内容为线索爬虫外，其他以自动化形式获得信息的程序或脚本都可以称为“爬虫”。爬虫的规模爬虫在互联网上有多少流量呢，保守估计平均过半的流量都来自.
2021-01-16 15:23:27
496
原创 Envoy VS Traefik
云原生场景，产生了很多的Edge Router，Load balance，API Gate Way，Proxy等组件。最近研究了一下，分享几个喜欢的项目，它们大致分为两类：Gateway为主：Kong，KrakendProxy为主：Envoy，Traefik但两类没有实际功能的边界，Proxy为主，一般要支持在L4，Gateway为主，支持在L7即可。Proxy主要位置是中间，可以做sidecar，Gateway在服务endpoint前面。再比如传统的HAProxy就是Proxy，Nginx
2020-11-06 17:32:31
1636
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人