架构
yyqq188
这个作者很懒,什么都没留下…
展开
-
关于宽表加工的一点提示思考
分清事实表join 还是维表join原因在于1 事实表join是需要两头关联的,维表join是 只需要事实流表一方关联2 维表join可以利用broadcast是方式来实现,当然也可以利用传统的hbase的方式实现初始化要来两遍第一遍是初始化中间层中间表包括broadcast的初始化,其实可以自己写个程序统一读取后放入kafka的topic第二遍是通过已经初始化好的中间层来关联出宽表,也就是静态的宽表实时流入就是将上游的数据再导入到初始化时的topic中...原创 2021-11-24 13:48:42 · 1615 阅读 · 0 评论 -
消息传输的改变(redis / zeromq)
需求是有消息源,需要分不同的topic,然后中间处理逻辑分别处理各自的topic,最后有个总收集器把各个中间处理的结果再处理一下,形成最终结果。消息源是java的API,中间处理逻辑是python写的,然后收集器逻辑是java。目前的方式是用redis的list队列,不同的topic分布到不同的list队列中,这当然是不好的,因为一个topic对应于一个中间处理逻辑,假如再扩展的话,就要更改消息源的程序。自然,redis和zeromq都有广播机制可以使用。所以从消息源到中间处理逻辑这块会按照zeromq原创 2020-06-05 17:55:29 · 929 阅读 · 1 评论 -
传统IT架构的问题
1 详细介绍共享服务理念给企业业务发展带来的业务价值2 阿里巴巴在建设共享服务体系时如何进行技术框架的选择,哪些重要的技术平台支撑起了共享服务体系3 阿里巴巴内部的一些经验和实践,入组织的架构和体制如何更好的支持共享服务体系的持续发展4 最后结合两个典型案例来介绍如何在实际工作中应用共享服务体系从supercell模式说起:这家游戏公司经过6年的时间将游戏开发过程中公共原创 2018-02-08 11:56:27 · 7749 阅读 · 0 评论 -
解决问题的方法:构建业务中台的基础——共享服务体系
回归SOA的本质---服务重用如今比较火的微服务概念其实也是SOA方法经过演变后的另一种呈现方式而已。正如上一篇文章中说的那样,当SOA在企业客户中落地时,几乎无一例外是通过搭建企业的ESB(企业服务总线),使各个系统以服务封装或服务调用的方式实现了不同系统间的业务交互。SOA理念的核心价值是松耦合的服务带来业务的复用,通过服务的编排助力业务的快速响应和创新,这些观念其实在SOA项目的原创 2018-02-08 11:58:32 · 9413 阅读 · 1 评论 -
共享服务体系搭建
一个服务中心不单单是在企业的几个应用中发挥作用,它可能会给企业上百个不同的应用提供专业服务,一旦这个服务中心出了问题,将会对业务的运营产生估量的损失和影响.这样就对服务中心的服务稳定性,服务能力的扩展性,服务需求的快速响应能力提出了前所未有的更高要求.技术框架选择平台能力技术实现分布式服务框架的选择过去:几百个人维护一个几百兆的WAR包模式:1 项目团队间原创 2018-02-08 12:00:54 · 1576 阅读 · 0 评论 -
关于微服务
阿里的共享服务体系建设的过程和现状,和微服务典型特征不谋而合。随着微服务理念的越来越深入人心,加上最近几年基于容器化技术docker的不断盛行。在这里基于微服务架构的典型特征逐一进行剖析,让更多计划构建微服务应用或架构的朋友能更清晰准确的看到微服务建设的本质。微服务架构的典型特征:分布式服务组成的系统按照业务而不是技术来划分做有生命的产品而不是项目智能化服务端点与傻瓜式服务编排原创 2018-02-08 12:01:21 · 436 阅读 · 0 评论 -
异步化和缓存原则
异步化和缓存两个技术都与系统的性能有很大的关系,当今分布式应用架构,如果不能很好的掌握这两项技术,所设计出的应用将很难有优质的性能表现。这里将介绍的是:分布式架构中,如何通过业务流程异步化, 也就是通过服务异步调用的方式让业务流程中业务逻辑上允许同步执行的服务同时被调用,从而解决了大量远程服务线性调用带来的性能问题。接着介绍数据进行分库分表后,数据在进行异步操作的场景下,阿里采用哪些原创 2018-02-08 12:03:31 · 887 阅读 · 0 评论 -
单线程下两种相对高效的获取数据的方法
1 方法一是通过requests.Session 一次性获取TCP连接后,之后的请求可以共享import requestsimport timeheaders = {"Content-Type":"application/json", "Authorization":"Bearer 86e9e12426c77b242522429e308068a921819fad3...原创 2018-11-26 16:04:35 · 302 阅读 · 0 评论 -
电信集团政企项目爬虫部分
电信集团政企项目爬虫部分1 项目用到的技术点有 scrapy scrapyd scrapyd-client docker docker-compose2 需求是要爬取全国各个省级以及省会的招投标信息。之前做过浙江省级的招投标爬取,利用的scarpy的本地爬取,这次的爬取网站多,而且要用到定时去爬取,并做到项目的架构的可复用以及可扩充。所以我在scrapy的基础上,利用docker...原创 2019-03-10 15:53:57 · 555 阅读 · 0 评论