架构
Coffee-84
这个作者很懒,什么都没留下…
展开
-
开源日志系统比较:scribe、chukwa、kafka、flume
1. 背景介绍许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征:(1) 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦;(2) 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统;(3) 具有高可扩展性。即:当数据量增加时,可以通过增加节点进行水平扩展。本文从设...转载 2019-10-12 14:18:35 · 503 阅读 · 0 评论 -
顶级域名、一级域名、二级域名与IP
今天同伴跟我说可以把我们的Web小项目对应的数据库放到云服务器上,当时我是一脸懵逼的,因为我知道服务器不便宜,网上搜了下原来还可以在本机上搭建一个服务器(也不知道他是不是自己搭的),其中提到了域名,DNS解析,IP地址等等彼此相关的联系,发现自己不是很懂,所以学习一下。域名:可分三级,一级域名,二级域名,三级域名。是由一串字符+域名后缀组成,我们通常说的网址就包含域名。(图中的域名其实是域...转载 2019-09-11 11:20:43 · 6533 阅读 · 0 评论 -
分库分表的基本思想
一、分库分表的概念Sharding的基本思想就要把一个数据库切分成多个部分放到不同的数据库(server)上,从而缓解单一数据库的性能问题。不太严格的讲,对于海量数据的数据库,如果是因为表多而数据多,这时候适合使用垂直切分,即把关系紧密(比如同一模块)的表切分出来放在一个server上。如果表并不多,但每张表的数据非常多,这时候适合水平切分,即把表的数据按某种规则(比如按ID散列)切分到多个数...转载 2019-01-09 16:22:37 · 167 阅读 · 0 评论 -
最全阿里技术P系列解读:P5-P8的技能要求和薪资结构
2018年持续一整年的架构设计分享,2019年我希望持续分享的同时,能真正意义上帮助到部分读者成为一名架构师。学习的同时请千万别:只见树木,不见森林。所以我会让大家先俯瞰完整的森林,我们再从树木开始,一起去穿越整个森林。最新阿里技术P系列薪资:上图薪资结构*2 01—阿里P5(高级研发工程师) 1.工作要求:能独立完成日常工作,并能够对一些方案提出自己的建议...转载 2019-01-03 11:03:13 · 8803 阅读 · 0 评论 -
滴滴的大数据计算平台演进之路
滴滴出行作为一家出行领域的互联网公司,其核心业务是一个实时在线服务。因此具有丰富的实时数据和实时计算场景。本文将介绍滴滴实时计算发展之路以及平台架构实践。实时计算演进随着滴滴业务的发展,滴滴的实时计算架构也在快速演变。到目前为止大概经历了三个阶段,第一阶段是业务方自建小集群;第二阶段是集中式大集群、平台化;第三阶段是 SQL 化。图 1 标识了其中重要的里程碑,下面给出详细阐述。图...转载 2019-01-03 10:37:30 · 4429 阅读 · 0 评论 -
双写一致性
首先,缓存由于其高并发和高性能的特性,已经在项目中被广泛使用。在读取缓存方面,大家没啥疑问,都是按照下图的流程来进行业务操作。但是在更新缓存方面,对于更新完数据库,是更新缓存呢,还是删除缓存。又或者是先删除缓存,再更新数据库,其实大家存在很大的争议。目前没有一篇全面的博客,对这几种方案进行解析。于是博主战战兢兢,顶着被大家喷的风险,写了这篇文章。 文章结构本文由以下三个部分组成...转载 2019-01-11 12:49:16 · 13027 阅读 · 3 评论 -
斩获BAT技术专家Offer,他到底经历了什么?
本文我们通过一篇真实的一线面经,带大家去体验一下 BAT 等互联网公司的面试现场氛围!面试者是笔者以前的下属,多年的好朋友。这是他去年早些时候出去面试,拿到 BAT 等多家一线互联网公司技术专家 Offer 的面试经历。先介绍一下这位朋友的个人经历:本科毕业,接近 10 年工作经验。跳槽之前,在国内某大型互联网公司里带一个 8 人左右的技术团队。 由于公司业务发展较为平缓,所以职业上...转载 2019-01-11 11:48:11 · 521 阅读 · 0 评论 -
大型网站应用之海量数据和高并发解决方案总结一二
一、网站应用背景开发一个网站的应用程序,当用户规模比较小的时候,使用简单的:一台应用服务器+一台数据库服务器+一台文件服务器,这样的话完全可以解决一部分问题,也可以通过堆硬件的方式来提高网站应用的访问性能,当然,也要考虑成本的问题。当问题的规模在经济条件下通过堆硬件的方式解决不了的时候,我们应该通过其他的思路去解决问题,互联网发展至今,已经提供了很多成熟的解决方案,但并不是都具有适用性,你...转载 2018-12-29 15:20:32 · 223 阅读 · 0 评论 -
用Redis轻松实现秒杀系统
导论曾经被问过好多次怎样实现秒杀系统的问题。昨天又在CSDN架构师微信群被问到了。因此这里把我设想的实现秒杀系统的价格设计分享出来。供大家参考。秒杀系统的架构设计秒杀系统,是典型的短时大量突发访问类问题。对这类问题,有三种优化性能的思路: 写入内存而不是写入硬盘 异步处理而不是同步处理 分布式处理 用上这三招,不论秒杀时负载多大,都能轻松应对。更好的是,Redis能够满足上述...转载 2018-12-29 15:09:08 · 369 阅读 · 0 评论 -
Java架构师之旅
Java架构师之旅一:MVC框架的演变Java架构师之旅二:Java企业级高并发Java架构师之旅三:JAVATomcat企业级学习Java架构师之旅四:Java分布式Session项目处理方案Java架构师之旅五:Java高并发场景的数据隔离方案Java架构师之旅六:Java单例设计模式Java架构师之旅七:SpringMVC深入了解Java架构师之旅八:Spring...转载 2018-12-29 12:00:35 · 291 阅读 · 0 评论