![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
架构相关
程序员学习圈
值得去的地方,没有捷径;难走的路,才更值得开始!
展开
-
大数据、云计算区别
关于大数据和云计算的关系人们通常会有误解。而且也会把它们混起来说,分别做一句话直白解释就是:云计算就是硬件资源的虚拟化,大数据就是海量数据的高效处理 。 虽然上面的一句话解释不是非常的贴切,但是可以帮助你简单的理解二者的区别。另外,如果做一个更形象的解释,云计算相当于我们的计算机和操作系统,将大量的硬件资源虚拟化之后再进行分配使用,在云计算领域目前的老大应该算是 Amazo...原创 2019-01-22 15:50:00 · 628 阅读 · 0 评论 -
Lambda 架构详解-2
1.架构简介 Lambda架构是大数据架构的一种,其作用无非是存储-处理-展示数据。关于其介绍,网上多篇博客已珠玉在前,这里不再赘述。可参见:2.架构之组成2.1 batch layer 如图可知,优选是Hive和Pig,次选是Spark、Hadoop;2.2 speed layer 如图可知,优选是Spark Streaming和Str...原创 2019-01-17 18:00:09 · 723 阅读 · 0 评论 -
Lambda 架构详解-1
1.为什么要用Lambda Architecture 在大数据处理系统中,数据处理的可靠性和实时性是一对矛盾,往往不可兼得。可靠性是指在任何异常出现的情况下,数据处理都能够做到不重不丢,并且最终得到准确的结果。实时性是指数据从输入到处理完毕输出的时间间隔。一般来说,对于像Hadoop MapReduce这样的批处理系统来说,可靠性很高,而实时性很差;对于Storm这样的流式处理系统来说,...原创 2019-01-17 17:30:44 · 11592 阅读 · 16 评论 -
大数据架构选择
1.简介 大数据是收集、整理、处理大容量数据集,并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限,但这种计算类型的普遍性、规模,以及价值在最近几年才经历了大规模扩展。 处理框架负责对系统中的数据进行计算,例如处理从非易失存储中读取的数据,或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信息和见解的过程。...原创 2019-01-17 17:00:10 · 612 阅读 · 0 评论 -
简单理解分布式 多线程 高并发
当提起这三个词的时候,是不是很多人都认为分布式=高并发=多线程? 当面试官问到高并发系统可以采用哪些手段来解决,或者被问到分布式系统如何解决一致性的问题,是不是一脸懵逼?确实,在一开始接触的时候,不少人都会将三者混淆,误以为所谓的分布式高并发的系统就是能同时供海量用户访问,而采用多线程手段不就是可以提供系统的并发能力吗?实际上,他们三个总是相伴而生,但侧重点又有不同。...原创 2017-12-27 23:13:49 · 625 阅读 · 0 评论 -
简单理解集群和分布式
分布式是指不同的业务分布在不同的地方,集群指的是将几台服务器集中在一起,实现同一业务。白话理解的话,比如公司项目上线初期(举例电子商务网站) 初期:用户访问量低,只弄了一台服务器,一个tomcat项目运行一个web工程。 中期:用户访问量提高,服务器崩了,为了解决这个问题,购买服务器,增加服务器数量,然后每个服务器中个各放了一份,使用nginx代理转发。(这...原创 2017-12-26 16:25:43 · 619 阅读 · 0 评论 -
软件开发模式
软件开发模式大概有11种,如下所示: • 边做边改模型(Build-and-Fix-Model) • 瀑布模型(Waterfall-Model) • 快速原型模型(Rapid-Prototype-Model) • 增量模型(Incremental-Model) • 迭代模型(Stagewise-Model) • 螺旋模型(Spira...原创 2017-12-19 22:53:39 · 363 阅读 · 0 评论 -
软件生命周期
1.软件的生命周期概述 软件生命周期: 软件的产生直到报废的生命周期2.软件的生命周期分解软件工程可以分为三个大的阶段:需求; 设计; 测试与维护2.1 需求: 开发目标 可行性分析 需求分析2.2 设计: 概要设计 详细设计 编码与单元测试2.3 测试与维护 ...原创 2017-12-10 21:59:42 · 1123 阅读 · 0 评论