系统架构
天地不仁以万物为刍狗
天之道,损有余而补不足
人之道,损不足以奉有馀
展开
-
开源大数据平台如何才能保证身份认证安全?Kerberos
在古希腊神话中,Kerberos是住在冥河岸边的三头犬,负责看守冥界的入口。而在信息技术界,Kerberos是一种被广泛采用的网络认证协议,通过对称加密的技术,保护网络系统的安全。特别是在Hadoop开源大数据平台,Kerberos是内置支持的安全的用户认证方式。它可以独立于各服务组件,保证只有通过身份认证的节点才可以访问对应的服务,进而维护开源大数据的系统安全。作为开源大数据卫士的Kerbe...转载 2020-01-16 13:27:39 · 614 阅读 · 0 评论 -
BigData In Aws Or Aliyun
大数据通用系统解决方案(分别基于Open,AWS,Aliyun,和三者的使用技术)应用场景物联网领域、车联网、智能城市,智能生活MQTT 端和云之间的通信 1 open - EMQ (百万级分布式开源物联网MQTT消息服务器) 2 aws - AWS IoT ...原创 2019-07-20 16:22:16 · 231 阅读 · 0 评论 -
Serverless 介绍 和 深层次的认知
前言云计算机经过这么多年的发展,逐渐进化到用户仅需关注业务和所需的资源。比如,通过Swarm、K8S这些编排工具,用户只要关注自己的计算和需要的资源(CPU、内存等)就行了,不需要操心到机器这一层。可是,用户为什么仍然需要关注业务运行所需要的CPU、内存、网络情况?还有没有更好的解决方案?Serverless架构应运而生,让人们不再操心运行所需的资源,只需关注自己的业务逻辑,并且为实际消耗...转载 2019-04-11 15:59:20 · 224 阅读 · 0 评论 -
BigData-基于代价优化
转:http://hbasefly.com/2017/05/04/bigdata%EF%BC%8Dcbo/还记得笔者在上篇文章无意中挖的一个坑么?如若不知,强烈建议看官先行阅读前面两文-《SparkSQL – 有必要坐下来聊聊Join》和《BigData – Join中竟然也有谓词下推!?》。第一篇文章主要分析了大数据领域Join的三种基础算法以及各自的适用场景,第二篇文章在第一篇的基础上进一...转载 2019-04-09 17:06:25 · 251 阅读 · 0 评论 -
BigData - “ 时 空 “ 思想 - 存储和计算 (待续中)
思想 :时间和空间的平衡一直都是软件开发过程中永恒的话题架构师的设计中一直都有计算时间 和 存储空间 的平衡工作在大数据领域里面,这个思想尤为突出。实例举例说明几种时空思想的利用实例1, 压缩压缩的本质就是利用CPU的处理时间,换取磁盘的存储空间。2,预查询apache kylin,作为OPAL 框架,它的数据存储会比原始数shi据多出几倍,本质...原创 2019-04-12 17:11:51 · 245 阅读 · 0 评论 -
五种开源协议的比较(BSD,Apache,GPL,LGPL,MIT)
当Adobe、Microsoft、Sun等一系列巨头开始表现出对”开源”的青睐时,”开源”的时代即将到来!现今存在的开源协议很多,而经过Open Source Initiative组织通过批准的开源协议目前有58种(http://www.opensource.org/licenses /alphabetical)。我们在常见的开源协议如BSD,GPL,LGPL,MIT等都是OSI批准的协议。如果要...转载 2019-04-09 13:01:57 · 247 阅读 · 0 评论 -
Mark : 软件架构发展历程
好文章一定要Mark一下作者简介:kimmking,关注于互联网电商,金融,支付等系统领域,10多年研发管理和架构经验,前阿里架构师、某商业银行北京研发中心负责人,某电商公司高级技术总监。本文来自作者kimmking在GitChat上分享 「软件架构发展历程分享」。什么是架构计算机科学和程序设计的飞速发展,使得软件设计应用到从航空航天到日常生活的方方面面。单个人开发一段小程...翻译 2019-04-15 17:15:24 · 374 阅读 · 0 评论 -
悟 - 软件工程 各种架构理解
Service Mesh就是为了解耦*(数据层 和 控制层),有多抽象出来了一层软件架构里面有句俗语,任何事情是没有再抽象出一层解决不了的,如解决不了,那就再多抽象出一层Service lessServerless(无服务器架构)并不意味着没有任何服务器去运行代码,Serverless是无需管理服务器,只需要关注代码,而提供者将处理其余部分工作...原创 2019-03-29 17:29:14 · 352 阅读 · 0 评论 -
架构 infrastructure - 浅谈服务治理、微服务与Service Mesh
浅谈服务治理、微服务与Service Mesh(一):Dubbo的前世今生http://dockone.io/article/3294浅谈服务治理、微服务与Service Mesh(二): Spring Cloud从入门到精通到放弃http://dockone.io/article/4142浅谈服务治理、微服务与Service Mesh(三): Service Mesh与Serve...转载 2019-03-29 16:47:47 · 351 阅读 · 0 评论 -
Service Mesh
什么是Service Mesh?作为一款最近两年比较火的微服务框架Spring Cloud已经在不少创业型互联网公司落了地,然而无奈变化太快,这不还没来得及熟悉Spring Cloud的全部组件,就猛然发现了Service Mesh的崛起,而Spring Cloud就显得有点过时了。微服务的核心问题在了解Service Mesh之前,我们先来讨论下这样一个问题:“微服务架构的核...转载 2019-03-29 16:42:43 · 1078 阅读 · 0 评论 -
架构 - Serverless的本质是什么?
Serverless的基本思想是程序员只需要写代码然后推送到Serverless的服务就足够了,其余的事情都由这个服务来处理Serverless直译为中文是“无服务器”,但是实际上它仍需要服务器,只不过服务器的管理以及资源分配部分对用户不可见,为避免误导读者,译文中还是将英文保留。最开始,一台单用户的物理服务器便能满足我们的日常所需,它快速,可靠并且安全,只对管理员负责。但是在实际中配置和扩...转载 2019-03-29 15:03:31 · 280 阅读 · 0 评论 -
系统架构 - Serverless
首先无服务器这个概念并不代表该技术的实际状态。因为还有一台服务器,但你只是不需要购买,管理或维护它。你将所有服务器管理外包给其他人,在你的云基础架构中添加抽象级别。对于开发人员来说,这意味着最终推动了服务器后台配置的能力和创建应用程序之间更加友好。对于企业来说,带来了更快的应用上市时间,以及专注于开发和部署的应用程序,而不是如何管理服务器的后台配置。基本上,无服务器方法是由业务驱动的,第三方处理你...转载 2019-03-25 13:31:51 · 223 阅读 · 0 评论 -
BigData - Lambda架构 vs Kappa架构
Lambda 架构Lambda架构由Storm的作者Nathan Marz提出,其设计目的在于提供一个能满足大数据系统关键特性的架构,包括高容错、低延迟、可扩展等。其整合离线计算与实时计算,融合不可变性、读写分离和复杂性隔离等原则,可集成Hadoop, Kafka, Spark,Storm等各类大数据组件。Lambda 架构可分解为三层Layer,即Batch Layer, Re...转载 2019-03-15 17:00:48 · 361 阅读 · 0 评论 -
持续集成与灰度发布
一、持续集成 持续集成(Continuous integration,简称CI)是一种软件开发实践,即团队开发成员经常集成它们的工作,通常每个成员每天至少集成一次,也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建(包括编译,发布,自动化测试)来验证,从而尽快地发现集成错误。许多团队发现这个过程可以大大减少集成的问题,让团队能够更快的开发内聚的软件。 持转载 2017-10-18 23:35:54 · 2803 阅读 · 0 评论