概念
文章平均质量分 63
天地不仁以万物为刍狗
天之道,损有余而补不足
人之道,损不足以奉有馀
展开
-
Docker与VM虚拟机的区别以及Docker的特点
一、本质上的区别:VM(VMware)在宿主机器、宿主机器操作系统的基础上创建虚拟层、虚拟化的操作系统、虚拟化的仓库,然后再安装应用;Container(Docker容器),在宿主机器、宿主机器操作系统上创建Docker引擎,在引擎的基础上再安装应用。那么问题来了,没有操作系统,怎么运行程序?可以在Docker中创建...转载 2019-10-29 10:34:36 · 136 阅读 · 0 评论 -
Mark : Kerberos 认证
转 :https://www.cnblogs.com/wukenaihe/p/3732141.htmlhadoop集群的kerberos认证https://blog.csdn.net/weixin_40861707/article/details/819794741. Kerberos简介Kerberos是一种计算机网络授权协议,用来在非安全网络中,对个人通信以安全的手段进...转载 2019-04-13 21:40:54 · 256 阅读 · 0 评论 -
BigData-基于代价优化
转:http://hbasefly.com/2017/05/04/bigdata%EF%BC%8Dcbo/还记得笔者在上篇文章无意中挖的一个坑么?如若不知,强烈建议看官先行阅读前面两文-《SparkSQL – 有必要坐下来聊聊Join》和《BigData – Join中竟然也有谓词下推!?》。第一篇文章主要分析了大数据领域Join的三种基础算法以及各自的适用场景,第二篇文章在第一篇的基础上进一...转载 2019-04-09 17:06:25 · 251 阅读 · 0 评论 -
BigData - “ 时 空 “ 思想 - 存储和计算 (待续中)
思想 :时间和空间的平衡一直都是软件开发过程中永恒的话题架构师的设计中一直都有计算时间 和 存储空间 的平衡工作在大数据领域里面,这个思想尤为突出。实例举例说明几种时空思想的利用实例1, 压缩压缩的本质就是利用CPU的处理时间,换取磁盘的存储空间。2,预查询apache kylin,作为OPAL 框架,它的数据存储会比原始数shi据多出几倍,本质...原创 2019-04-12 17:11:51 · 246 阅读 · 0 评论 -
五种开源协议的比较(BSD,Apache,GPL,LGPL,MIT)
当Adobe、Microsoft、Sun等一系列巨头开始表现出对”开源”的青睐时,”开源”的时代即将到来!现今存在的开源协议很多,而经过Open Source Initiative组织通过批准的开源协议目前有58种(http://www.opensource.org/licenses /alphabetical)。我们在常见的开源协议如BSD,GPL,LGPL,MIT等都是OSI批准的协议。如果要...转载 2019-04-09 13:01:57 · 247 阅读 · 0 评论 -
Mark : 软件架构发展历程
好文章一定要Mark一下作者简介:kimmking,关注于互联网电商,金融,支付等系统领域,10多年研发管理和架构经验,前阿里架构师、某商业银行北京研发中心负责人,某电商公司高级技术总监。本文来自作者kimmking在GitChat上分享 「软件架构发展历程分享」。什么是架构计算机科学和程序设计的飞速发展,使得软件设计应用到从航空航天到日常生活的方方面面。单个人开发一段小程...翻译 2019-04-15 17:15:24 · 374 阅读 · 0 评论 -
linux下写穿/直写(Write-Through)与写回(Write-Back)
CPU使用高速缓存(DCache)时,它对内存的的写操作有两种模式:写穿(write-throuht)、写回(write-back)。写穿(write-throuht)模式该模式下,CPU对主存写数据时,不经过DCdcache直接写到内存,此时对于写的实现比较简单,如果系统只用写穿模式的话,DCache则变成了读缓存了。写回(write-back)模式:CPU写入数据时,不...转载 2019-04-12 10:23:51 · 6224 阅读 · 0 评论 -
序列化、压缩、及Linux 打包
序列化序列化将对象变成一串字节流序列化可以理解为对象级别的压缩方式不用序列化能否保存磁盘上? 可以,但是你要将对象中一个个的基本属性进行写入操作,比如int之流, 当然, 按你自己希望的顺序,规则.序列化和持久化之间的关系 序列化过程是持久化的一种方式,当然Java中你可以选择适当的方式编码(utf-8)。序列化和压缩的目的...原创 2019-04-10 14:20:45 · 472 阅读 · 0 评论 -
OLTP VS OLAP VS HTAP
https://blog.bcmeng.com/post/oltp-olap-htap.htmlOLTP是Online Transaction Processing的简称;OLAP是OnLine Analytical Processing的简称;HTAP是Hybrid Transactional/Analytical Processing的简称。Transaction是指形成一个逻辑单元,不可...转载 2019-04-05 17:54:45 · 739 阅读 · 0 评论 -
数据湖 数据孤岛 数据沼泽
数据仓库据仓库是一种存储架构,旨在保存从多个数据源提取的数据,这些数据源包括操作数据存储、事务数据存储,以及企业内的部门数据集市。数据仓库将数据组合为一种聚合、摘要形式,适合于进行企业级数据分析以及针对业务需求定制报告。数据孤岛数据孤岛在企业信息化中,还有很多类似的描述,如"数据的污染"等比较形象的说法,专业人士把数据孤岛分为物理性和逻辑性两种。物理性的数据孤岛指的是,数据在不...转载 2019-05-28 12:26:32 · 1217 阅读 · 0 评论 -
提取暗数据
在我的上一篇文章中,您了解了数据湖如何允许存储大量多格式数据,从而帮助加速数据摄入和降低摄入成本。廉价存储技术的出现,使组织能更轻松、更便宜地存储大量数据。组织存储数据有许多原因,通常是为了保留记录和遵守法规。不幸的是,许多公司从未使用他们存储的哪怕一小部分数据,而且良好数据可能无法访问,因为存储储备库没有恰当地对元数据标签进行归档,集成的工具无法读取某些数据格式,或者该数据无法通过查询来检索...转载 2019-05-28 13:27:45 · 328 阅读 · 0 评论 -
BigData In Aws Or Aliyun
大数据通用系统解决方案(分别基于Open,AWS,Aliyun,和三者的使用技术)应用场景物联网领域、车联网、智能城市,智能生活MQTT 端和云之间的通信 1 open - EMQ (百万级分布式开源物联网MQTT消息服务器) 2 aws - AWS IoT ...原创 2019-07-20 16:22:16 · 231 阅读 · 0 评论 -
数据中台 的 初步理解
数据中台数据时代带来的挑战不仅仅是数据量的爆发式增长,更重要是如何管理好、治理好、利用好这些数据,显然传统的大数据建设方法论无法满足需“数据中台”一般包含以下几个部分:1、数据仓库:用来存储数据的,结构性数据、非结构性数据等,还有离线数据和实时数据等;2、大数据中间件:包含了大数据计算服务、大数据研发套件、数据分析及展现工具;3、数据资产管理:按照阿里的体系应...转载 2019-07-24 16:23:15 · 521 阅读 · 0 评论 -
Java加载数据库连接驱动 Class.forName 作用
JDBC提供的DriverManager类用于跟踪所有可用的JDBC驱动,并在用户需要时选择合适的驱动提供给用户 但是其跟踪不是自动的,必须由可用的JDBC驱动的Driver类自己在DriverManager上进行注册 但是这个注册过程一般是由Driver类加载的时候自动完成的 Class.forName("org.postgresql.driver");这句就是为...转载 2019-07-29 14:16:12 · 358 阅读 · 0 评论 -
ODS、DW、DM的区别
ODS:操作性数据仓库,最早的数据仓库模型。特点是数据模型采取了贴源设计,业务系统的数据结构是怎样的,ODS数据库的结构就是怎样的。所不同的是ODS数据库可以提供数据变化的历史,所以ODS数据库中每张表都会增加一个日期类型,表示数据的时点,将每天数据的变化情况都存下来,这样有利于数据的分析。DW:数据仓库,点在大家都在说的就是这个。所不同的是每个行业的DW都有一个通用的数据模型,结构精简,...转载 2019-07-08 16:35:48 · 2314 阅读 · 0 评论 -
HTTP的长连接和短连接
一、什么是长连接 HTTP1.1规定了默认保持长连接(HTTP persistent connection ,也有翻译为持久连接),数据传输完成了保持TCP连接不断开(不发RST包、不四次握手),等待在同域名下继续用这个通道传输数据;相反的就是短连接。 HTTP首部的Connection: Keep-alive是HTTP1.0浏览器和服务器的实验性扩展,当前的HTTP1.1 R...转载 2019-07-01 17:01:31 · 112 阅读 · 0 评论 -
OpenStack 与 OpenShift
这两者其实没什么可比性,因为OpenStack和OpenShift是两个在概念上完全不同的云计算架构,要理解两者不同,首先需要了解一下两者都是做什么用的。OpenStack是IaaS(Infrastructureas a Service),云计算的基础是虚拟化,IaaS的目标就是解决计算机资源问题,通过它来启动,分配和管理虚拟机资源,例如大名鼎鼎的亚马逊EC2所提供的就是IaaS(EC2用的是z...转载 2019-06-03 17:00:06 · 4237 阅读 · 0 评论 -
FQDN
概述FQDN是完全合格域名/全程域名缩写,Fully Qualified Domain Name,即是域名,访问时将由DNS进行解析,得到IP。FQDN = Hostname + DomainName当我们申请了一个域名时,就可以使用这个域名来得到IP,但若这个域名下挂在很多主机如何?我是不是得申请很多很多域名给每个主机?不需要,域名即创建了一个域,就如命名空间,在这个命名空间下,其他...转载 2019-06-06 10:58:34 · 3076 阅读 · 0 评论 -
IPC和RPC的区别和联系
原文地址:http://www.cnblogs.com/gsk99/archive/2010/12/13/1904541.html进程间通信(IPC,Inter-Process Communication),指至少两个进程或线程间传送数据或信号的一些技术或方法。进程是计算机系统分配资源的最小单位。每个进程都有自己的一部分独立的系统资源,彼此是隔离的。为了能使不同的进程互相访问资源并进行协调工作...转载 2019-06-12 15:32:31 · 397 阅读 · 0 评论 -
ROLAP、MOLAP和HOLAP
在OLAP的世界里,主要有两种不同的类型:多维联机分析处理(MOLAP)和关系型联机分析处理(ROLAP)。混合联机分析处理指的是MOLAP和ROLAP技术的结合。MOLAP概述:这是OLAP分析的传统方式。在MOLAP中,数据存储在一个多维数据集(cube)中,存储并不是在传统的关系型数据库中,而是自定义的格式。优势:卓越的性能:MOLAP cubes为了快速数据检索而构建,具有最...转载 2019-04-05 17:08:39 · 588 阅读 · 0 评论 -
概念 - 普通视图和物化视图的区别
物化视图是一种特殊的物理表,“物化”(Materialized)视图是相对普通视图而言的。普通视图是虚拟表,应用的局限性大,任何对视图的查询,Oracle都实际上转换为视图SQL语句的查询。这样对整体查询性能的提高,并没有实质上的好处。1、物化视图的类型:ON DEMAND、ON COMMIT 二者的区别在于刷新方法的不同ON DEMAND顾名思义,仅在该物化视图“需要”被刷新了,才进...转载 2019-04-05 10:49:44 · 562 阅读 · 0 评论 -
事务隔离级别
ACID1、原子性(Atomicity):事务开始后所有操作,要么全部做完,要么全部不做,不可能停滞在中间环节。事务执行过程中出错,会回滚到事务开始前的状态,所有的操作就像没有发生一样。2、一致性(Consistency):事务开始前和结束后,数据库的完整性约束没有被破坏 。比如A向B转账,不可能A扣了钱,B却没收到。3、隔离性(Isolation):同一时间,只允许一个事务请求同一数...原创 2018-11-23 22:52:16 · 132 阅读 · 0 评论 -
整理总结 -- 什么是框架?
IT语境中的框架,特指为解决一个开放性问题而设计的具有一定约束性的支撑结构。在此结构上可以根据具体问题扩展、安插更多的组成部分,从而更迅速和方便地构建完整的解决问题的方案 1)框架本身一般不完整到可以解决特定问题;2)框架天生就是为扩展而设计的;3)框架里面可以为后续扩展的组件提供很多辅助性、支撑性的方便易用的实用工具(utilities),也就是说框架时常配套了一些帮助解决某类问...原创 2018-11-23 22:54:24 · 309 阅读 · 0 评论 -
【Big Data 每日一题20181117】块储存、对象存储、文件存储的区别和联系
转:https://blog.csdn.net/qq_23348071/article/details/70232735通常来讲,磁盘阵列都是基于Block块的存储,而所有的NAS产品都是文件级存储。1. 块存储:DAS SANa) DAS(Direct Attach Storage): 是直接连接于主机服务器的一种存储方式,每台服务器有独立的存储设备,每台主机服务器的存储设备无法...转载 2018-11-16 00:06:31 · 205 阅读 · 0 评论 -
【Big Data 每日一题20181116】块存储、文件存储、对象存储意义及差异
转:https://www.cnblogs.com/hukey/p/8323853.html关于块存储、文件存储、对象存储方面的知识在知乎上看到了个很好的解答:https://www.zhihu.com/question/21536660通俗易懂,查了些资料做了详细的补充。 块存储 典型设备:磁盘阵列、硬盘 块存储主要是将裸磁盘空间整个映射给主机使用的。 就是...转载 2018-11-16 00:05:25 · 142 阅读 · 0 评论 -
基础知识:什么是feed流?
Feed流Feed是将用户主动订阅的若干消息源组合在一起形成内容聚合器,帮助用户持续地获取最新的订阅源内容。feed流即持续更新并呈现给用户内容的信息流。总结一下:feed是将用户主动订阅的若干消息源组合在一起形成内容聚合器,帮助用户持续地获取最新的订阅源内容。严格按照上述定义来说,我们通常说的搜索结果、排序列表都不能算作feed流。 以下是维基百科中关于“web feed”...转载 2018-06-22 23:28:29 · 5972 阅读 · 0 评论 -
JNI Java Native Interface
JNI是Java Native Interface的缩写,它提供了若干的API实现了Java和其他语言的通信(主要是C&C++)。从Java1.1开始,JNI标准成为java平台的一部分,它允许Java代码和其他语言写的代码进行交互。JNI一开始是为了本地已编译语言,尤其是C和C++而设计的,但是它并不妨碍你使用其他编程语言,只要调用约定受支持就可以了。使用java与本地已编译的代码交互,...转载 2018-10-23 22:42:09 · 104 阅读 · 0 评论 -
学习笔记 - swift 对象存储 和 Hadoop文件系统 区别
对象存储和文件系统存储区别:所谓文件系统的本质是POSIX接口,“对象”这个名词是做对象存储的人为了把自己做的东西和文件系统区分开而用的术语,把存在对象存储里的文件叫做“对象”,所以选择文件系统还是对象存储,跟你把这堆数据称作对象还是文件并没有直接关系,而是要看你是需要POSIX还是RESTful HTTP接口,是需要目录结构还是适用扁平数据管理结构。 对象存储概念:RE...原创 2018-12-12 16:14:39 · 1353 阅读 · 0 评论 -
学习笔记 - Rest full API 总结
REST API 概念 Representational State Transfer一种软件架构风格、设计风格,而不是标准,只是提供了一组设计原则和约束条件。它主要用于客户端和服务器交互类的软件。基于这个风格设计的软件可以更简洁,更有层次,更易于实现缓存等机制。REST 指的是一组架构约束条件和原则。满足这些约束条件和原则的应用程序或设计就是 RESTful。REST中的资...原创 2018-12-21 15:56:34 · 235 阅读 · 0 评论 -
悟 - 软件工程 各种架构理解
Service Mesh就是为了解耦*(数据层 和 控制层),有多抽象出来了一层软件架构里面有句俗语,任何事情是没有再抽象出一层解决不了的,如解决不了,那就再多抽象出一层Service lessServerless(无服务器架构)并不意味着没有任何服务器去运行代码,Serverless是无需管理服务器,只需要关注代码,而提供者将处理其余部分工作...原创 2019-03-29 17:29:14 · 352 阅读 · 0 评论 -
概念 - 分布式,微服务,集群
总结:分布式属于微服务, 虽说微服务是架构设计,分布式属于系统部署,但架构设计和系统部署是分不开的,架构设计和系统部署要结合考虑,相互影响的分布式与集群分布式是指将不同的业务分布在不同的地方。而集群指的是将几台服务器集中在一起,实现同一业务分布式的每一个节点,都完成不同的业务,一个节点垮了,那这个业务就不可访问了。分布式是以缩短单个任务的执行时间来提升效率的,而集群则是通过提高单位...原创 2019-02-20 12:07:11 · 1386 阅读 · 0 评论 -
HTTP - HTTP协议之chunk介绍
当客户端向服务器请求一个静态页面或者一张图片时,服务器可以很清楚的知道内容大小,然后通过Content-Length消息首部字段告诉客户端需要接收多少数据。但是如果是动态页面等时,服务器是不可能预先知道内容大小,这时就可以使用Transfer-Encoding:chunk模式来传输数据了。即如果要一边产生数据,一边发给客户端,服务器就需要使用"Transfer-Encoding: chunked"...转载 2019-02-28 10:42:18 · 1123 阅读 · 0 评论 -
目前最流行的开发模式DevOps究竟是什么鬼?
https://blog.csdn.net/bntX2jSQfEHy7/article/details/79168865转载 2019-01-21 23:18:07 · 229 阅读 · 0 评论 -
学习总结 - 纠删码Erasure Coding (分布式存储系统)
纠删码Erasure coding纠删码技术简称EC,是一种数据保护技术。最早用于通信行业中数据传输中的数据恢复,是一种编码容错技术。他通过在原始数据中加入新的校验数据,使得各个部分的数据产生关联性。在一定范围的数据出错情况下,通过纠删码技术都可以进行恢复。副本策略和纠删码是存储领域常见的两种数据冗余技术。相比于副本策略,纠删码具有更高的磁盘利用率多副本策略即将数据存储多个副本(一...原创 2018-12-25 19:16:00 · 3782 阅读 · 0 评论 -
学习笔记 - 用户画像
什么是用户画像用户画像又称用户角色,作为一种勾画目标用户、联系用户诉求与设计方向的有效工具,用户画像在各领域得到了广泛的应用。我们在实际操作的过程中往往会以最为浅显和贴近生活的话语将用户的属性、行为与期待联结起来。作为实际用户的虚拟代表,用户画像所形成的用户角色并不是脱离产品和市场之外所构建出来的,形成的用户角色需要有代表性能代表产品的主要受众和目标群体。用户画像的八要素 perso...转载 2018-12-19 12:45:32 · 762 阅读 · 0 评论 -
学习笔记 - 用户故事(User Story)
用户故事(User story)是指在软件开发和项目管理中用日常语言或商务用语写成的句子。User Story 是用户需求的简化表达,用一两句话表达完整的想法。User Sotry 只要求写下最有价值不能被忘记的东西,而这些内容足够帮助估算工作量以及与客户沟通。用户故事描述了对用户、系统或软件购买者有价值的功能。一个好的用户故事包括三个要素: 1.角色:谁要使用这个功能。...转载 2018-12-19 12:20:01 · 2972 阅读 · 0 评论 -
Mark问题 - URI 和 URL的区别
URL 统一资源定位符 Uniform Resource locator URI 统一资源标识符 Uniform Resource identifier URN 统一资源名称 Uniform Resource NameURI 是统一资源标识符,而 URL 是统一资源定位符。因此,笼统地说,每个 URL 都是 URI,但不一定每个 URI 都是 URL。...原创 2018-12-21 17:22:14 · 97 阅读 · 0 评论 -
概念 : 分布式 集群
分布式两个程序分别运行在两个台主机的进程上,它们相互协作最终完成同一个服务(或者功能),那么理论上这两个程序所组成的系统,也可以称作是“分布式系统”集群这个两个程序可以是不同的程序,也可以是相同的程序。如果是相同的程序,我们又可以称之为“集群”。所谓集群,就是将相同的程序,通过不断横向扩展,以提高服务能力的方式。原创 2017-11-07 23:40:15 · 172 阅读 · 0 评论