云计算与大数据
文章平均质量分 61
王小二(海阔天空)
这个作者很懒,什么都没留下…
展开
-
OpenStack:常用端口的梳理
一、OpenStack组件使用的端口二、OpenStack组件依赖服务使用的端口原创 2020-08-06 16:02:04 · 670 阅读 · 0 评论 -
大数据:数据采集平台之Fluentd
大数据:数据采集平台之Fluentd官网: http://docs.fluentd.org/articles/quickstartFluentd是一个开源的数据收集框架。Fluentd使用C/Ruby开发,使用JSON文件来统一日志数据。它的可插拔架构,支持各种不同种类和格式的数据源和数据输出。最后它也同时提供了高可靠和很好的扩展性。Treasure Data, Inc 对该产品提供支持和维...原创 2019-02-28 15:31:01 · 2188 阅读 · 0 评论 -
大数据:数据采集平台之Splunk Forwarder
大数据:数据采集平台之Splunk Forwarder官网: http://www.splunk.com/Splunk是一个不开源的,商业化的大数据平台产品。Splunk提供完整的数据采集,数据存储,数据分析和处理,以及数据展现的能力。Splunk是一个分布式的机器数据平台,主要有三个角色:Search Head负责数据的搜索和处理,提供搜索时的信息抽取。Indexer负责数据的存储...原创 2019-02-28 16:12:14 · 3118 阅读 · 0 评论 -
大数据:数据采集平台之Scribe
大数据:数据采集平台之ScribeGitHub地址: https://github.com/facebookarchive/scribeScribe是Facebook开发的数据(日志)收集系统。已经多年不维护。部署架构如下:参考:https://mp.weixin.qq.com/s/emQ_94T0_Hw3ywQc0-4Dtg...原创 2019-02-28 16:06:56 · 2157 阅读 · 0 评论 -
大数据:数据采集平台之Apache Chukwa
大数据:数据采集平台之Apache Chukwa官网:https://chukwa.apache.org/Apache Chukwa是Apache旗下除Apache Flume外,又一个开源的数据收集平台。Chukwa基于Hadoop的HDFS和Map Reduce来构建(显而易见,它用Java来实现),提供扩展性和可靠性。Chukwa同时提供对数据的展示,分析和监视。该项目已经不活跃了,它...原创 2019-02-28 16:02:44 · 4468 阅读 · 0 评论 -
大数据:数据采集平台之Logstash
大数据:数据采集平台之Logstash官网: https://github.com/elastic/logstashLogstash 是著名的开源数据栈ELK (ElasticSearch, Logstash, Kibana)中的那个L。Logstash用JRuby开发,所以运行时依赖JVM。Logstash的部署架构如下图,当然这只是一种部署的选项。一个典型的Logstash的配置...原创 2019-02-28 15:15:59 · 1138 阅读 · 0 评论 -
大数据:数据采集平台之Apache Flume
大数据:数据采集平台之Apache Flume官网: https://flume.apache.org/Flume 是Apache旗下的一款开源、高可靠、高扩展、容易管理、支持客户扩展的数据采集系统。 Flume使用JRuby来构建,所以依赖Java运行环境。Flume最初是由Cloudera的工程师设计用于合并日志数据的系统,后来逐渐发展用于处理流数据事件。Flume设计成一个分布式...原创 2019-02-28 15:01:23 · 2290 阅读 · 0 评论 -
大数据:简述对数据采集平台的认识
大数据:简述对数据采集平台的认识一、数据采集平台的认识任何完整的大数据平台,一般包括以下的几个过程:      数据采集–>数据存储–>数据处理–&am原创 2019-02-28 14:42:04 · 2879 阅读 · 0 评论 -
云计算:简述云计算的定义与模式
云计算:简述云计算的定义与模式一、云计算的定义云计算(Cloud Computing)是基于互联网的相关服务的增加、使用和交互模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网,后来也用来表示互联网和底层基础设施的抽象。因此,云计算甚至可以让你体验每秒10万亿次的运算能力,拥有这么强大的计算能力可以模拟核爆炸、预测气候变...原创 2019-01-24 10:05:21 · 13580 阅读 · 0 评论 -
云计算:IAAS、PAAS和SAAS之间的区别
1.IAAS:用户通过Internet 可以从完善的计算机基础设施获得服务。这类服务可以称为基础设施即服务。2.PAAS:提供了用户可以访问的完整或部分的应用程序开发,这类服务可以称为平台即服务。3.SAAS:提供了用户可以访问的完整的可直接使用的应用程序,这类服务可以称为软件即服务。如果把他们看作层次结构,那么第一层自然叫做IAAS,第二层就是PAAS,第三层也就是SAAS。下面简单...原创 2018-02-03 14:56:33 · 10016 阅读 · 2 评论