大数据
文章平均质量分 65
yuson_yan
2004年,C开始我的编程之旅;
2005年,C 是我做ACM的工具;
2006年,C#,Java开始做项目;
2007年至今,做了些数据挖掘方面的小研究,尝试发论文的乐趣;致力于Open Source Framework(Spring,Struts,Hibernate,iBATIS...),XML,J2EE(JSP,Servlet,EJB)
~~~~~~~~~~~~~~~
~~~~~我还在继续~~~~~
~~~~~~~~~~~~~~~
展开
-
Flume原理
1 .背景 flume是由cloudera软件公司产出的可分布式日志收集系统,后与2009年被捐赠了apache软件基金会,为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出,特别是flume-ng;同时flume内部的各种组件不断丰富,用户在开发的过程中使用的便利性得到很大的改善,现已成为apache top项目之一. 2 .概述 1. 什么是flum...原创 2018-03-10 23:58:02 · 245 阅读 · 0 评论 -
大数据原理-Kafka原理
一、简介Apache Kafka是分布式发布-订阅消息系统,在 kafka官网上对 kafka 的定义:一个分布式发布-订阅消息传递系统。 它最初由LinkedIn公司开发,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。几种分布式系统消息系统的对比:此图来源二、Kafka基本架构它的架构...原创 2018-03-11 00:35:49 · 1279 阅读 · 0 评论 -
大数据原理-Kafka与Flume的区别
Kafka 与 Flume 很多功能确实是重复的。以下是评估两个系统的一些建议:Kafka 是一个通用型系统。你可以有许多的生产者和消费者分享多个主题。相反地,Flume 被设计成特定用途的工作,特定地向 HDFS 和 HBase 发送出去。Flume 为了更好地为 HDFS 服务而做了特定的优化,并且与 Hadoop 的安全体系整合在了一起。基于这样的结论,Hadoop 开发商 Cloudera...原创 2018-03-11 00:47:19 · 758 阅读 · 0 评论 -
大数据原理-YARN框架
YARN模块介绍概述YARN是一个资源管理、任务调度的框架,主要包含三大模块:ResourceManager(RM)、NodeManager(NM)、ApplicationMaster(AM)。其中,ResourceManager负责所有资源的监控、分配和管理;ApplicationMaster负责每一个具体应用程序的调度和协调;NodeManager负责每一个节点的维护。对于所有的applica...原创 2018-03-11 01:27:38 · 1356 阅读 · 0 评论