Hadoop
文章平均质量分 84
qinzhaokun
这个作者很懒,什么都没留下…
展开
-
Hadoop hdfs 介绍 二
引言Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件转载 2015-08-18 11:39:19 · 466 阅读 · 0 评论 -
Kafka原理及应用
Kafka剖析(一):Kafka背景及架构介绍Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展,“Kafka剖析”专栏将会从架构设计、实现、应用场景、性能等转载 2016-01-09 09:42:20 · 4462 阅读 · 0 评论 -
spark RDD 源码阅读笔记
abstract class RDD[T: ClassTag]( @transient private var _sc: SparkContext, @transient private var deps: Seq[Dependency[_]] ) extends Serializable with Logging从上面RDD的类定义来看,创建一个RDD需要的是 spark原创 2016-02-29 16:30:53 · 1047 阅读 · 0 评论 -
spark安装与使用(入门)
安装环境: Ubuntu sever版 ,java ,scala,一:在linux下安装java环境(自行安装jdk)二:安装Scala2.9.3$ tar -zxf scala-2.9.3.tgz$ sudo mv scala-2.9.3 /usr/lib$ sudo vim /etc/profile# add the following lines at the end原创 2015-10-13 17:21:30 · 15206 阅读 · 0 评论 -
Linux安装Hadoop--集群配置
如何在单机服务器安装hadoop请参照:http://blog.csdn.net/qinzhaokun/article/details/47804923原文转自: http://www.powerxing.com/install-hadoop-cluster/前言当开始着手实践Hadoop时,安装Hadoop往往会成为新手的一道门槛。尽管安装其实很简单,书上有写到,官方网站也有转载 2015-10-08 15:46:00 · 534 阅读 · 0 评论 -
Linux下安装Hadoop
当开始着手实践Hadoop时,安装Hadoop往往会成为新手的一道门槛。尽管安装其实很简单,书上有写到,官方网站也有Hadoop安装配置教程,但由于对Linux环境不熟悉,书上跟官网上简略的安装步骤新手往往Hold不住。加上网上不少教程也甚是坑,导致新手折腾老几天愣是没装好,很是打击学习热情。本教程由厦门大学数据库实验室出品,转载请注明。本教程适合于原生Hadoop 2,包括Hadoop转载 2015-08-20 11:07:40 · 9602 阅读 · 0 评论 -
Apache Ambari
Ambari enables system administrators to provision, manage and monitor a Hadoop cluster, and also to integrate Hadoop with the existing enterprise infrastructure.The Apache Ambari project is ai转载 2015-08-19 14:36:28 · 535 阅读 · 0 评论 -
Hadoop YARN 框架 Resource Management 详解
一、概述 本文将介绍ResourceManager在Yarn中的功能作用,从更细的粒度分析RM内部组成的各个组件功能和他们相互的交互方式。二、ResourceManager的交互协议与基本职能1、ResourceManager交互协议 在整个Yarn框架中主要涉及到7个协议,分别是ApplicationClientProtocol、MRClientPro转载 2015-08-18 14:47:26 · 1894 阅读 · 0 评论 -
Hadoop YARN 框架 一
一、概述 将公司集群升级到Yarn已经有一段时间,自己也对Yarn也研究了一段时间,现在开始记录一下自己在研究Yarn过程中的一些笔记。这篇blog主要主要从大体上说说Yarn的基本架构以及其各个组件的功能。另外,主要将Yarn和MRv1做详细对比,包括Yarn相对于MRv1的各种改进。最后,大概说说Yarn的工作流情况。二、Yarn和MRv1对比(1)扩展性转载 2015-08-18 14:31:27 · 604 阅读 · 0 评论 -
Hadoop hdfs 介绍 一
Hadoop和YARN的关系HDFS and YARN form the data management layer of Apache Hadoop. YARN is the architectural center of Hadoop, the resource management framework that enables the enterprise to process转载 2015-08-18 11:35:51 · 408 阅读 · 0 评论 -
Storm原理
1.1 Storm简介Twitter Storm 是使用 Clojure(发音同 closure)语言实现的。 Clojure 是 Lisp 语言的一种现代方言。类似于 Lisp,Clojure 支持一种功能性编程风格,但 Clojure 还引入了一些特性来简化多线程编程(一种对创建 Storm 很有用的特性)。Twitter列举了Storm的三大类应用:1.信息流处理{Strea转载 2015-12-09 14:44:07 · 2132 阅读 · 0 评论