排序:
默认
按更新时间
按访问量

Spark Yarn-cluster 与 Yarn-client

摘要   在Spark中,有Yarn-Client和Yarn-Cluster两种模式可以运行在Yarn上,通常Yarn-cluster适用于生产环境,而Yarn-Cluster更适用于交互,调试模式,以下是它们的区别   Spark插拨式资源管理   Spark支持Yarn,Me...

2017-01-04 16:49:55

阅读数:401

评论数:0

Hadoop YARN中内存和CPU两种资源的调度和隔离

Hadoop  YARN同时支持内存和CPU两种资源的调度(默认只支持内存,如果想进一步调度CPU,需要自己进行一些配置),本文将介绍YARN是如何对这些资源进行调度和隔离的。 在YARN中,资源管理由ResourceManager和NodeManager共同完成,其中,ResourceMa...

2017-01-04 16:22:20

阅读数:313

评论数:0

HDFS 原理、架构与特性介绍

本文主要讲述 HDFS原理-架构、副本机制、HDFS负载均衡、机架感知、健壮性、文件删除恢复机制 1:当前HDFS架构详尽分析 HDFS架构 1、NameNode 2、DataNode 3、Sencondary NameNode 数据存储细节 ...

2016-12-30 09:35:44

阅读数:347

评论数:0

【Hadoop】HDFS的运行原理

简介 HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。 HDFS有很多特点:     ① 保存多个副...

2016-12-30 09:34:43

阅读数:246

评论数:0

Flink on Yarn部署

环境信息: Hadoop版本:2.6.0 Flink版本:1.1.2   快速部署Flink on Yarn环境: 比如启动一个有4个TaskManager(每个节点都有4GB堆内存)的Yarn会话: 1.      下载Flink的软件包,如flink-1.1.2-bin-hadoo...

2016-12-21 10:47:00

阅读数:833

评论数:0

storm on yarn 部署

1. 环境介绍 1.1 节点与服务映射关系 ip host 服务 192.168.40.132 master Namenode、NodeManager、DataNode、zookeeper 192.168.40.1...

2016-12-08 16:10:10

阅读数:330

评论数:0

hbase 0.98.9客户端的两个参数调优

公司的项目有用到hbase数据库,而我正好负责hbase客户端的接口代码编写工作;实际就是为hbase中的各个表,提供增,删,改,查的功能。  前段时间,同事对接口进行测试时,跟我反馈:在使用visualVM在查看线程运行状态时,发现hbase客户端的线程很多,具体干什么不清楚,但其中很多线程处...

2016-12-05 15:32:50

阅读数:318

评论数:0

apache kafka系列之kafka.common.ConsumerRebalanceFailedException异常解决办法

kafka.common.ConsumerRebalanceFailedException :log-push-record-consumer-group_mobile-pushremind02.lf.xxx.com-1399456594831-99f15e63 can't rebalance a...

2016-12-05 14:57:30

阅读数:243

评论数:0

Storm短暂的Worker脑裂之旅

Storm中supervisor控制着worker的生命周期,负责worker的启停。 前端时间开发类似Storm中这样的一套系统时(worker和storm差别很大)脑裂的问题,supervisor负责启动一个worker,而最后上机器ps看到却有两个相同的worker,这两个相同的worke...

2016-12-02 15:56:14

阅读数:398

评论数:0

yarn架构 及 client提交任务过程讲解

先看个yarn的整体架构 Client向RM提交任务的过程大致分为七步,先上图在解释: 1. Client向RM发出请求 2. RM返回一个ApplicationID作为回应 3. Client向RM回应Application Submiss...

2016-12-01 16:14:56

阅读数:2270

评论数:0

Hadoop 2.4.0和YARN的安装过程

摘要: Hadoop 2.2,2.3,2.4版本的安装都差不多。为了运行一个Hadoop程序,花了大半天部署环境,在这里特此记录安装过程,让以后少走弯路。 Hadoop 2.x新特性     将Mapreduce框架升级到Apache YARN,YARN将Map reduce工作区分为...

2016-12-01 15:59:44

阅读数:257

评论数:0

yarn描述

问题导读: 1、什么是yarn? 2、Yarn 和MapReduce相比,它有什么特殊作用 ? 背景 Yarn是一个分布式的资源管理系统,用以提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原Map...

2016-12-01 15:56:47

阅读数:185

评论数:0

Spark容错机制

引入 一般来说,分布式数据集的容错性有两种方式:数据检查点和记录数据的更新。 面向大规模数据分析,数据检查点操作成本很高,需要通过数据中心的网络连接在机器之间复制庞大的数据集,而网络带宽往往比内存带宽低得多,同时还需要消耗更多的存储资源。 因此,Spark选择记录更新的方式。但是,如果更新粒...

2016-10-18 11:47:29

阅读数:228

评论数:0

利用多写Redis实现分布式锁原理与实现分析

在我写这篇文章的时候,其实我还是挺纠结的,因为我这个方案本身也是雕虫小技拿出来显眼肯定会被贻笑大方,但是我最终还是拿出来与大家分享,我本着学习的态度和精神,希望大家能够给与我指导和改进方案。 一、关于分布式锁 关于分布式锁,可能绝大部分人都会或多或少涉及到。  我举二个例子:...

2016-10-08 08:57:14

阅读数:1131

评论数:0

屏蔽storm ui的kill功能

今天有个storm的topology被人kill掉了,但是找不到是谁做的,storm的ui有kill topology的功能,但是没有权限验证,这样就导致知道ui地址的任何人都可以kill掉topology,比较危险,考虑把这个action disable掉。 有两种方法: 1.前端增...

2016-09-08 15:58:06

阅读数:340

评论数:0

protobuf-2.5.0.tar.gz的下载与安装

1.下载     hadoop使用protocol buffer进行通信,需要下载和安装 protobuf-2.5.0.tar.gz。由于 现在 protobuf-2.5.0.tar.gz已经无法在官网 https://code.google.com/p/protobuf/downloads...

2016-08-12 14:18:48

阅读数:3548

评论数:0

Protocol Buffer技术详解(语言规范)

该系列Blog的内容主体主要源自于Protocol Buffer的官方文档,而代码示例则抽取于当前正在开发的一个公司内部项目的Demo。这样做的目的主要在于不仅可以保持Google文档的良好风格和系统性,同时再结合一些比较实用和通用的用例,这样就更加便于公司内部的培训,以及和广大网友的技术交流。需...

2016-08-12 11:14:17

阅读数:195

评论数:0

Git 常用命令大全

Git 是一个很强大的分布式版本控制系统。它不但适用于管理大型开源软件的源代码,管理私人的文档和源代码也有很多优势。 Git常用操作命令: 1) 远程仓库相关命令 检出仓库:$ git clone git://github.com/jquery/jquery.git ...

2016-08-04 16:08:25

阅读数:171

评论数:0

Apache Flink流作业提交流程分析

提交流程调用的关键方法链 用户编写的程序逻辑需要提交给Flink才能得到执行。本文来探讨一下客户程序如何提交给Flink。鉴于用户将自己利用Flink的API编写的逻辑打成相应的应用程序包(比如Jar)然后提交到一个目标Flink集群上去运行是比较主流的使用场景,因此我们的分析也基于这一场...

2016-07-29 16:40:48

阅读数:440

评论数:0

Flink 原理与实现:如何生成 StreamGraph

继上文Flink 原理与实现:架构和拓扑概览中介绍了Flink的四层执行图模型,本文将主要介绍 Flink 是如何根据用户用Stream API编写的程序,构造出一个代表拓扑结构的StreamGraph的。 注:本文比较偏源码分析,所有代码都是基于 flink-1.0.x 版本,建议在阅...

2016-07-29 16:17:55

阅读数:585

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭