hadoop
Kooola的博客
爱好广泛的开发者
展开
-
zookeeper集群配置
环境操作系统:Centos 6.4jdk: 1.7.79zookeeper:3.4.6部署1、解压2、修改conf/zoo.cfgdataDir=/home/app/zookeeper-3.4.6/dataserver.1=mini01:3333:4444server.2=mini02:3333:4444server.3原创 2018-02-01 10:12:07 · 259 阅读 · 0 评论 -
【译】Apache Storm系列 之一(概念)
本文列出 Storm 的几个主要概念,并会给出相关资源的链接以便你获取更多信息,概念主要如下:TopologiesStreamsSpoutsBoltsStream groupingsReliabilityTasksWorkers拓扑(Topologies)实时应用程序的逻辑被打包到 Storm 拓扑中。一个 Storm 拓扑类似于一个 MapReduce 任务。关键的区别...原创 2018-10-17 23:03:12 · 198 阅读 · 0 评论 -
Apache Hadoop文档翻译之四(Edits Viewer指南)
概述离线Edits查看器是一个解析Edits日志文件的工具。目前的程序用于不同格式之间的转换,包括xml(比二进制文件更易读且容易修改)。这个工具可以解析formats -18及以后的版本。这个工具只操作文件,并不需要Hadoop集群处于运行状态。输入格式支持:1、二进制2、xml格式输出格式:1、二进制2、xml格式3、stats:打印统计数据用法XML Processor...原创 2018-09-27 17:35:36 · 228 阅读 · 0 评论 -
Apache Hadoop文档翻译之三(用户指南)
目的该文档是用户使用Hadpoop分布式文件系统(HDFS)的起点,不管是作为hadoop集群的一部分来使用还是独立的通用分布式文件系统。虽然在很多场景下HDFS被设计成“正常工作”即可,但是掌握更多的HDFS工作机制将有利于更好的配置以及诊断。概述HDFS是使用Hadoop程序来实现的分布式存储系统。一个HDFS集群主要包含管理文件系统命名空间的Namenode以及存储实际数据的Datan...原创 2018-09-27 17:34:52 · 303 阅读 · 0 评论 -
Cloudera Manager 之四(管理控制台)
Cloudera 管理控制台是一个网站页面,你可以用它来配置、管理以及监控 CDH。如果服务已经配置,控制台头部的导航栏将显示如下:导航栏显示以下信息:集群(Clusters > cluster_name)服务(Services) - 展示个别服务,以及 Cloudera Management 服务,在这个页面你可以:查看服务实例的状态以及其他细节,也可以查看与服务相关的...原创 2018-10-11 14:08:22 · 2436 阅读 · 0 评论 -
Apache Hadoop文档翻译之一(HDFS架构)
Apache Hadoop项目为高可用、可扩展、分布式计算开发开源软件。Apache Hadoop软件库是一个平台,它使用简单的编程模型让跨机器上大数据量的分布式计算变得简单。它旨在从单个服务器扩展到数千台计算机,每台计算机都提供本地计算和存储。库本身被设计用来在软件层面检测和处理故障,而不是依赖硬件来提供高可用性,因此,在计算机集群之上提供高可用性服务,每个计算机都可能容易出现故障。介...原创 2018-09-20 21:46:03 · 428 阅读 · 0 评论 -
Apache Hadoop文档翻译之二(HDFS命令指南)
概要所有的HDFS命令使用bin/hdfs脚本来调用。空参数运行该脚本将展示所有命令的介绍。使用方法: hdfs [SHELL_OPTIONS] COMMAND [GENERIC_OPTIONS] [COMMAND_OPTIONS]Hadoop有一个选项解析框架,它采用解析通用选项以及运行类。COMMAND_OPTIONSDescription–config --log...原创 2018-09-26 11:43:28 · 735 阅读 · 0 评论 -
Cloudera Manager 之三(安装)
操作系统: CentOs6.4 虚拟机(4核 3G)主机: cdh01(server & agent) + cdh02( agent )CDH版本:cdh5.7.1jdk8准备工作关闭防火墙在两台主机上都运行一下命令service iptables stop设置主机名vim /etc/sysconfig/network将HOSTNAME 分别改成cdh01和c...原创 2018-10-01 14:27:42 · 430 阅读 · 0 评论 -
Cloudera Manager 之二 (架构)
架构(Architecture)如下图所示,Cloudera Manager 的核心是 Cloudera Manager Server(一下简称Server)。Server 托管管理控制台 web 服务和应用程序逻辑,并负责软件的安装、配置、服务的启动与关闭以及管理集群。Server 和其他一些组件共同工作:Agent - 安装在每台主机上。Agent 负责进程的启动和停止,解压配置,触...原创 2018-09-30 22:47:36 · 3353 阅读 · 0 评论 -
Apache Spark文档翻译之一 (快速入门)
英文版原文本教程为使用spark的快速入门介绍。首先我们会通过Spark的交互式shell(Python或者Scala)来介绍API,然后展示如何使用java、scala以及python来编写spark程序。跟随这个指导,首先从Spark官网下载spark软件包。因为我们未必正在使用HDFS,你可以下载针对任何版本hadoop的spark软件包。注意,在Spark 2.0之前,spark主...原创 2018-09-18 15:29:50 · 690 阅读 · 0 评论 -
Hbase安装
环境操作系统:Centos 6.4jdk: 1.7.79hadoop: 2.6.4hbase: 0.99.2三台主机:mini01(namenode+hbase master) +mini02(datanode + hbase regionserver) +mini03(datanode + hbase regionserver)部署一、解压hadoop-2.6.4.tar.gztar -zxvf...原创 2018-02-25 15:47:47 · 185 阅读 · 0 评论 -
hadoop集群环境搭建(1)--单NameNode
环境操作系统:Centos 6.4jdk: 1.7.79hadoop: 2.6.4三台主机:mini01(namenode) +mini02(datanode) +mini03(datanode)部署一、解压hadoop-2.6.4.tar.gztar -zxvf hadoop-2.6.4.tar.gz 二、配置文件修改修改5个文件:hadoop-env.sh、core-site.xml、hdfs...原创 2018-02-02 10:50:24 · 378 阅读 · 0 评论 -
hadoop集群环境搭建(2)--双NameNode
环境操作系统:Centos 6.4jdk: 1.7.79hadoop: 2.6.4四台主机:mini01(namenode) +mini02(datanode) +mini03(datanode) +mini04(namenade)部署一、解压hadoop-2.6.4.tar.gztar -zxvf hadoop-2.6.4.tar.gz 二、配置文件修改修改5个文件:hadoop-env.sh、...原创 2018-02-09 17:22:28 · 519 阅读 · 1 评论 -
Cloudera Manager 之一 (概述)
Cloudera Manager 是一个端到端用于管理CDH集群的程序。Cloudera Manager提供了CDH群集很多细节的可视化和控制,因此它为企业化部署提供了一个标准。它使得企业能够高效、合理地管理集群。使用Cloudera Manager,用户可以轻松部署和集中操作完整的CDH堆栈和其他托管服务。这个程序可以自动地安装相关服务,将部署时间大大缩短。它为您提供运行主机和服务的集群范围的...原创 2018-09-29 16:08:32 · 3520 阅读 · 0 评论