Hadoop
文章平均质量分 63
Lnho
发表是最好的记忆
展开
-
windows 64位上eclipse访问hadoop
1. hadoop环境变量vi etc/profile export HADOOP_PREFIX=/home/webadmin/hadoop-2.5.2 export HADOOP_PREFIX PATH CLASSPATH2. 拷贝到其他主机scp -r ~/hadoop-2.5.2 webadmin@116.211.91.59:~/hadoop-2.5.23. windows 64位上ecl原创 2015-05-15 22:09:29 · 1053 阅读 · 0 评论 -
CentOS 编译Hadoop 2.6 32位
本文采用CenOS 6 32位,JDK1.7进行编译 (1)安装编译库yum install cmake lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool ncurses-devel openssl-devel libXtst(2)安装mavenwget http://repos.fedorapeople.org/repos/dc原创 2016-04-08 12:50:33 · 2238 阅读 · 1 评论 -
CentOS 6 安装Hadoop 2.6 (四)运行简单例子
CentOS 6 安装Hadoop 2.6 (一)准备工作 CentOS 6 安装Hadoop 2.6 (二)配置Hadoop CentOS 6 安装Hadoop 2.6 (三)问题收集 CentOS 6 安装Hadoop 2.6 (四)运行简单例子1.新建输入文件mkdir ~/inputcd ~/input vi file1写入Hello world haha good原创 2016-04-11 15:23:13 · 5064 阅读 · 0 评论 -
CentOS 6 安装Hadoop 2.6 (三)问题收集
排查错误的重要途径就是检查日志文件,如果按照上文的配置方法,配置文件在/opt/hadoop-2.6.4/logs/底下,主要需要关注的是后缀是log的几个文件。先检查你的主节点,再检查从节点。1. 日志中出现XXX连接不上,一直重试这种情况在从节点的日志中很常见。(1) 确认hosts文件是否配置正确以下是笔者的master节点的hosts文件127.0.0.1 localhost local原创 2016-04-11 12:38:03 · 2647 阅读 · 0 评论 -
CentOS 6 安装Hadoop 2.6 (二)配置Hadoop
CentOS 6 安装Hadoop 2.6 (一)准备工作 CentOS 6 安装Hadoop 2.6 (二)配置Hadoop下文服务器描述:一个主节点master,2个从节点slave1和slave2。1. 解压文件tar -xzvf hadoop-2.6.4.tar.gzmv hadoop-2.6.4 /opt/2. 配置环境变量vi etc/profile到末尾增加以下内容HADOOP_H原创 2016-04-11 12:01:15 · 3299 阅读 · 1 评论 -
CentOS 6 安装Hadoop 2.6 (一)准备工作
!!!重要:hadoop 2.5以后的版本都是64位编译的,如果你非要在32位的系统上使用,你需要重新编译源码! 以下采用CentOS 6 i386,JDK8,hadoop-2.6.4进行安装。1. 修改hostsCentOS修改主机名(hostname) (注意把自己的机子放在第一行,hbase那边会读这个数据)2. SSH免密码登录Linux配置SSH无密码登录3. 安装JDKCentOS原创 2015-05-15 22:01:04 · 2001 阅读 · 0 评论 -
HDFS High Availability体系介绍(Using the Quorum Journal Manager)
一、背景HDFS集群中只有一个Namenode,这就会引入单点问题;即如果Namenode故障,那么这个集群将不可用,直到Namenode重启或者其他Namenode接入。 有两种方式会影响集群的整体可用性: 1. 意外的突发事件,比如物理机器crash,集群将不可用,直到管理员重启Namenode。 2. 系统维护,比如软件升级等,需要关闭Namenode,也会导致集群暂时性的失效。转载 2016-05-16 11:19:20 · 12891 阅读 · 4 评论 -
YARN体系学习笔记
一、基本组成结构1. ResourceManager负责对各个NodeManager 上的资源进行统一管理和调度。包含两个组件: * Scheduler:调度器根据容量、队列等限制条件(如每个队列分配一定的资源,最多执行一定数量的作业等),将系统中的资源分配给各个正在运行的应用程序 * Applications Manager:应用程序管理器负责管理整个系统中所有应用程序,包括应用程序提交、与调原创 2016-05-20 16:12:15 · 18796 阅读 · 6 评论