hadoop学习笔记
郭龙_Jack
这个作者很懒,什么都没留下…
展开
-
myeclipse配置hadoop开发环境,及遇到问题解决
Exception in thread "main" org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="":root:supe转载 2014-07-23 01:24:04 · 652 阅读 · 0 评论 -
Hadoop name node 目录更改, NameNode 进程启动失败
hadoop.tmp.dir/usr/local/hadoop/tmpif you change this dir, you should format it again, else you will fail to start name node fs.default.namehdfs://hadoop:9000dfs.permissionfalse原创 2014-07-22 23:08:40 · 7131 阅读 · 1 评论 -
Java 读取 Hadoop 文件系统 文件
代码:package hadoop.jack.javacallhadoop;import java.io.InputStream;import java.net.URL;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FsUrlStreamHandlerFactory原创 2014-07-23 00:26:01 · 852 阅读 · 0 评论 -
Hadoop分布式文件系统:架构和设计要点
http://www.csdn.net/article/1970-01-01/282725一、前提和设计目标1、硬件错误是常态,而非异常情况,HDFS可能是有成百上千的server组成,任何一个组件都有可能一直失效,因此错误检测和快速、自动的恢复是HDFS的核心架构目标。2、跑在HDFS上的应用与一般的应用不同,它们主要是以流式读为主,做批量处理;比之关注数据访问的转载 2015-12-28 22:13:27 · 369 阅读 · 0 评论 -
配置高可用的Hadoop平台
http://www.cnblogs.com/smartloli/p/4298430.html1.概述 在Hadoop2.x之后的版本,提出了解决单点问题的方案--HA(High Available 高可用)。这篇博客阐述如何搭建高可用的HDFS和YARN,执行步骤如下:创建hadoop用户安装JDK配置hosts安装SSH关闭防火墙修改时区ZK(安装,启动,验证)HDF转载 2017-03-01 23:30:25 · 496 阅读 · 0 评论