Hadoop
文章平均质量分 67
caoshichaocaoshichao
这个作者很懒,什么都没留下…
展开
-
Hadoop的namenode无法启动问题(50070无法访问,50030可以访问)
2013-08-31 10:29:31,241 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.java.io.FileNotFoundException: /opt/data/hadoop/hdfs/name/current/VERSION (Permiss原创 2013-08-31 10:45:40 · 15186 阅读 · 0 评论 -
Hadoop Datanode节点无法启动(All directories in dfs.data.dir are invalid)
查看日志:[root@slave01 mapred]# tail -100 /opt/modules/hadoop/hadoop-1.0.3/libexec/../logs/hadoop-hadoop-datanode-slave01.log 2013-11-12 19:19:22,650 INFO org.apache.hadoop.hdfs.server.datanode.DataNod原创 2013-11-13 13:04:25 · 8160 阅读 · 0 评论 -
Hadoop实验学习笔记(参考)
实验环境:Ubuntu 12.04,Hadoop-1.1.2, VirtualBox 虚拟机 3-4 台192.168.1.7 hadoop-master192.168.1.8 hadoop-slave1192.168.1.9 hadoop-slave2为分离NameNode 和 SecondaryNameNode ,新建以下SecondaryNameNode节点192.168转载 2013-11-11 23:47:25 · 1236 阅读 · 0 评论 -
myeclipse配置hadoop开发环境,及遇到问题解决
eclipse版本:eclipse-jee-indigo-SR2-win32 1、安装Hadoop开发插件 hadoop安装包contrib/目录下有个插件hadoop-1.2.1-eclipse-plugin.jar,拷贝到eclipse根目录下/dropins目录下。2、 启动eclipse,打开Perspective:【Window】->【Open Persp转载 2013-11-12 00:06:23 · 12539 阅读 · 4 评论 -
Hadoop与之对应的Hbase版本问题
原文连接地址:http://hbase.apache.org/book.html The below table shows some information about what versions of Hadoop are supported by various HBase versions. Based on the version of HBase, you should翻译 2013-10-26 19:18:08 · 10722 阅读 · 2 评论 -
Hadoop format的时候The directory is already locked
Cannot lock storage /opt/data/hadoop/hdfs/name. The directory is already locked. 2012-05-20 22:13:05| 分类:Hadoop | 标签:|字号大中小 订阅[root@nn01 bin]# ./hadoop namenode -format13/10/2原创 2013-10-20 02:13:55 · 7422 阅读 · 0 评论 -
在hadoop启动的时候,会出现各种各样的问题
在hadoop启动的时候,会出现各种各样的问题,NameNode,JobTracker等各个模块都会有莫名奇妙的问题出现,在这里对hdfs的问题进行一下简单的记录1:HDFS initialized but not 'healthy' yet, waiting...这个日志会在启动hadoop的时候在JobTracker的log日志文件中出现,在这里就是hdfs出现问题,导致DataNod转载 2013-10-20 01:10:42 · 15014 阅读 · 2 评论 -
org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs
1、hadoop-root-datanode-master.log 中有如下错误: ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in导致datanode启动不了。 原因:每次namenode format会重新创建一个n原创 2013-10-20 02:18:47 · 3163 阅读 · 0 评论 -
Hadoop web监控界面加上安全机制设置
1. 配置core-site.xml,并scp到其他节点 2. 手动创建 ${user.home}/hadoop-http-auth-signature-secret 文件,并sep到其他节点 3、重新启动后发现如下错误,确认是该Hadoop版本不支持: 4、升级Hadoop版本,新版本为Hadoop1.2.1,升级过程如下; 1:运行dfs原创 2013-10-25 00:18:45 · 8787 阅读 · 0 评论 -
Hadoop 子项目HIVE安装版本选择
DownloadReleases may be downloaded from Apache mirrors.Download a release now!On the mirror, all recent releases are available, but are not guaranteed to be stable. For stable releases, look原创 2013-09-04 12:48:29 · 2629 阅读 · 0 评论 -
气象数据分析代码
package hadoop.test.csc;import java.io.IOException;import java.text.DateFormat;import java.text.SimpleDateFormat;import java.util.Date;import org.apache.hadoop.conf.Configuration;import原创 2014-03-02 11:17:48 · 3169 阅读 · 1 评论