hadoop 2.x
文章平均质量分 50
一世为仁
要是有来生,做一棵树可好?
展开
-
hadoop datanode启动不起来解决办法
当多次对namenode进行格式化不成功,并且启动不了datanode。logs里记录如下: 当我们执行文件系统格式化时,会在namenode数据文件夹(即配置文件中dfs.name.dir在本地系统的路径)中保存一个current/VERSION文件,记录namespaceID,标识了所格式化的 namenode的版本。如果我们频繁的格式化namenode,那么datanode中保存原创 2017-04-08 08:55:57 · 4440 阅读 · 1 评论 -
初识Hadoop(会飞的大象)
SQL on Hadoop 1)Hive 2)Prestore 3)Impala 基于内存 4)Phoneix(基于HBase) 5)Spark SQL 1.Hadoop是什么? 从Hadoop权威指南可以看出,Hadoop是用于对可扩展的网络数据的存储和分析。 Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架,实现在大原创 2017-04-05 10:32:37 · 1016 阅读 · 0 评论 -
Hadoop安装与搭建
1首先检查系统里是否自带JDK 2.删除原jdk,安装JDK并配置环境 3.安装hadoop与HDFS 4.配置YARN原创 2017-04-06 10:42:39 · 383 阅读 · 0 评论 -
关闭Hadoop时no namenode to stop异常
今天遇到了在关闭hadoop集群的时候,总会跳出说no XXnode to stop,但是使用jps命令任然可以看见进程还在运行的问题。通过查看hadoop安装目录下的sbin下的脚本文件:hadoop-daemon.sh查到,输出这种错误提示的原因是找不到相关进程的pid值,仔细查看该脚本,可以发现相关pid文件是默认保存在根目录下面的/tmp目录中。可以在使用kill命令杀死hadoop相关进原创 2017-04-15 15:24:08 · 3850 阅读 · 0 评论 -
怎样学习大数据
·那大数据处理技术怎么学习呢?首先我们要学习Java语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后。Java:大家都知道Java的方向有JavaSE、JavaEE、JavaME,学习大数据要学习那个方向呢? 只需要学习Java的标准版JavaSE就可以了,像Servlet、JSP、Tomcat、Struct、Spring、Hibernate,Mybites都是JavaEE转载 2017-07-07 09:01:03 · 974 阅读 · 0 评论