hadoop
Lionel_Medoo
大家好,NO PAINS, NO GAINS,O(∩_∩)O谢谢
展开
-
【Hadoop入门】Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
转自:http://www.powerxing.com/install-hadoop-in-centos/ 亲自验证,绝对没问题本教程适合于在 CentOS 6.x 系统中安装原生 Hadoop 2,适用于Hadoop 2.7.1, Hadoop 2.6.0 等版本,主要参考了官方安装教程,步骤详细,辅以适当说明,相信按照步骤来,都能顺利在 CentOS 中安装并运行 H转载 2016-11-07 23:57:30 · 105 阅读 · 0 评论 -
Hadoop的坑——无法启动namenode
最近遇到了一个问题,执行start-all.sh的时候发现JPS一下namenode没有启动 每次开机都得重新格式化一下namenode才可以 其实问题就出在tmp文件,默认的tmp文件每次重新开机会被清空,与此同时namenode的格式化信息就会丢失 于是我们得重新配置一个tmp文件目录 首先在home目录下建立一个hado转载 2017-08-08 12:21:19 · 112 阅读 · 0 评论 -
hadoop二次format后datanode不启动解决
在hadoop中,当第二次或者更多执行hdfs namenode -format再启动hdfs后,可能会出现datanode无法启动,这时需要去看启动日志,日志在hadoop环境目录下的logs里面查看datanode的log日志hadoop-root-datanode-***.log如果看到java.io.IOException: Incompatible clusterIDs原创 2017-07-12 13:28:47 · 486 阅读 · 0 评论 -
Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeCo
转自:http://www.cnblogs.com/longshiyVip/p/4805418.html在eclipse上运行hadoop报错:Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsBy转载 2017-02-26 00:49:37 · 5832 阅读 · 4 评论 -
解决Exception: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 等一系列问题
转自:http://blog.csdn.net/congcong68/article/details/42043093一.简介 Windows下的 Eclipse上调试Hadoop2代码,所以我们在windows下的Eclipse配置Hadoop-eclipse-plugin-2.6.0.jar插件,并在运行Hadoop代码时出现了一系列的问题,搞了好几天终于能运行转载 2017-02-26 00:32:24 · 514 阅读 · 0 评论 -
【HDFS】Hadoop2.x HDFS shell命令
1. hdfs dfs -appendToFile ... 可同时上传多个文件到HDFS里面 2. hdfs dfs -cat URI [URI ...] 查看文件内容 3. hdfs dfs -chgrp [-R] GROUP URI [URI ...] 修改文件所属组 4. hdfs dfs -chmod [-R] URI [URI .转载 2017-02-06 18:05:25 · 915 阅读 · 0 评论 -
【HDFS】hadoop2.x HDFS javaAPI
Configuration conf = new Configuration();conf.set("fs.defaultFS", "hdfs://h6:9000");FileSystem fileSystem = FileSystem.get(conf); 1.创建文件夹:判断是否存在不存在再创建if (!fileSystem.exists(n转载 2017-02-06 18:23:48 · 289 阅读 · 0 评论 -
【mapreduce】hadoop2.x—mapreduce实战和总结
转自:http://blog.csdn.net/u012749168/article/details/52809278在eclipse上编写程序,运行在hadoop上。网上很多的例子都是1.x的mr代码,而1.x的代码和2.x的代码是有些区别的。在hadoop官网上可以下载到hadoop的源码包,源码包里面有很多的源代码,hadoop安装包里面的都是些jar文件,jar可以执行,但是无转载 2017-02-06 18:25:05 · 403 阅读 · 0 评论 -
【mapreduce】 Hadoop2.6.0 mapreduce 例子
1. Wordcount[java] view plaincopyimport java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoo转载 2017-02-06 18:22:32 · 425 阅读 · 0 评论 -
【HDFS】 Hadoop2.6.0HDFS的java接口实战
使用HDFS Java API实现HDFS的基本操作,主要有:1.文件上传2问下下载3文件与路径的删除4文件位置5文件重命名6新建文件路径等常用功能。[java] view plain copypackage org.apache.hadoop.hdfs; import java.io.FileInputStream;转载 2017-02-06 18:20:25 · 443 阅读 · 0 评论 -
Hadoop 2.x HDFS和YARN的启动方式
一.三种启动方式介绍 方式一:逐一启动(实际生产环境中的启动方式) hadoop-daemon.sh start|stop namenode|datanode| journalnode yarn-daemon.sh start |stop resourcemanager|nodemanager 方式二:分开启动 star转载 2017-02-06 18:07:28 · 436 阅读 · 0 评论 -
windows eclipse 远程连接 hadoop(linux)
转自:http://blog.csdn.net/yukangmine/article/details/41319043本地环境:win7 32位,嗯,机子够烂,eclipse4.4.1 Hadoop服务器:centos 64位,hadoop-2.3.0-cdh5.1.3 现在很多人依然是在windows上开发的,毕竟生活离不开很多有趣的软件,人性化转载 2017-02-05 23:08:03 · 442 阅读 · 0 评论 -
使用Eclipse编译运行MapReduce程序 Hadoop2.6.0_Ubuntu/CentOS
转自:http://www.powerxing.com/hadoop-build-project-using-eclipse/本教程介绍的是如何在 Ubuntu/CentOS 中使用 Eclipse 来开发 MapReduce 程序,在 Hadoop 2.6.0 下验证通过。虽然我们可以使用命令行编译打包运行自己的MapReduce程序,但毕竟编写代码不方便。使用 Ecli转载 2017-02-05 23:06:54 · 571 阅读 · 0 评论 -
伪分布式启动Error: JAVA_HOME is not set and could not be found解决办法
Hadoop使用伪分布式启动,使用./sbin/start-dfs.sh,启动时报Error: JAVA_HOME is not set and could not be found.解决办法: 修改./etc/hadoop/hadoop-env.sh(注:这里的etc是hadoop安装目录里面的,不是系统的)中设JAVA_HOME。 应当使用绝对路径。转载 2016-12-20 23:22:15 · 794 阅读 · 0 评论 -
使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0
转自:http://www.powerxing.com/hadoop-build-project-by-shell/网上的 MapReduce WordCount 教程对于如何编译 WordCount.java 几乎是一笔带过… 而有写到的,大多又是 0.20 等旧版本版本的做法,即 javac -classpath /usr/local/hadoop/hadoop-1.0.1/h转载 2017-01-06 23:15:02 · 1512 阅读 · 0 评论 -
Hadoop之—— WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...
转自:http://blog.csdn.net/l1028386804/article/details/51538611配置完Hadoop启动的时候出现如下警告信息:[html] view plain copy WARN util.NativeCodeLoader: Unable to load native-hadoop lib转载 2017-01-05 00:36:22 · 1232 阅读 · 0 评论 -
【Hadoop入门】Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS
转自:http://www.powerxing.com/install-hadoop-cluster/(还未验证,先转再学)本教程讲述如何配置 Hadoop 集群,默认读者已经掌握了 Hadoop 的单机伪分布式配置,否则请先查看Hadoop安装教程_单机/伪分布式配置 或 CentOS安装Hadoop_单机/伪分布式配置。本教程适合于原生 Hadoop 2,包括 Ha转载 2016-11-08 00:03:55 · 466 阅读 · 0 评论 -
hive建表时报错
在hive建表时报如下错:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:For direct MetaStore DB connections, we don't support retries at the client lev原创 2017-08-09 15:33:20 · 790 阅读 · 0 评论