hadoop
le119126
这个作者很懒,什么都没留下…
展开
-
hadoop mapReduce程序模板-倒排索引
package hadooptest3;import java.io.File;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;转载 2014-11-12 14:40:14 · 829 阅读 · 0 评论 -
hadoop-2.6.0-src源码导入Eclipse
一.导入cd到 hadoop-2.6.0-src/hadoop-maven-pluginsmvn intall在cd到hadoop-2.6.0-src 目录下mvn eclipse:eclipse -DskipTests完成后在Eclipse中:File-Import-Existing Projects into Workspace 选择hadoop-2.6.0-src目录导入原创 2014-12-18 21:57:41 · 1873 阅读 · 0 评论 -
hadoop客户端提交作业错误:java.lang.RuntimeException: java.lang.ClassNotFoundException: Job$Mappe
java.lang.RuntimeException: java.lang.ClassNotFoundException: Job$Mappe转载 2014-11-10 18:49:05 · 2970 阅读 · 0 评论 -
hadoop、hbase安装注意事项
Hmaser开启下就消失了:禁用IPV6,将/etc/hosts文件里面的 ::1 localhost那一行删掉同时 127.0.0.1 那行也要删除----我的删除出错原创 2014-11-29 17:53:57 · 681 阅读 · 0 评论 -
hadoop2.x作业提交时conf设置
conf.set("fs.defaultFS", "hdfs://master:8020"); conf.set("mapred.job.tracker", "master:50020"); conf.set("mapreduce.framework.name", "yarn"); conf.set("yarn.resourcemanager.scheduler.addr原创 2014-12-24 21:49:07 · 2170 阅读 · 0 评论 -
搭建hadoop2.6.0 HA及YARN HA
以前用hadoop2.2.0只搭建了hadoop的高可用,但在hadoop2.2.0中始终没有完成YARN HA的搭建,直接下载了hadoop最新稳定版本2.6.0完成了YARN HA及HADOOP HA的搭建流程,没有仔细看hadoop的官方文档,貌似hadoop2.2.0不支持YARN HA,如果说错了谢谢指正呀,下面总结一下我的搭建流程:首先完成虚拟机的搭建:转载 2014-12-12 16:42:38 · 859 阅读 · 0 评论 -
maven hadoop2.x库依赖
2.2.0 替换成自己相应版本 org.apache.hadoop hadoop-mapreduce-client-core 2.2.0 org.apache.hadoop hadoop-common转载 2014-12-14 15:36:22 · 2028 阅读 · 0 评论 -
Hadoop和Spark修改shh端口以及web监控端口
SSH端口不是默认端口22如果ssh端口不是默认的22,在etc/hadoop/hadoop-env.sh里改下。如:export HADOOP_SSH_OPTS="-p 18921"转载 2016-07-12 18:59:41 · 9342 阅读 · 0 评论