![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop开发
xugen12
这个作者很懒,什么都没留下…
展开
-
Hadoop学习笔记
Hadoop基本API运用: 根据原创 2014-11-20 16:51:38 · 708 阅读 · 0 评论 -
Hadoop与HBase匹配图
Hadoop与HBase存在一定的匹配关系。现将其记录如图,以便将来查询:翻译 2016-05-19 16:43:01 · 876 阅读 · 0 评论 -
windows编写web程序操作HDFS
计划编写spring程序实现windows下操作HDFS功能。其主要代码如下:public class HdfsConnect {// private final Map Config = new Hashtablepublic FileSystem fs;@RequestMapping(value = "hdfs/Opera", method = RequestMethod.原创 2016-06-02 17:45:06 · 1421 阅读 · 0 评论 -
ssh相关错误
启动hadoop的时候,经常报ssh could not resolve hostname localhost等错误。然后直接ssh localhost 发现依然有这个错误,但是ssh 127.0.0.1的时候能够ssh通。vi /etc/hosts,发现127.0.0.1 localhost被注释掉。将注释去掉。ssh localhost正确。但是会报agent的错误。这个时候在localhos原创 2016-05-22 12:09:11 · 257 阅读 · 0 评论 -
磁盘引起的MR运行问题
java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsOpenssl()Zat org.apache.hadoop.util.NativeCodeLoader.buildSupportsOpenssl(Native Method)at org.apache.hadoop.cr原创 2016-07-30 16:01:40 · 716 阅读 · 0 评论 -
zookeeper会话及普遍模型
1,使用zkEnv.sh配置classpath路径,建立MyEnv.sh文件ZOOBINDIR=“/bin”. "ZOOBINDIR"/zkEnv.sh运行完之后source一下MyEnv.sh文件2,创建Master.java文件,如下所示:import org.apache.zookeeper.ZooKeeper;import org.apache.zookeeper.原创 2016-12-10 14:38:22 · 276 阅读 · 0 评论 -
hadoop jar丢失查找
Hadoop、HBase包丢失查找原创 2017-03-21 10:30:21 · 2762 阅读 · 0 评论 -
Mapreduce运行自定义Map及Reduce类找不到
在Eclipse开发环境中,派发Mapreduce job到集群的过程中,往往出现自己定义的Map及Reduce类找不到的情况。这个时候可以将工程打成jar包,然后将jar包添加到工程中。这种方法过于繁琐,现只需要在配置job之前通过代码将自己的Map及Reduce类上传到集群即可。代码如下所示:Method addURL = URLClassLoader.class.getDeclared原创 2017-04-12 09:51:24 · 3030 阅读 · 1 评论 -
spring phoenix结合操作hbase
参考网址:https://www.cnblogs.com/MOBIN/p/5234816.html发生错误的原因:主要是url写错,按照推荐的url地址为jdbc:phoenix:zookeeper安装地址:2181,后面应该加上具体的hbase安装路径,如/hbase-unsecure1,报错如下:org.springframework.jdbc.CannotGetJdbcConnectionE...原创 2018-04-19 22:52:27 · 3664 阅读 · 0 评论 -
org/apache/hadoop/util/ShutdownHookManager$2
关闭tomcat出现以下错误:Exception in thread "Thread-15" java.lang.NoClassDefFoundError: org/apache/hadoop/util/ShutdownHookManager$2 at org.apache.hadoop.util.ShutdownHookManager.getShutdownHooksInOrder(Shutdo...原创 2018-05-19 20:11:40 · 2582 阅读 · 1 评论 -
spark on yarn---{{PWD}}<CPS>{{PWD}}
采用yarn-client提交job的时候,发现在application的日志中出现以下内容,一直以为 {{PWD}}<CPS>{{PWD}}出现错误,但是后来通过google发现这是正常的,在派发container的时候,会调用hadoop-yarn-nodemanager-jar包将{{,CPS和}}进行更改。SLF4J: Class path contains multiple ...原创 2018-05-14 17:18:20 · 745 阅读 · 0 评论 -
HBase源代码自编译
修改pom.xml中hadoop2版本信息,通过pom.xml, hbase 1.0已经取消对hadoop 1.X系列的支持。 vi pom.xml 2.6.03、编译源码执行命令:MAVEN_OPTS="-Xmx3g" mvn install -DskipTests assembly:single -Prelease编译生成的部署包若想带上文档,使用MAV转载 2016-05-19 19:38:29 · 1037 阅读 · 1 评论 -
BytesWritable使用
1,ByteWritable.tobyte(),将ByteWritable类型的数据转换为十六进制对,并以空格分开;2,ByteWritable.(byte[] newData,int offset,int length);//将值设置为给定的字节范围的副本3,ByteWritable.copyBytes()//获得对象的byte[]类型的数据4,ByteWritable.getByt原创 2015-11-18 17:30:44 · 3238 阅读 · 1 评论 -
hadoop文件输出为txt格式
inkfish原创,请勿商业性质转载,转载请注明来源(http://blog.csdn.net/inkfish )。 Hadoop默认的输出是TextOutputFormat,输出文件名不可定制。hadoop 0.19.X中有一个org.apache.hadoop.mapred.lib.MultipleOutputFormat,可以输出多份文件且可以自定义文件名,但是从hadoop 0.转载 2015-11-18 20:52:28 · 4455 阅读 · 1 评论 -
hbase行键过滤器RowFilter
转至http://blog.chinaunix.net/uid-77311-id-4617954.html hbase行键过滤器RowFilter 2014-11-13 09:57:00分类: HADOOPRowFilter是用来对rowkey进行过滤的,比较符如下:OperatorDescri转载 2015-03-30 10:41:24 · 8004 阅读 · 2 评论 -
java.lang.RuntimeException: java.lang.ClassNotFoundException
15/04/22 15:01:50 INFO mapred.JobClient: Running job: job_201504211850_001915/04/22 15:01:51 INFO mapred.JobClient: map 0% reduce 0%15/04/22 15:02:06 INFO mapred.JobClient: Task Id : attempt_2015原创 2015-04-22 15:04:38 · 2558 阅读 · 1 评论 -
WordCount not Found Exception
Exception in thread "main" java.lang.ClassNotFoundException: WordCount at java.net.URLClassLoader$1.run(URLClassLoader.java:202) at java.security.AccessController.doPrivileged(Native原创 2015-04-24 22:18:01 · 534 阅读 · 0 评论 -
hadoop2.x job Eclipse下只运行在local上
mapred-site.xml已经设置了相应的值,但是为什么web端的监视窗口却起不来?查看mapred-default.xml中的说明:the job tracker http server address and port the server will listen on,if the port is 0 then the server will start on a free port原创 2015-06-15 21:58:43 · 807 阅读 · 0 评论 -
hadoop2.x error记录
通过设置log4j 属性来记录hadoop运行时具体错误创建log4j.properties文件 在src目录下创建log4j.properties文件,内容如下: log4j.rootLogger=debug,stdout,R log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdou转载 2015-06-10 16:42:43 · 718 阅读 · 0 评论 -
编译Hadoop-Eclipse插件
参考我的前一篇文章(ubuntu + hadoop2.5.2分布式环境配置 http://www.cnblogs.com/huligong1234/p/4136331.html) 但本人配置时还修改了如下内容(由于你的环境和我的可能不一致,可以在后面出现相关问题后再进行修改): a.在master节点上(ubuntu-V01)修改hdfs-site.xml加上以下内容 d转载 2015-06-11 11:24:37 · 423 阅读 · 0 评论 -
hadoop2安装错误记录
错误1:发生在向hdfs中上传文件的过程当中,具体情况是提示文件一直处于复制上传的过程中,消耗很大的时间。错误如下:2015-06-30 09:29:45,020 INFO org.apache.hadoop.hdfs.server.namenode.FileJournalManager: Finalizing edits file /home/lin/hadoop-2.5.2/tmp/dfs原创 2015-07-07 09:17:53 · 2205 阅读 · 0 评论 -
Ganglia的安装配置
1. 在主节点上安装ganglia-webfrontend和ganglia-monitorsudo apt-get install ganglia-webfrontend ganglia-monitor复制代码在主节点上安装ganglia-webfrontend和ganglia-monitor。在其他监视节点上,只需要安装ganglia-monitor即可将ga转载 2015-09-05 22:08:25 · 1082 阅读 · 0 评论 -
MapReduce并行创建反向索引
使用Mapreduce可以并行的创建反向索引。假如你输入的是文本文件,输出是元组列表,每个元组由一个数据和包含该数据的文件列表组成。常规处理办法需要将这些数据连接在一起,而且是在内存中执行连接操作。但是有大量数据执行操作的话,将可能消耗掉内存,也可以使用数据库中介存储工具,但是这样会降低运行效率。更好的方法是标记每行,并生成每行只包含一个数据的中间文件,然后对这些中间文件进行排序,最后打出所有翻译 2015-10-19 11:25:14 · 942 阅读 · 0 评论 -
SpatialHadoop:有效的分析你的空间数据
一、简介SpatialHadoop是一个开源的MapReduce扩展,专门用于在ApacheHadoop集群上处理空间数据。SpatialHadoop内置了空间高级语言,空间数据类型、空间索引和高效的空间操作。二、安装和配置SpatialHadoop1、配置SpatialHadoopSpatialHadoop设计了一个通用的运行方式,它可以在任何一个已配置好的Hadoop集转载 2015-10-08 14:58:35 · 1117 阅读 · 1 评论