Hadoop
wangxj_2017
这个作者很懒,什么都没留下…
展开
-
Exception in thread "main" java.io.IOException: Error opening job jar: /apache_logs/cleaned.jar
在学习Hadoop的时候遇到如下的问题:Exception in thread "main" java.io.IOException: Error opening job jar: /apache_logs/cleaned.jar at org.apache.hadoop.util.RunJar.main(RunJar.java:90)Caused by: java.ut原创 2017-09-23 10:22:33 · 3239 阅读 · 0 评论 -
jps后发现namenode 没有启动
查看log后:2017-09-29 12:44:51,880 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.java.lang.NumberFormatException: For input string: "7*24*60"at java.l原创 2017-09-29 17:45:43 · 4407 阅读 · 0 评论 -
Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://node1:9000/input/pia
在Windows本地开发时遇到这样的问题:Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://node1:9000/input/piao.txt, expected: file:///at org.apache.hadoop.fs.FileSystem.checkPath(FileS原创 2017-09-30 07:47:36 · 7845 阅读 · 0 评论 -
MapReduce的模板
编写MR时,有很多代码都是重复的,其实真正的需要编写的业务代码是在 map 和 reduce 中。以下就是MR的模板:package com.wangxj.hadoop.mr;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.h原创 2017-09-30 22:58:21 · 496 阅读 · 0 评论 -
集群时间同步
集群时间同步:在集群中找一台机器(node1,这里的node1就是任意一台机器,也可以写对应的IP地址),然后集群中的其他机器与node1 每十分钟同步一次。步骤:1.rpm -qa | grep ntp 查看ntp 和ntpdate 是否安装[root@node1 share]# rpm -qa | grep ntpfontpackages-filesystem-1.41-1.1原创 2017-10-01 09:45:01 · 2505 阅读 · 0 评论