hadoop
关注
分享
扫一扫
Spring_java_gg
通常程序员的一生都把双手和双眼分别奉献给了键盘和显示屏，但是我们坚信我们会把枯燥无味的代码能给人们的生活在一定程度上提供更大的帮助。
展开
-
hadoop出现ava.lang.ClassNotFoundException: org.codehaus.jackson.map.JsonMappingException
Exception in thread "main" java.lang.NoClassDefFoundError: org/codehaus/jackson/map/JsonMappingException at org.apache.hadoop.mapreduce.Job$1.run(Job.java:563) at java.security.AccessC原创 2014-07-21 15:39:41 · 5955 阅读 · 4 评论 -
Linux下搭建Hadoop详细步骤
装好虚拟机+Linux，并且主机网络和虚拟机网络互通。以及Ｌｉｎｕｘ上装好ＪＤＫ１：在Linux下输入命令vi /etc/profile 添加HADOOP_HOMEexport JAVA_HOME=/home/hadoop/export/jdkexport HADOOP_HOME=/home/hadoop/export/hadoopexport PATH=.:$PATH:原创 2014-07-15 19:56:32 · 2286 阅读 · 0 评论 -
hadoop出现namenode running as process 18472. Stop it first.
hadoop出现namenode running as process 18472. Stop it first.等等，类似的出现了好几个。解决办法：说明你没有启动起来，所以在启动之前你需要 在重新启动hadoop之前要先stop掉所有的hadoop服务。 然后恢复正常启动。原创 2014-07-11 10:34:25 · 22424 阅读 · 3 评论 -
hadoop搭建好后出现的format异常
14/07/10 18:50:47 FATAL conf.Configuration: error parsing conf file: com.sun.org原创 2014-07-11 08:59:56 · 1565 阅读 · 0 评论 -
retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
[root@qa bin]# hadoop fs -ls /Warning: $HADOOP_HOME is deprecated.14/07/29 13:25:35 INFO ipc.Client: Retrying connect to server: centhost.centdomain/10.110.30.30:9000. Already tried 0 time(s); retr原创 2014-07-29 14:21:43 · 4106 阅读 · 0 评论 -
在Cygwin中出现JAVA_HOME出现问题找不到出现问题
JAVA_HOME出现问题后查看这里面是否出现空格，在UNIX下空格无法解析，export JAVA_HOME="/cygdrive/c/jdk/jdk1.7.0_03"export HADOOP_HOME=/cygdrive/c/Cygwin/home/hadoopexport PATH=$PATH:$HADOOP_HOME/bin解决办法：空格去掉，换一下java虚拟机的路径。原创 2014-07-11 09:09:11 · 2120 阅读 · 0 评论 -
hadoop 出现FATAL conf.Configuration: error parsing conf file，异常
FATAL conf.Configuration: error parsing conf file: com.sun.org.apache.xerces.internal.impl.io.MalformedByteSequenceException: Invalid byte 1 of 1-byte UTF-8 sequence.14/07/12 23:51:40 ERROR namenode.原创 2014-07-13 16:00:21 · 7247 阅读 · 2 评论 -
could only be replicated to 0 nodes, instead of 1
WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /input/LICENSE.txt could only be replicated to 0 nodes, instead of 1 at org.apache原创 2014-07-29 14:16:58 · 939 阅读 · 0 评论 -
用java程序把本地的一个文件拷贝到hdfs上并显示进度
把程序打成jar包放到Linux上转到目录下执行命令 hadoop jar mapreducer.jar /home/clq/export/java/count.jar hdfs://ubuntu:9000/out06/count/上面一个是本地文件，一个是上传hdfs位置成功后出现：打印出来，你所要打印的字符。package com.clq.hdfs;import java原创 2014-07-25 16:58:14 · 3706 阅读 · 0 评论 -
FileAlreadyExistsException: Output directory hdfs://ubuntu:9000/output09 already exists
14/07/21 17:49:59 ERROR security.UserGroupInformation: PriviledgedActionException as:chenlongquan cause:org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://ubuntu:9000/output0翻译 2014-07-22 08:58:23 · 6935 阅读 · 2 评论 -
在hadoop上进行编写mapreduce程序，统计关键词在text出现次数
mapreduce的处理过程分为2个阶段，map阶段，和reduce阶段。在要求统计指定文件中的所有单词的出现次数时，map阶段把每个关键词写到一行上以逗号进行分隔，并初始化数量为1（相同的单词hadoop中的map会自动放到一行中）reduce阶段是把每个单词出现的频率统计出来重新写回去。如代码：package com.clq.hadoop2;import org.apa原创 2014-07-23 14:00:34 · 5334 阅读 · 0 评论 -
用程序对hdfs进行操作。
调试加安装了半天，怎么也没有配置好怎么通过Eclipse直接连接hdfs，最后我还是打成一个jar包放到Linux虚拟机中执行的。执行命令Java -jar XXX.jar.其中对hdfs的操作比较简单，主要就FileSystem这一个类，这个东西搞懂了，你对通过程序进行对hdfs的操作自然而然的也就非常熟练了。下面我简单的举一个简单的从hdfs上读取文件内容的例子。大家分享一下。p原创 2014-07-21 21:39:00 · 1467 阅读 · 0 评论 -
浅谈mapreduce程序部署
虽然我们在虚拟机客户端上能很快通过shell命令，进行执行一些已经封装好实例程序，但是在应用中还是是自己写程序，然后部署到服务器中去，下面，我通过程序进行浅谈一个程序的部署过程。在启动Hadoop之后，然后把程序达成可执行的jar包，并把相应的第三方jar包 包含进去。执行hadoop jar XXX. +驱动名称。package com.mapred;import java.i原创 2014-07-21 21:28:33 · 2181 阅读 · 0 评论 -
hadoop出现Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name
PriviledgedActionException as:crabman (auth:SIMPLE) cause:java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server address原创 2014-09-24 20:42:38 · 7275 阅读 · 6 评论