hadoop
zjml2412
这个作者很懒,什么都没留下…
展开
-
hadoop里的MaxTemperature程序
hadoop工作在伪分布模式。统计最高气温。import java.io.IOException; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apa原创 2012-08-28 18:08:19 · 1819 阅读 · 0 评论 -
hadoop问题Type mismatch in value from map解决方法
12/08/27 15:49:40 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable12/08/27 15:49:40 WARN mapred.JobClient: No job jar原创 2012-08-27 18:27:42 · 26637 阅读 · 9 评论 -
hadoop的archive命令的使用方法
每个文件以块方式存储,块的元数据存储在名称节点的内存里,此时存储一些小的文件,HDFS会较低效。因此,大量的小文件会耗尽名称节点的大部分内存。(注意,相较于存储文件原始内容所需要的磁盘空间,小文件所需要的空间不会更多。例如,一个1 MB的文件以大小为128 MB的块存储,使用的是1 MB的磁盘空间,而不是128 MB。)Hadoop Archives或HAR文件,是一个更高效的将文件放入H原创 2012-09-02 15:35:19 · 3919 阅读 · 0 评论 -
hadoop运行命令
在本地文件上运行:hadoop Maxtemperature -fs file:// -jt local input/ncdc/micro max-output使用两个reducer,生成两个输出顺序文件hadoop jar Maxtemperature.jar Maxtemperature -conf conf/hadoop-localhost.xml -D mapred.red原创 2012-08-30 10:05:26 · 448 阅读 · 0 评论 -
MapReduce的Web界面
Hadoop的Web界面用来浏览作业信息,对于跟踪作业运行进度,查找作业完成后的统计信息和日志非常有用。浏览NameNode和JobTracker的网络接口,它们的地址默认为:NameNode :http://localhost:50070/JobTracker :http://localhost:50030/原创 2012-08-28 18:53:08 · 4087 阅读 · 0 评论 -
用md5sum检验文件的一致性
检验文件一致性hadoop fs -copyFromLocal quangle.txt quangle.txthadoop fs -copyToLocal quangle.txt quangle.copy.txtmd5sum quangle.txt quangle.copy.txt输出结果:b33c4dbc86d45236a14f24b643a1f6f9原创 2012-08-28 19:49:42 · 748 阅读 · 0 评论 -
hadoop伪分布模式配置
hadoop伪分布模式配置如下:进入/home/tom/hadoop/conf,配置hadoop配置文件配置hadoop-env.sh文件export JAVA_HOME=/home/tom/jdk1.7.0_05export PATH=$PATH:/home/tom/hadoop/binexport HADOOP_CLASSPATH=/home/tom/had原创 2012-08-28 18:33:44 · 600 阅读 · 0 评论 -
hadoop伪分布模式下的编程步骤
haoop工作在伪分布模式下,以MaxTemperature.java为例:1.javac -classpath /home/tom/hadoop/hadoop-core-1.0.3.jar -d maxtemperature_classes MaxTemperature.java2.jar -cvf maxtemperature.jar -Cmaxtemperatur原创 2012-08-28 18:16:56 · 533 阅读 · 0 评论 -
hadoop自带的WordCount程序
hadoop工作在伪分布模式。统计一篇文章中每个单词出现的次数。代码如下:import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import原创 2012-08-28 17:54:44 · 1088 阅读 · 0 评论 -
hadoop常用的命令大全
cat使用方法:hadoop fs -cat URI [URI …]将路径指定文件的内容输出chgrp使用方法:hadoop fs -chgrp [-R] GROUP URI [URI …]改变文件所属的组。使用-R将使改变在目录结构下递归进行。chmod使用方法:hadoop fs -chmod [-R] URI [URI …]改变文件的权限。使用-R将使改变在原创 2012-08-28 19:23:55 · 662 阅读 · 0 评论