![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 81
cao_yaqi
这个作者很懒,什么都没留下…
展开
-
StringTokenizer类的使用
StringTokenizer是一个用来分隔String的应用类,相当于VB的split函数。1.构造函数public StringTokenizer(String str)public StringTokenizer(String str, String delim)public StringTokenizer(String str, String delim, boolean转载 2015-11-13 10:18:24 · 325 阅读 · 0 评论 -
Java从hdfs上读取文件中的某一行
package test;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache原创 2016-06-30 14:35:49 · 12617 阅读 · 2 评论 -
在虚拟机centos系统中,eclipse无法加载hadoop插件
在centos中,将hadoop-eclipse-plugin-1.2.1.jar放入eclipse的plugins的文件夹中,但是,eclipse无法加载hadoop-eclipse-plugin-1.2.1.jar,使得eclipse中Windows->Preferences中没有Hadoop Map/Reduce选项:(即hadoop插件没有加载上,eclipse无法对作业进行集群提交)原创 2016-06-28 18:10:45 · 1718 阅读 · 1 评论 -
Hadoop MapReduce处理海量小文件:基于CombineFileInputFormat(整个小文件读入到map中)
CombinFIleInputFormat通常默认情况下是把合并后的文件一行一行读入到map中,在CombineSmallfileRecordReader中屏蔽的地方是一行一行读入到map中的,这里给改成了每次往map中读入整篇文章CombineSmallfileInputFormat.javapackage combinAllFile;import java.io.I原创 2015-12-14 10:21:51 · 855 阅读 · 1 评论 -
Hadoop MapReduce处理海量小文件:基于CombineFileInputFormat(每次往map中读入1行)
后来想想还是把CombineFileInputFormat每次读入一行的代码附上吧CombineSmallfileRecordReader .javapackage CombineLine;import java.io.IOException;import org.apache.hadoop.fs.Path;import org.apache.had转载 2015-12-14 10:39:29 · 800 阅读 · 0 评论 -
Hadoop MapReduce处理海量小文件(每次整个小文件整体读入到map):基于FileInputFormat
WholeFileInputFormat .java 中的代码如下:package AllFileInput;import java.io.IOException;import org.apache.hadoop.io.BytesWritable;import org.apache.hadoop.io.NullWritable;import org.原创 2015-12-14 09:43:08 · 751 阅读 · 0 评论 -
hadoop中有时运行会提示mapper找不到
当hadoop运行时出现mapper找不到,或者不存在:可以把该java文件打jar包比如:运行WorldCount.java文件时,出现上述错误,则可以将该Java文件export出jar格式,再把该jar包buildpath----------------------------------------------------------------------------------原创 2015-12-17 10:35:29 · 3030 阅读 · 0 评论 -
在hadoop中如何进入本地调试、及如何设置split的大小
//在mapreduce中,如果想进入debug模式进行调试,则需要在main函数中去掉下面一行代码:Configuration conf = new Configuration();conf.set("mapred.job.tracker", "master:9001");//这行不能要,否则进入集群模式,不能单步调试,不设置jobtracker默认进入本地模式//在hadoop中设置每个spl原创 2015-12-16 15:36:14 · 921 阅读 · 0 评论 -
Hadoop MapReduce处理小的压缩文件:基于CombineFileInputFormat
处理压缩小文件的,不是压缩文件,代码也是可以用的,只是这时候每个split是一个小文件其他就不在多说了,只是提供3个java文件,也只是些参考CompressedCombineFileInputFormat .javapackage compressedCombineFile;import java.io.IOException;import org.apache.ha转载 2015-12-14 10:50:44 · 580 阅读 · 0 评论 -
hadoop2.7.2中datanode无法启动,日志报错java.net.BindException: Port in use: localhost:0
namenode启动正常,每个从节点上nodemanager也正常启动,就是从节点上服务datanode无法全部正常启动,有时候只有一个节点上的datanode起来了,其他都没启动,或者从节点上的datanode全部无法启动,在slave节点上查看日志 vi hadoop-root-datanode-slave2.log 发现日志中报有如下错误:java.net.BindException:原创 2017-07-27 11:21:05 · 5879 阅读 · 0 评论