大黑牛的博客

 1.通过FileSystem API访问BlockLocations块位置信息                指定一个文件名，查看存储文件信息的block位置信息@Test public void BlockByFs() throws IOException{ Configuration conf=new Configuration(); FileSystem fs=FileSyste...

1.从hadoop URL读取数据  static { URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); } @Test public void readByURL() throws Exception { URL _url = new URL("hdfs://master:9000/test.tx...

1.通过java.net.URL类访问写入HDFS数据         /* * 通过java.net.URL类访问写入HDFS数据 * 结论：通过URL的方式不能实现对HDFS的写操作，抛java.net.UnknownServiceException:                 protocol (协议)doesn't support output */ @Test p...

在MyEclipse连接Hadoop集群时，编写语句后，run执行之后出现的Errors!!!其中，出现以下几点：执行语句后出现的问题： 1)java.lang.IllegalArgumentException: Wrong FS: hdfs://master:9000/test.txt, expected: file:///   at org.apache.hadoop.fs.FileSyste...

MapReduce计算的案例，如下：  数据排序sortDemo：        将sortfile1.txt、sortfile2.txt、sortfile3.txt中的记录整合排序后，输出到一个文件中，包含行号。 编写MapReduce程序，实现上述内容：         分析：利用MR的sort能力，必须进行shuffle，一定实现reduce；               1.编写mappe...

1.需求：将以下三个文件进行倒排。                               【word1.txt】                                           MapReduce is simple                               【word2.txt】                               ...

首先先来明确几个概念： 1.分区-partition                1）分区（partition）：                             默认采取散列值进行分区，但此方法容易造成 “ 数据倾斜 ” （大部分数据分到同一个reducer中，影响运行效率）；                      所以需要自定义partition;           ...

要求:需要统计手机用户流量日志，日志内容实例：                                            手机号    上行流量  下行流量                                           13726230501    200    1100                                           1...

 需求：提交job到集群中的某个队列，此时我们把default 队列改为Flow ，order，然后会报下述的错：Exception in thread "main" java.io.IOException: org.apache.hadoop.yarn.exceptions.YarnException: Failed to submit application_1532225489052...