Hadoop
cy_dream
这个作者很懒,什么都没留下…
展开
-
【HDFS】HDFS中JAVA API的使用
HDFS中JAVA API的使用HDFS是一个分布式文件系统,既然是文件系统,就可以对其文件进行操作,比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用JAVA API对HDFS中的文件进行操作的过程。Configuration类:该类的对象封转了客户端或者服务器的配置。FileSystem类:该类的对象是一个文件系统对象,可以用该对象的一些方法来对文件进行操作。FileSystem f原创 2016-05-31 09:04:18 · 673 阅读 · 0 评论 -
【Hadoop】hadoop2.6.4 源码编译
编译安装Hadoop问题Apache官网上提供的Hadoop本地库是32位的,如果我们的Linux服务器是64位的话,就会现问题。我们在64位服务器执行Hadoop命令时,则会报以下错误:我们在64位服务器执行Hadoop命令时,则会报以下错误: WARNutil.NativeCodeLoader: Unable to load native-hadoop library for yourplatf原创 2016-08-28 09:09:18 · 735 阅读 · 0 评论 -
【Hadoop】MapReduce温度排序之二次排序
温度排序之二次排序描述1、计算每年温度最高的时间2、计算每年温度最高前十天思路1、按照年份升序排序,同时每一年中温度降序排序。2、按照年份分组,每一年对应一个reduce任务3、mapper输出,key为封装对象。目的1、自定排序2、自定义分区3、自定义分组示例封装对象 package com.mr;import java.io.DataInput; import java.io.DataOutpu原创 2016-06-08 22:08:28 · 1001 阅读 · 2 评论