weixin_45837693的博客

原创 JAVA接口内容小结

原创 Shuffer分区案例

分区概述 在 MapReduce 中, 通过我们指定分区, 会将同一个分区的数据发送到同一个 Reduce 当中进行 处理 例如: 为了数据的统计, 可以把一批类似的数据发送到同一个 Reduce 当中, 在同一个 Reduce 当 中统计相同类型的数据, 就可以实现类似的数据分区和统计等 其实就是相同类型的数据, 有共性的数据, 送到一起去处理 Reduce 当中默认的分区只有一个 分区步骤： Step 1. 定义 Mapper 这个 Mapper 程序不做任何逻辑, 也不对 Key-Value 做任何

原创 WordCount案例

Map和Reduce流程 shuffer流程 WoedCountMapper代码 package cn.itcast.mapreduce; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Counter; import org.apache.hadoop.mapreduce.Mapper; import java.io.IOEx

原创 HDFS的IO流操作与定位读取文件

//把本地e盘上的123.txt文件上传到HDFS根目录上 @Test public void putFileToHDFS() throws Exception{ //1:获取对象 FileSystem fileSystem = FileSystem.get(new URI("hdfs://master:9000"), new Configuration()); //2：获取输入流 FileInputStream file...

原创 HDSF_api

@Test//1:本地文件上传到hdfs public void moveFromLocal() throws URISyntaxException, IOException { //1:获取文件系统 FileSystem fileSystem = FileSystem.get(new URI("hdfs://master:9000"), new Configuration()); //2：执行上传操作copyFromLocalFile ...

原创 HDFS的读取和写入

文件的写入过程 文件的读取过程

原创 HDFS文件限额配置和安全模式

1、文件限额配置 在多人共用HDFS的环境下，配置设置非常重要。特别是在Hadoop处理大量资料的环境，如果没有配额管理，很容易把所有的空间用完造成别人无法存取。Hdfs的配额设定是针对目录而不是针对账号，可以让每个账号仅操作某一个目录，然后对目录设置配置。 hdfs文件的限额配置允许我们以文件个数，或者文件大小来限制我们在某个目录下上传的文件数量或者文件内容总量，以便达到我们类似百度网盘网盘等限制每个用户允许上传的最大的文件的量。 hdfs dfs -count-q-h /user/root/dir1