![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
刘先生生
这个作者很懒,什么都没留下…
展开
-
Shuffer分区案例
分区概述 在 MapReduce 中, 通过我们指定分区, 会将同一个分区的数据发送到同一个 Reduce 当中进行 处理 例如: 为了数据的统计, 可以把一批类似的数据发送到同一个 Reduce 当中, 在同一个 Reduce 当 中统计相同类型的数据, 就可以实现类似的数据分区和统计等 其实就是相同类型的数据, 有共性的数据, 送到一起去处理 Reduce 当中默认的分区只有一个 分区步骤: Step 1. 定义 Mapper 这个 Mapper 程序不做任何逻辑, 也不对 Key-Value 做任何原创 2020-10-22 21:01:45 · 226 阅读 · 0 评论 -
WordCount案例
Map和Reduce流程 shuffer流程 WoedCountMapper代码 package cn.itcast.mapreduce; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Counter; import org.apache.hadoop.mapreduce.Mapper; import java.io.IOEx原创 2020-10-18 21:08:29 · 424 阅读 · 1 评论 -
HDFS的IO流操作与定位读取文件
//把本地e盘上的123.txt文件上传到HDFS根目录上 @Test public void putFileToHDFS() throws Exception{ //1:获取对象 FileSystem fileSystem = FileSystem.get(new URI("hdfs://master:9000"), new Configuration()); //2:获取输入流 FileInputStream file...原创 2020-10-11 21:04:06 · 376 阅读 · 0 评论 -
HDSF_api
@Test//1:本地文件上传到hdfs public void moveFromLocal() throws URISyntaxException, IOException { //1:获取文件系统 FileSystem fileSystem = FileSystem.get(new URI("hdfs://master:9000"), new Configuration()); //2:执行上传操作copyFromLocalFile ...原创 2020-10-11 21:02:36 · 122 阅读 · 0 评论 -
HDFS的读取和写入
文件的写入过程 文件的读取过程原创 2020-10-06 09:27:37 · 144 阅读 · 0 评论 -
HDFS文件限额配置和安全模式
1、文件限额配置 在多人共用HDFS的环境下,配置设置非常重要。特别是在Hadoop处理大量资料的环境,如果没有配额管理,很容易把所有的空间用完造成别人无法存取。Hdfs的配额设定是针对目录而不是针对账号,可以让每个账号仅操作某一个目录,然后对目录设置配置。 hdfs文件的限额配置允许我们以文件个数,或者文件大小来限制我们在某个目录下上传的文件数量或者文件内容总量,以便达到我们类似百度网盘网盘等限制每个用户允许上传的最大的文件的量。 hdfs dfs -count-q-h /user/root/dir1原创 2020-10-05 22:14:12 · 553 阅读 · 0 评论 -
Hadoop完全分布式搭建过程(详细)
准备工作 1.VMware 15.1 2.jdk(我这里是32位的,大家根据自己的虚拟机情况进行选择,后边会说) 3.hadoop 1 静态ip设置 静态网络详细过程 2 修改主机名称 vim /etc/sysconfig/network 3 添加映射关系 三台虚拟机均需要执行下面的操作 vim /etc/hosts 通过ping hadoop02/1/3查看能否ping通 注意:映射关系配置完成后三台虚拟机是可以相互ping通的 4 关闭防火墙 永久关闭(三台电脑都要执行此操作) chkco原创 2020-09-30 11:36:21 · 6484 阅读 · 0 评论