![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hdfs
z猿猿不断
这个作者很懒,什么都没留下…
展开
-
windows本地连接hadoop集群执行MapReduce
一、需求介绍 统计每一个手机号耗费的总上行流量、下行流量、总流量(1)输入数据1 13736230513 192.196.100.1 www.atguigu.com 2481 24681 2002 13846544121 192.196.100.2 264 0 2003 13956435636 192.196.100.3 132 1512 2004 13966251146 192.168.100.1 240 0 4045 18271575951 192.168....翻译 2020-11-20 13:56:29 · 245 阅读 · 0 评论 -
hdfs数据读取&写入流程剖析
一、剖析hdfs文件写入(1)客户端通过Distributed FileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。(2)NameNode返回是否可以上传。(3)客户端请求第一个 Block上传到哪几个DataNode服务器上。(4)NameNode返回3个DataNode节点,分别为dn1、dn2、dn3。(5)客户端通过FSDataOutputStream模块请求dn1上传数据,dn1收到请求会继续调用dn2,然后...翻译 2020-11-19 15:02:23 · 168 阅读 · 0 评论 -
windows本地通过java调用hadoop常用基础api
一、添加pom.xml依赖 <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-slf4j-impl</artifactId> <version>2.12.0</version> </dependency> <dependency...翻译 2020-11-19 14:54:39 · 295 阅读 · 0 评论 -
hdfs命令行shell操作
bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 两个是完全相同的。hdfs的操作可以分为三类: 1. 本地 -> HDFS(上传) 2.HDFS->本地(下载) 3.HDFS->HDFS(hdfs内部操作)一、上传 1.put:从本地文件系统中拷贝文件到HDFS路径去 put2.txt :本地文件路径,/:上传到hdfs后的路径2.copyFromLocal:...原创 2020-11-18 18:02:18 · 205 阅读 · 0 评论