猿猿不断的博客

一、需求介绍 统计每一个手机号耗费的总上行流量、下行流量、总流量（1）输入数据1 13736230513 192.196.100.1 www.atguigu.com 2481 24681 2002 13846544121 192.196.100.2 264 0 2003 13956435636 192.196.100.3 132 1512 2004 13966251146 192.168.100.1 240 0 4045 18271575951 192.168....

一、剖析hdfs文件写入（1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。（2）NameNode返回是否可以上传。（3）客户端请求第一个 Block上传到哪几个DataNode服务器上。（4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。（5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后...

一、添加pom.xml依赖 <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-slf4j-impl</artifactId> <version>2.12.0</version> </dependency> <dependency...

bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 两个是完全相同的。hdfs的操作可以分为三类： 1. 本地 -> HDFS(上传) 2.HDFS->本地(下载) 3.HDFS->HDFS(hdfs内部操作)一、上传 1.put：从本地文件系统中拷贝文件到HDFS路径去 put2.txt :本地文件路径，/:上传到hdfs后的路径2.copyFromLocal：...