![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop开发
robot_jcf
这个作者很懒,什么都没留下…
展开
-
hadoop基础
一,海量信息如何处理技术难点:稳定性,容错能力,数据一致性核心思想:把数据分发到多个节点,移动计算逻辑到数据附近,计算节点进行本地数据处理,优先顺序读,次之随机读二,Hadoop组成hadoop:YARN,MapReduce,HDFS三,HDFS(Hadoop Distributed File System) (一个大量文件存储的框架)简介: 源自Google的G...原创 2019-05-05 10:07:02 · 130 阅读 · 0 评论 -
HADOOP进阶
一,HDFS文件写入流程 hadoop fs -put word.txt /input 执行该步骤的流程:1,客户端先与NameNode通信,通过RPC通信,创建一个远程的RPC请求,发起上传一个文件请求,2,NameNode接收到这个请求之后,会对新建文件的进行各种检查,确保这个文件在HDFS中是不存在的,以及客户端有新建文件的权限,3,NameNode...原创 2019-05-05 10:08:58 · 245 阅读 · 0 评论 -
Hadoop 实战
一,WordCount开发(Map-Reduce开发模板)//Map阶段需要继承Mapper,并重写map方法public static class WordCountMapper extends Mapper<LongWritable,Text, Text, IntWritable>{@Overrideprotected void ...原创 2019-05-05 10:15:53 · 491 阅读 · 0 评论