Hadoop开发
robot_jcf
这个作者很懒,什么都没留下…
展开
-
hadoop基础
一,海量信息如何处理 技术难点:稳定性,容错能力,数据一致性 核心思想:把数据分发到多个节点,移动计算逻辑到数据附近,计算节点进行本地数据处理,优先顺序读,次之随机读 二,Hadoop组成 hadoop:YARN,MapReduce,HDFS 三,HDFS(Hadoop Distributed File System) (一个大量文件存储的框架) 简介: 源自Google的G...原创 2019-05-05 10:07:02 · 127 阅读 · 0 评论 -
HADOOP进阶
一,HDFS文件写入流程 hadoop fs -put word.txt /input 执行该步骤的流程: 1,客户端先与NameNode通信,通过RPC通信,创建一个远程的RPC请求,发起上传一个文件请求, 2,NameNode接收到这个请求之后,会对新建文件的进行各种检查,确保这个文件在HDFS中是不存在的,以及客户端有新建文件的权限, 3,NameNode...原创 2019-05-05 10:08:58 · 240 阅读 · 0 评论 -
Hadoop 实战
一,WordCount开发(Map-Reduce开发模板) //Map阶段 需要继承Mapper,并重写map方法 public static class WordCountMapper extends Mapper<LongWritable,Text, Text, IntWritable>{ @Override protected void ...原创 2019-05-05 10:15:53 · 459 阅读 · 0 评论