hadoop
weixin_42054515
这个作者很懒,什么都没留下…
展开
-
MapReduce
MapReduce概述序列化、反系列化机制Partitationer - 分区Map任务:Reducer任务:MapReduce的执行流程排序 概述 MapReduce是hadoop中的分布式的计算框架 意味着在计算过程中实际分为两大步:Map过程和Reduce过程。 案例一:统计characters.txt(一篇英文文章)中的每一个字符的个数 Mapper: public class Char...原创 2018-12-20 10:09:44 · 164 阅读 · 0 评论 -
hadoop伪分布式安装
hadoop伪分布式安装 1. 关闭防火墙 service iptables stop 2. 修改主机名(在Hadoop集群中,主机名中不允许出现_以及-,如果出现会导致找不到这台主机。) vim /etc/sysconfig/network 更改HOSTNAME,例如:HOSTNAME= hadoop01 &nb...原创 2018-12-12 09:58:34 · 87 阅读 · 0 评论 -
HDFS
@[TOC]HDFS HDFS简介 本身是用于存储数据的 存储数据的节点 - datanode, 管理数据的节点 - namenode HDFS存储数据的时候会将文件进行切块,并且给每一个文件块分配一个递增的编号 HDFS存储数据的时候会对数据进行备份,每一个备份称之为是一个复本。在伪分布式下,复本设置为1,但是在全分布式下,复本默认是3个 3个复本是放到不同的datanode中。复本的放置策...原创 2018-12-12 11:35:55 · 139 阅读 · 0 评论