hadoop
文章平均质量分 86
helloWorldAndYou
反对近些年“大头儿子[啃老族]”围剿控制删除免费资源,反对vip可读——现有经济流通基础之货币与金融必将废弃、衣食住行、学识历练等社会发展基础所需终将免费高效提供才不会成为人类通过更高层次的绊脚石
展开
-
hadoop-hdfs
简介包括: 0)hadoop Common 1)分布式存储系统HDFS。 2)分布式计算框架MapReduce 3)分布式资源管理框架 YARNHDFS存储模型:字节1)文件线性切割成块(block):偏移量offset(byte) 偏移量指切割后的文件第一个字节在源文件中的角标。例如:12字节的文件切割乘2个文件每个文件6个字节,那么,第一个文件offset为0,第二文...原创 2018-09-04 18:54:30 · 444 阅读 · 0 评论 -
hadoop3.03伪分布式
参考资料 jdk安装 环境依耐: ssh,jdk,相关配置java_home,ssh免密登陆;时间同步hosts,hostname修改。 hadoop: 准本安装目录,配置文件修改,角色启动安装1./etc/profile 配置hadoop安装目录 export HADOOP_HOME=/usr/hadoop/hadoop-3.0.3 export PATH=PATH:P...原创 2018-09-11 11:32:38 · 338 阅读 · 0 评论 -
hadoop完全分布式
环境依赖不再累述 每台机器部署一个hadoop 一台用于启动namenode 其余三台用于datanode,这三台中还需有一台启动snn 如果用脚本管理其它节点,作为管理的这台服务器需要免密登陆其它所有节点。...原创 2018-09-11 18:13:54 · 558 阅读 · 0 评论 -
hadoop namenode HA 高可用概念及配置说明
可以看到之前配置的完全分布式中只有一个nn节点,不能高可用。 在1x版本中存在这些问题: hdfs:nn单点故障,压力过大,内存受限,扩展受阻。 MapReduce(MR):jboTracker访问压力大,扩展受阻;难以支持MR以外的计算框架,如spark,storm等。1.HA 高可用hdfs ha :主备切换方式解决单点故障 hdfs Federation联邦:解决鸭梨过大...原创 2018-09-13 21:26:36 · 5990 阅读 · 0 评论 -
hadoop HA with QJM 搭建
hadooclu1,hadooclu2 NN、ZKFC hadooclu1,hadooclu2 ,hadooclu3 JNN hadooclu2,hadooclu3,hadooclu4 DN hadooclu2,hadooclu3,hadooclu4 ZK 免密配置不再累述,参考:hadoop完全分布式中第1点1. zookeeper配置zk脚本所在bin目录配置到系统...原创 2018-09-14 17:23:32 · 754 阅读 · 0 评论 -
Hadoop之mapreduce
1. mr流程架构mapreduce简称mr,数据集采用(key,value)的方式,再交由reduce处理,调用reduce之前,相同key会被放在同一组中,reduce方法内迭代这一组数据进行计算。MapReduce由MapTask 和 ReduceTask 组成,ReduceTask 又叫做partition一个分区,一个reduce可处理多组数据,一组数据只能由一个reduce处理。...原创 2018-09-25 18:48:42 · 432 阅读 · 0 评论 -
yarn 搭建
1. 集群搭建说明hadooclu1,hadooclu2 NN、ZKFChadooclu1,hadooclu2 ,hadooclu3 JNNhadooclu2,hadooclu3,hadooclu4 DN NodeManager(NM)hadooclu2,hadooclu3,hadooclu4 ZKhadooclu2,hadooclu4 RS(ResourceManager)注意DN...原创 2018-09-25 20:32:06 · 884 阅读 · 0 评论