hadoop
deyu01
这个作者很懒,什么都没留下…
展开
-
hadoop-基础-安装以及介绍
1.分布式:由分布在不同主机上的程序(进程)协同在一起才能构成整个应用。2.大数据三大特性:1.volumn : 体量大 2.velocity: 速度快 3.variaty : 样式多 4.value : 价值密度低3.hadoop--------------可靠地、可伸原创 2016-10-17 13:25:29 · 225 阅读 · 0 评论 -
大数据4-HDFS工作机制
概述:HDFS集群分为两大角色:NameNode、DataNode (Secondary Namenode) NameNode负责管理整个文件系统的元数据 DataNode 负责管理用户的文件数据块 文件会按照固定的大小(blocksize)切成若干块后分布式存储在若干台datanode上 每一个文件块可以有多个副本,并存放在不同的datanode上 Datanode会定期向Nam...转载 2018-08-31 11:15:51 · 188 阅读 · 0 评论 -
大数据3-Hadoop分布式介绍及集群搭建
1.分布式系统三大组件: 1.1 海量数据的存储 分布式文件系统(HDFS) a.具有分布式的集群结构 我们把这样实际存储数据的节点叫做datanode; b.具有一个统一对外提供查询、存储、搜索的机器节点: 对外跟客户端统一打交道; ...转载 2018-08-29 09:07:50 · 277 阅读 · 0 评论 -
大数据5-hadoop实现wordcount
1.原理:用户编写的程序分成三个部分:Mapper,Reducer,Driver(提交运行mr程序的客户端) Mapper的输入数据是KV对的形式(KV的类型可自定义) Mapper的输出数据是KV对的形式(KV的类型可自定义) Mapper中的业务逻辑写在map()方法中 map()方法(maptask进程)对每一个<K,V>调用一次 Reducer的输入数据类型对应M...原创 2018-09-06 10:14:03 · 346 阅读 · 0 评论 -
大数据6-Maptask并行度有关
1.FileInoutFormat切片机制:2.总结: 1.切片是为了给maptask分配任务,也就是为了整个mapreduce程序做map的并行度规划; 2.一个切片会交给一个maptsak来处置; 3.默认的切片机制是FileInputFormat getSplits(),他的逻辑是对输入目录中所有的文件挨个进行切片,切片的参数splitSize == b...转载 2018-09-17 09:25:43 · 253 阅读 · 0 评论 -
大数据7-Hadoop的高可用(HA)
1.hadoop的高可用原理:双namenode协调工作的要点:A、元数据管理方式需要改变: 内存中各自保存一份元数据 Edits日志只能有一份,只有Active状态的namenode节点可以做写操作 两个namenode都可以读取edits 共享的edits放在一个共享存储中管理(qjournal和NFS两个主流实现)B、需要一...转载 2018-09-27 09:50:19 · 255 阅读 · 0 评论 -
大数据8-Hive简介和集群搭建
1.Hive特点: 1.1可扩展性 :Hive可以自由的扩展集群的规模,一般情况下不需要重启服务; 1.2延展性:Hive支持用户自定义函数,用户可以根据自己的需求来实现自己的函数; 1.3容错:良好的容错性,节点出现问题,SQL仍可以完成执行。2.HIve架构 2.1基本组成: 用户接口:包括CLI、JDBC/...原创 2018-09-30 10:30:36 · 423 阅读 · 0 评论