- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 大数据8-Hive简介和集群搭建
1.Hive特点： 1.1可扩展性 ：Hive可以自由的扩展集群的规模，一般情况下不需要重启服务； 1.2延展性：Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数； 1.3容错：良好的容错性，节点出现问题，SQL仍可以完成执行。2.HIve架构 2.1基本组成： 用户接口：包括CLI、JDBC/...
2018-09-30 10:30:36
423
转载 大数据7-Hadoop的高可用（HA）
1.hadoop的高可用原理：双namenode协调工作的要点：A、元数据管理方式需要改变： 内存中各自保存一份元数据 Edits日志只能有一份，只有Active状态的namenode节点可以做写操作 两个namenode都可以读取edits 共享的edits放在一个共享存储中管理（qjournal和NFS两个主流实现）B、需要一...
2018-09-27 09:50:19
258
转载 大数据6-Maptask并行度有关
1.FileInoutFormat切片机制：2.总结： 1.切片是为了给maptask分配任务，也就是为了整个mapreduce程序做map的并行度规划； 2.一个切片会交给一个maptsak来处置； 3.默认的切片机制是FileInputFormat getSplits（），他的逻辑是对输入目录中所有的文件挨个进行切片，切片的参数splitSize == b...
2018-09-17 09:25:43
253
原创 大数据5-hadoop实现wordcount
1.原理：用户编写的程序分成三个部分：Mapper，Reducer，Driver(提交运行mr程序的客户端) Mapper的输入数据是KV对的形式（KV的类型可自定义） Mapper的输出数据是KV对的形式（KV的类型可自定义） Mapper中的业务逻辑写在map()方法中 map()方法（maptask进程）对每一个<K,V>调用一次 Reducer的输入数据类型对应M...
2018-09-06 10:14:03
346
Echarts3实现省和单列市数据（动态涟漪图）
2018-09-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人