- 博客(6)
- 收藏
- 关注
原创 分布式文件系统HDFS
本文概述:1、大数据特征2、大数据带来的革命性变革3、Google大数据4、分布式文件系统5、HDFS优缺点6、HDFS分布式文件的设计思想7、组成结构8、HDFS架构9、HDFS读写数据流程10、HDFS快照11、HDFS日志收集实战案例 12、HDFS Java Idea操作 大数据特征:1)大量化(Volume):存储量大,增量大2)快速化(Velocity):告诉数据I/O3)多样化(Va...
2018-02-28 20:01:39 10144
原创 分布式计算框架MapReduce
本文概述:1、什么是MapReduce?2、MapReduce特点3、MapReduce不适合的场景4、MapReduce架构5、MapReduce容错6、MapReduce编程模型7、Hadoop如何实现MapReduce?8、hadoop集群xml配置9、Java API 编程,使用MapReduce开发WordCount什么是MapReduce?MapReduce是一种编程模型,其理论来自G...
2018-02-28 19:45:49 10572
原创 分布式协调服务ZooKeeper
本文概述:1、什么是ZooKeeper?2、ZooKeeper概述3、Hadoop生态系统中那些框架使用到了ZooKeeper4、ZooKeeper的架构5、ZooKeeper核心组件6、ZooKeeper的数据结构7、Watch触发器8、哪些框架使用到了ZooKeeper 9、ZooKeeper应用举例 10、节点属性11、Znode的两种类型12、ZooKeeper应用场景13、ZooKeep...
2018-02-19 10:06:53 10077
原创 分布式列式数据库HBase
本文概述:1、HBase概述2、HBase特点3、HBase和RDBMS以及HDFS的对比区别4、HBase核心术语5、HBase物理模型6、HBase架构7、HBase容错 8、HBase环境搭建 HBase官网:http://hbase.apache.org/(Apache HBase是一个开源,分布式,版本化的非关系型数据库)HBase概述1)构建在HDFS之上的,分布式、面向列的开源数据库...
2018-02-14 15:48:39 12034
原创 Hadoop资源调度框架YARN
本文概述:1、YARN概述2、YARN架构3、YARN执行流程4、YARN容错5、YARN环境搭建准备工作: 之前博主有发过Hadoop集群环境的搭建以及分布式环境的搭建,可以参考任意博客 http://blog.csdn.net/qq_32297447/article/details/79204625 http://blog.csdn.net/qq_32297447/artic...
2018-02-11 17:20:10 9791
原创 Hadoop分布式集群搭建以及案例运行-fs操作
Hadoop分布式集群搭建案例步骤(也可以叫分布式文件系统)一:创建分布式集群环境二:设置静态ip以及主机名与映射关系三:创建用户、配置SSH无密登录四:子机dn操作五:配置主机jdk、hadoop的环境以及hadoop文件六:打包、远程传输至子机七:启动hadoop集群以及运行案例基于hadoop的整体分布式模块交互 1)分布式系统的定义 把数据放到一个服务器集群上面,分为:主控服务器(Mas...
2018-02-06 10:18:43 11937
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人