![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 95
菜丸子
极致
展开
-
【计算机基础】指令系统
Mybatis初始化机制1.Mybatis初始化机制概述MyBatis使用org.apache.ibatis.session.Configuration对象作为一个所有配置信息的容器,Configuration对象的组织结构和XML配置文件的组织结构几乎完全一样(Configuration对象还负责创建一些MyBatis内部使用的对象,如Executor等)。 MyBatis初始化的...原创 2018-09-17 16:32:42 · 1396 阅读 · 0 评论 -
【大数据】Spark
一 什么是sparkspark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用内存并行计算框架,用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的MapReduce计算模型。高效的支撑更多计算模式,包括交互式查询和流处理。二 spark的特点1 高效性 MapReduce过程中Map端输出的结果要落地到磁盘,reduce端从磁盘读取,输出结果还要落...原创 2018-12-18 18:28:58 · 245 阅读 · 0 评论 -
【大数据】HIVE
一 hive的基本概念hive是由facebook开源hive并非是一个关系型数据库,实际的数据存储在hdfs上,它只是做映射hive的本质是将 SQL 语句转换为 MapReduce 任务运行,可以减少学习mapreduce的时间,但是很复杂的还是不行hive是离线的hive需要一个mysql来存储它的元数据,它默认带有一个deby的数据库但是我们并不推荐使用二 hive的优缺点优...原创 2018-12-18 16:46:06 · 275 阅读 · 0 评论 -
【大数据】Hbase
一 什么是HbaseApache HBase是基于Hadoop构建的一个分布式的、可伸缩的海量数据存储系统。二 什么时候用HbaseHBase常被用来存放一些海量的(通常在TB级别以上)结构比较简单的数据,如历史订单记录,日志数据,监控Metris数据等等,HBase提供了简单的基于Key值的快速查询能力。三 Hbase难点1.表结构设计2.hbase优化四 Hbase数据模型...原创 2018-12-23 12:41:52 · 534 阅读 · 0 评论 -
【大数据】hadoop
一、hadoop简介Hadoop是使用Java编写,允许分布在集群,使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。二、hadoop架构设计⑴hadoopcommon hadoop基础设施模块⑵hdfs 分布式文件系统⑶mapreduce 实现在很多机器上分布式并行运算⑷yarn ...原创 2018-11-04 23:05:15 · 327 阅读 · 0 评论