hongchenshijie的博客

1.什么是hbase ?1.hbase是bigtable的开源java版本。是建立在hdfs之上， 提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。2.它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。2.Hbase有什么特点 ?1、 海量存储Hb...

文章目录1、什么是Hive2、Hive的意义（最初研发的原因）3、Hive的内部组成模块，作用分别是什么4、Hive支持的存储格式5.Hive支持的数据类型原始数据类型(基本数据类型):复杂类型:6、进入Hiveshell窗口的方式7、Hive数据库、表在HDFS上存储的路径时什么8、like与rlike的区别9、内部表与外部表的区别10、分区表的优点是?分区字段的要求是?优点:要求:11、分桶表...

1.怎么理解分布式？不同的业务模块部署在不同的服务器上,或者同一个业务模块分拆多个子业务，部署在不同的服务器上，解决高并发的问题。2.hadoop 的组成部分HDFS 分布式文件存储系统 管理者：NameNode 工作者：DataNode 辅助者：SecondayNameNode MapReduce 分布式离线计算框架Yarn Hadoop资源调度器 管理者：R...

文章目录1.MapReduce 的核心思想是什么?2.什么是偏移量?3.shuffle 包含哪些步骤?1.partition 分区2.Sort 排序 默认(字典序)3.combiner (可选,局部聚合)4.Group (合并)4.MR从读取数据开始到将最终结果写入HDFS经过了哪些步骤?5.如何设置ReduceTask 的 数量6.combiner的作用7.combiner运行在MapRed...

1.传统时纵向扩展 --> 大数据横向扩展什么是纵向扩展?配置越来越高简单点说就是指企业后端大型服务器以增加处理器等运算资源进行升级来获得对应用性能的要求，这当中的代表当属IBM zSeries大型机。缺点:1.服务器性能所能提高的程度有一定的上限.2.成本比较高什么是横向扩展?服务器数量越来越多简单点说就是靠增加处理器来提升运算能力和增加独立服务器来增加运算能力,依靠多...

1.含义:字面上理解就是 大量的数据/海量的数据深层含义是指数据集的大小已经远远超过了现有普通数据库软件和工具的处理能力的数据2.大数据有什么特点(1)海量化​数据量大（多）​(2)多样化:​结构化数据，半结构化数据，和非结构化数据​(3)快速化​数据的增长速度快(4)​高价值​海量数据价值高3.大数据能做什么？​ 1、海量数据快速查询 (能以极快的速度从海量的数据中...