![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据技术
文章平均质量分 89
NiklausYu
这个作者很懒,什么都没留下…
展开
-
大数据技术之Hive简介及底层原理
简介一、概述Apache Hive™数据仓库软件有助于使用SQL读取,写入和管理驻留在分布式存储中的大型数据集。可以将结构投影到已经存储的数据上。提供了命令行工具和JDBC驱动程序以将用户连接到Hive。提供了类SQL(HQL)语言来管理HDFS上的数据,底层会将sql转化为MapReduce执行,Hive适用于离线分析在Hive中,每一个database在HDFS上对应一个目录在Hive中没有主键的概念一个表一旦建立之后,这个表中字段之间的间隔符就不能修改了命令create tabl原创 2021-07-12 09:40:43 · 2074 阅读 · 0 评论 -
大数据技术之Hbase简介以及底层原理详解
简介概述HBase是有Apache提供的基于Hadoop的分布式,可扩展的非关系型数据库HBase可以管理很大的数据的表 - billions of rows X millions of columnsHBase是Doug Cutting根据Google的BigTable来实现,所以HBase和BigTable的原理一模一样,只是BigTable是用C语言实现的,HBase是Java语言实现的本身是非关系型数据库,底层是利用键值对来存储在HBase中也不支持多表关联HBase中数据类型只支原创 2021-07-12 09:37:26 · 1530 阅读 · 0 评论 -
大数据技术之Spark
简介spark是一个开源免费的,通用的,可靠性的分布式计算框架,可用于处理海量的数据Apache Spark™是用于大规模数据处理的统一分析引擎。常见的计算框架MapReduce -> 离线批处理Spark ->离线批处理+实时处理Storm ->实时处理Flink ->实时处理Hadoop MapReduce 存在问题当发生shuffle时底层会产生大量的磁盘I/O,会降低整体的性能。此外还会产生大量的排序操作,耗费cpu,并且不能做到对中间结果集的服用,导致原创 2021-07-09 09:47:19 · 873 阅读 · 0 评论 -
大数据技术之MapReduce
MapReduce定义MapReduce是一个分布式运算程序放入编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个hadoop集群上。MapReduce的优缺点1. MapReduce易于编程它简单的实现一些接口,就可以完成一个分布式程序,这个分布式程序可以分布到大量廉价的PC机器上运行。也就是说你写一个分布式程序,跟写一个简单的串行程序是一模一样的。就是因为这个特点原创 2021-07-09 09:11:10 · 914 阅读 · 0 评论 -
Kafka简介
简介概述Kafka是LinkedIn(领英)公司开发后来贡献给了Apache提供的一套分布式的消息系统(message system),是一个分布式流平台流平台具有三个关键功能:发布和订阅记录流,类似于消息队列或企业消息传递系统。以容错的持久方式存储记录流。处理记录流。应用场景建立实时流数据管道,以可靠地在系统或应用程序之间获取数据构建实时流应用程序,以转换或响应数据流Kafka本身是由Scala来完成的,所以Kafka天然支持高并发和分布式Kafka会将生产者添加的原创 2021-07-08 17:59:57 · 465 阅读 · 0 评论 -
大数据技术之HFDS
大数据简介一、大数据特征 - 6V数据体量大,一般从TB级别开始计算数据种类和来源多数据的增长速度越来越快数据的价值密度越来越低,但是这不意味着想要的数据越来越少,相反,想要的数据越来越多的,但是样本总量的增长速度是要高于想要的数据的增长速度的数据的真实性/质量数据的连通性数据的动态性、数据的可视化、合法性二、概述Hadoop是Apache提供的一个开源的、可靠的、可扩展的系统架构,可以利用分布式架构来进行海量数据的存储以及计算Hadoop之父:Doug Cutting(道格·卡原创 2021-07-08 17:49:39 · 2321 阅读 · 0 评论 -
大数据技术之Flume
Flume概述Flume是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据。它具有基于流数据流的简单灵活的体系结构。它具有可调整的可靠性机制以及许多故障转移和恢复机制,具有强大的功能和容错能力。它使用一个简单的可扩展数据模型,允许在线分析应用程序。Flume最主要的作用就是,实时读取服务器本地磁盘的数据,将数据写到HDFS中Flume的版本更新相对稳定:Flume1.0:Flume-ng Flume-ng和Flume-og不兼容。现在开发过程中一般使用的是Flume-ng原创 2021-07-08 17:41:36 · 697 阅读 · 0 评论