![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 94
mxb1234567
这个作者很懒,什么都没留下…
展开
-
k8s平台微服务部署
涉及的微服务涉及三个微服务的demo:服务注册与发现:eureka-server管理服务:admin-service用户服务:user-service管理服务和用户服务会注册到eureka上,当访问 Admin 服务的 add user api,Admin 服务会调用 User 服务的 add user api,写入到 mysql数据库上。生成docker镜像通过dockerfile构建maven项目。在Docker 17.05多阶段构建推出之后,我们只需要维护一个Dockerfile文件原创 2021-12-28 12:52:22 · 6051 阅读 · 2 评论 -
大数据理论与实践9 分布式数据仓库Inceptor
简介定位:分布式通用SQL引擎:支持Hyperbase、Search、ArgoDB、StellarDB和Slipstream等核心数据库和计算引擎。分布式关系型数仓:基于Hive和Spark,主要用于离线分析。原理系统架构InceptorServerconnector:为BI、ETL工具提供标准JDBC、ODBC接口。SQL Compiler包括:SQL语法解析器、规则和代价优化器、代码生成器。PL/SQL Compiler包括:存储过程解析器、控制流优化器、并行优化器。Transac原创 2021-12-14 00:12:34 · 5214 阅读 · 0 评论 -
大数据理论与实践11 实时流处理引擎Slipstream
背景介绍批处理与流处理:批处理是进行批量处理从图上可以看出,它具有调度延时和处理延时。流处理是进行流式处理它更能满足低延时的需求。场景的批处理框架有MapReduce、Spark Core、Inceptor(Nucleon)、Flink Dataset 等。流式计算框架包括:基于事件驱动(Event-driven)的Storm Core(攒一小批处理)、Flink DataStream、Slipstream,基于微型批处理(Micro-batch)的:Storm Trident、Spar原创 2021-11-26 15:30:43 · 2265 阅读 · 0 评论 -
大数据理论与实践10 分布式NewSQL数据库Hyperbase
一个重量级的组件,原生HBase不支持SQL(NoSQL),星环Hyperbase提供SQL的支持。简介概念高可靠、可伸缩、高并发、实时(实时随机读写)、面向列(存储和优化以列为单位)的分布式NewSQL数据库。基于Hbase(Hadoop Database,是Google Bigtable的开源实现)实现。NewSQL数据库:NoSQL+RDBMS。Key-Value数据库:主要通过Key实现数据的增删改查,以及扫库操作。列式存储:按列族存储,可以自由添加列,对Schema限制较少,用于存原创 2021-11-26 14:41:08 · 1171 阅读 · 0 评论 -
大数据理论与实践 源码分析 YARN资源调度策略
YARN资源调度策略调度流程容量调度器概述源码分析FIFO调度器源码分析公平调度器简述源码阅读参考对于YARN的介绍,可以参考之前的文章:大数据理论与实践4 分布式资源管理系统YARN根据官方文档,YARN支持了三种资源调度策略,分别是:FIFO调度器 FIFO Scheduler容量调度器 Capacity Scheduler公平调度器 Fair Scheduler下面分别来看看这几个调度器是如何具体实现的。源码来自Hadoop3.3.1调度流程图源:【Yarn源码分析】FairS原创 2021-11-22 23:49:11 · 1187 阅读 · 0 评论 -
大数据理论与实践 源码分析 YARN高可用机制
对于YARN的介绍,可以参考之前的文章:大数据理论与实践4 分布式资源管理系统YARNRM高可用ResourceManager (RM) 负责跟踪集群中的资源,并调度应用程序原创 2021-11-21 22:36:20 · 1366 阅读 · 0 评论 -
大数据理论与实践8 分布式消息队列Kafka
Kafka简介Kafka是一个基于发布/订阅的分布式消息系统。可以理解成一个小存储,我们可以往上发东西,回头会有人去那里读出来。特性消息持久化:采用时间复杂度O(1)的磁盘存储结构,即使TB级以上数据也能保证常数时间的访问速度高吞吐:即使在廉价的商用机器上,也能达到单机每秒10万条消息的传输高容错:多分区多副本易扩展:新增机器,集群无需停机,自动感知同时支持实时和离线数据处理(更多用在实时)原理基本概念角色:Broker(代理)Kafka的一个实例或节点,一个或多个Broke原创 2021-11-05 15:41:19 · 1127 阅读 · 0 评论 -
大数据理论与实践6 分布式ETL工具Sqoop
ETL是指数据收集层,指的是数据抽取(Extract)、转换(Transform)、加载(Load),在真正的大数据工作中,很大的工作量都在做这一块的内容。Sqoop简介只要用于在Hadoop和关系数据库之间进行批量数据迁移的工具。Hadoop:HDFS、Hive/Inceptor、HBase/Hyperbase基于MapReduce实现面向大数据集的批量导入导出,将输入数据集分为N个切片,然后启动N个Map任务并行传输(Sqoop 1不进行Reduce)。提供多种Sqoop连接器:内置的有经过优原创 2021-10-29 20:50:01 · 909 阅读 · 0 评论 -
大数据理论与实践7 分布式数据采集工具Flume
FlumeFlume简介原理基本概念组件Source组件Channel组件Sink组件数据流Flume架构单层架构多层架构使用安装Agent配置Flume运行参考Flume简介Flume是一个分布式海量数据采集、聚合和传输系统。可以看做一个管道系统,从数据源到数据目的地。数据源可以是文件、日志、传感器等,目的地可以是HDFS、NoSQL等等。数据流模型:Source → Channel(暂存) → Sink(取数据并交给目的地)。套件组配很灵活,随意组配。在Channel这块,支持事务,支持重读重写原创 2021-10-29 17:54:01 · 1066 阅读 · 0 评论 -
大数据理论与实践5 分布式计算框架MapReduce和Spark
MapReduce简介MapReduce是一个面向离线批处理的分布式计算框架。离线:对时间不敏感,慢慢算批处理:数据攒一批,处理一批(相对于流处理)分布式编程模型:MapReduce程序被分为Map(映射)阶段和Reduce(化简)阶段特点:计算跟着数据走良好的扩展性:计算能力随着节点数增加,近似线性增长高容错状态监控适合海量数据的离线批处理降低了分布式编程的门槛使用场景:对时间不敏感,非流式数据(不适用OLAP、流计算、DAG计算)原理示例WordCount示例实际上原创 2021-10-29 17:52:56 · 1829 阅读 · 0 评论 -
大数据理论与实践4 分布式资源管理系统YARN
YARN简介YARN由来Hadoop 1.x中的MapReduce存在先天缺陷,身兼两职:计算框架(称职)和资源管理系统(不称职);JobTracker同时管理资源和作业,负担重开销大;资源描述模型过于简单等问题。什么是YARNYARN(Yet Another Resource Negotiator):另一种资源管理器。是一个分布式通用资源管理系统。设计目标:聚焦资源管理、通用(适用各种计算框架)、高可用(元数据和Master高可用)、高扩展(与HDFS同步扩展)、高容错(计算容错)在大数据体系原创 2021-10-25 11:16:35 · 1150 阅读 · 0 评论 -
大数据理论与实践3 分布式文件系统HDFS
Hadoop变成熟的一个原因正是HDFS高可用的出现。简介什么是HDFSHDFS(Hadoop Distributed File System):Hadoop分布式文件系统,目前是Apache Hadoop的核心子项目。在开源大数据技术体系中,它的地位无可替代。设计目标需要运行在大量廉价商用机器上(需要容错机制)简单一致性模型(不能并发不能随机):一次写入多次读取,支持追加写,但不允许并发写和随机修改,通过对写操作的严格限制来保证数据的一致性流式数据访问:批量读而非随机读,关注吞吐量而非时间原创 2021-10-15 19:23:35 · 328 阅读 · 0 评论 -
大数据理论与实践2 分布式协调服务Zookeeper
什么是ZooKeeper“三高”:高可用、高容错和高性能的分布式协调系统。将复杂易错的分布式一致性服务封装起来,形成高效可靠的原语集,并提供简单易用的访问接口。为大型分布式系统提供关键、共性、高效和可靠的协调服务,包括:数据发布订阅分布式锁统一命名配置管理集群管理(Master选举、节点上下线动态监测)目前ZooKeeper是开源技术体系的无可替代的基础组件。...原创 2021-10-09 00:30:36 · 410 阅读 · 0 评论 -
大数据理论与实践1 综述
大数据技术综述大数据技术体系大数据是指超出00000Volume 数据规模大:100PB往上才能叫规模较大Variety 数据类型多样Velocity 生成速度极快Value 价值大但密度低大数据技术大数据技术是以Hadoop/类Hadoop为代表的大规模分布式集群技术体系。体系:是一类技术,代表是Hadoop等。大规模、分布式:很多很多服务器一起工作。Hadoop:通过一系列大规模集群式技术,实现大数据处理的每个环境(采集→存储→管理→计算→分析)。集群内部、集群之间精密分工高度原创 2021-09-24 16:39:16 · 368 阅读 · 0 评论