Maynor的博客

物流项目问题1、物流项目的背景介绍（行业、特点、案例、痛点）1）、行业背景介绍： 自从国内电商购物节开始以后，每年用户电商APP购买物品增加，快递数量指数级别增长。2）、物流行业特点：物流行业属于复合型产业，实时产生大量的业务数据，需要关联性分析处理。3）、项目背景介绍：基于上述诉求，需要将快递物流产生相关业务数据，存储到大数据平台引擎中，进行分析（离线报表和实时查询检索）。4）、物流大数据作用物流大数据应用对于物流企业来讲具有以下3个方面的重要作用提高物流的智能化水平降低物流成本提高用户

​虚拟化（Virtualization），在Windows系统上安装VMWare虚拟化软件，可以将物理机器资源虚拟化到机器上（VM），在虚拟机上安装操作系统，运行应用程序。在计算机中，虚拟化（英语：Virtualization）是一种资源管理技术，是将计算机的各种实体资源，予以抽象、转换后呈现出来，打破实体结构间的不可切割的障碍，使用户可以比原来的组态更好的方式来应用这些资源。

20题30min面试总结

集成Kafka之实时增量ETL（DSL）

SparkStreaming 不足 。。。。。 StructuredStreaming 设计思想

Docker 容器是什么安装及常用命令讲解

1、数据采集如何完成OGG 不要涉及，Oracle DBA完成Canal数据采集，一定知道高可用HA集群模式2、数据量大小Kafka topic 数据存储生命周期（多久）Kafka Topic 个数及分区数和副本Kafka 集群规模及机器配置3、实时增量ETL程序开发，为什么选择使用StructuredStreaming？？重点知识点4、消费Kafka数据几种方式及区别，如何保存偏移量？SparkStreaming Checkpoint或自己管理StructuredStreaming

> 大家好,我是**ChinaManor**,直译过来就是中国码农的意思,俺希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。 面试之前，需要针对每个大数据项目，整理一套属于自己基础知识，必须熟记于心

技术选型

业务服务器数据库 物流系统Logistics：Oracle数据库，运行在Docker容器 客户关系管理系统CRM：MySQL 数据库，运行在Docker容器

如何将业务系统（仅仅以物流系统Logistics和客户关系管理系统CRM为例）实时增量采集数据到分布式消息队列Kafka（1个业务系统存储1个Topic：一对一）。MySQL数据库（CRM系统）：使用`Canal`框架实时采集

存储引擎`Kudu`，类似HBase数据库，由Cloudera公司开发，目的取代HDFS和HBase框架，

Kudu 存储引擎，类似HBase数据库，存储数据，诞生目的：取代HDFS和HBase，既能够实现随机读写数据，又能够批量加载.

​ 无论是OGG采集数据还是Canal采集数据，JSON数据各式字段，基本一致，所以定义JavaBean，分别解析封装数据到JavaBean对象1）、OGG采集JSON数据：7个字段2）、Canal采集JSON数据：12个字段1）、定义 Bean 对象基类table，因此将该属性作为公共属性进行提取，抽象成基类。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zmcLPflD-1652014600916)(1616053553019.)]/**

1、完善业务数据（物流系统和CRM）ETL转换 对51张表数据进行转换POJO对象2、将ETL后数据，保存“save”到Kudu表 insert 插入更新数据 update delete 删除数据

Logistics_Day10：主题及指标开发​ 主要讲解：实时ETL转换开发，编写结构化流（StructuredStreaming）程序，实时从Kafka消费数据，进行ETL转换处理，最终保存到Ku.

​即席查询（Ad Hoc）是用户根据自己的需求，灵活的选择查询条件，系统能够根据用户的选择生成相应的统计报表。​ 即席查询与普通应用查询最大的不同是普通的应用查询是定制开发的，而即席查询是由用户自定义查询条件的。

主要讲解：离线报表数据分析（2个主题：运单主题（讲解）和仓库主题（作业））。

ClickHouse是一个面向列的数据库管理系统（DBMS），用于在线分析处理查询（OLAP）。官网：https://clickhouse.tech/文档：https://clickhouse.tech/docs/en/、https://clickhouse.tech/docs/zh/logo 图标：表示数据为列式存储，红色部分表示要查询数据[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-t2AqM3du-1622726121443)(/img/logo.svg)]

ClickHouse提供了多种不同的表引擎，表引擎可以简单理解为不同类型的表。表引擎（即表的类型）决定了：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-B5VQFSQv-1641169977011)(/img/1616662005733-1622626089308.png)]文档：https://clickhouse.tech/docs/zh/engines/table-engines/1）、MergeTree引擎（合并树及系列引擎）

ClickHouse提供JDBC方式访问数据库，进行DDL和DML操作。

​ 从Spark 1.3版本开始，提供一套完整外部数据源接口（External DataSource Interface）（第一代API）。比如SparkSQL内置数据源：JDBC、JSON、CSV等都是基于DataSource API V1实现功能。自定义外部数据源实现从HBase表批量加载load和保存save数据可以参考提供【06.扩展】提供代码实现，以及视频讲解。接口实现非常简单；能够满足大部分的使用场景；扩展能力有限，难以下推其他算子；缺乏对列式存储读取的支持；写操作不支持事务；

文章目录引言一.ETL架构及Kudu框架二.OGG及Canal数据同步架构图总结引言大家好,我是ChinaManor,直译过来就是中国码农的意思,俺希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,一个平凡而不平庸的人。学习大数据差不多一年了，笔者最近在整理大数据学习的笔记资料，这个系列就是整理的一些大数据必知必会的知识。一.ETL架构及Kudu框架二.OGG及Canal数据同步架构图总结徒手画项目结构也是面试时经常被问到的，有时间可以用笔画一画,加深对项目的印象~原始

Logistics_Day18：数据服务接口开发网址：https://smart.jdwl.com/jh_demo.html01-[复习]-上次课程内容回顾​ 主要实现自定义外部数据源：按照SparkSQL提供DataSource API V2实现ClickHouse数据源，可以批量从ClickHouse数据库加载load和保存save数据，以及流式数据保存。在SparkSQL中，从2.3版本开始，提供DataSource API V2（使用Java语言开发接口）版本，继承结构示意图如下所示：

Please set your HADOOP_HOME variable to the absolute path of | | the directory that contains the hadoop distribution（参考哲学三问）数据是什么，数据从哪里来，到哪里去 有离线业务、也有实时业务（Lambda 架构） 基于Docker搭建异构数据源，还原企业真实应用场景 以企业主流的Spark生态圈为核心技术（SQL和Streaming）  Azkaban定时调度主题及指标

以上便是Kudu底层数据模型图，愿你读过之后有自己的收获,如果有收获不妨一键三连一下~

作业:从零搭建canal实时采集数据1、Linu操作系统安装5.6、5.7、8.x也行安装MSQL数据库2、采用 Docker容器部署安装Cana1,并且配置5 Docker容器部署 Canal3、搭建 Kafka单机版JDK、 Zookeeper和 Kafka4、联动测试向MSQL表中写入数据,Cana实时采集到, Kafka分布式消息队列...