weixin_47134119的博客

Flink快速应用文章目录Flink快速应用第 1 节 单词统计案例（批数据）1.1 需求1.2 代码实现通过一个单词统计的案例，快速上手应用Flink，进行流处理（Streaming）和批处理（Batch）第 1 节 单词统计案例（批数据）1.1 需求统计一个文件中各个单词出现的次数，把统计结果输出到文件步骤：1、读取数据源2、处理数据源a、将读到的数据源文件中的每一行根据空格切分b、将切分好的每个单词拼接1 c、根据单词聚合（将相同的单词放在一起）d、累加相同的单词（单词后面

车辆监控文章目录车辆监控第一节 Structured Streaming1.1 Structured Streaming发展历史1.1.1 Spark Streaming第一节 Structured Streaming1.1 Structured Streaming发展历史1.1.1 Spark Streaming

实时数据采集文章目录实时数据采集第一节 配置Nginx1、 安装git工具，安装wget下载工具2、切换到/usr/local/src目录，然后将kafka的 客户端源码使用git clone到本地3、进入librdkafka目录，对kafka客户端源码进行编译4、安装nginx 整合kafka的插件，进入到/usr/local/src目录下，使用git clone nginx整合kafka的源码5、下载nginx源码包6、进入到nginx的源码目录下(编译nginx，包含与kafka整合的插件)7、修

指标统计文章目录指标统计第一节 指标体系第二节 业务数据1.1 物流系统数据库表揽件表（lg_collect_package）客户表（lg_customer）物流系统码表（lg_codes）快递单据表（lg_express_bill）客户地址表（lg_customer_address）网点表（lg_dot）公司表（lg_company）公司网点关联表（lg_company_dot_map）运单表（lg_waybill）线路表（lg_route）运输工具表（lg_transport_tool）转运记录表（

智慧物流文章目录智慧物流一、项目整体架构二、数据采集第 1 节 数据说明第 2 节 业务数据第 3 节 同步数据到Hive3.1 离线数据采集3.1.1 第一次全量导入3.1.2 增量导入三、 数据ETL第 1 节 ODS->DWD1.1 lg_dwd.fact_orders--订单拉链表1.1.1 创建DWD层订单表1.1.2 订单拉链操作1.2 lg_order_items--订单明细表第 2 节 ODS-->DIM2.1 lg_dim.lg_items 商品表2.1.1 商品拉链表操作

Spark GraphX文章目录Spark GraphX第1节 Spark GraphX概述第2节 Spark Grap2.1 GraphX 架构2.2 存储模式2.3 核心数据结构1、Graph2、vertices3、edges4、triplets第3节 Spark GraphX计算案例一：图的基本操作案例二：连通图算法案例三：寻找相同的用户，合并信息第1节 Spark GraphX概述GraphX 是 Spark 一个组件，专门用来表示图以及进行图的并行计算。GraphX 通过重新定义了图的

Spark Streaming文章目录Spark Streaming第1节 Spark Streaming概述第2节 DStream基础数据源2.1 文件数据流2.2 Socket数据流第1节 Spark Streaming概述第2节 DStream基础数据源基础数据源包括：文件数据流、socket数据流、RDD队列流；这些数据源主要用于测试。引入依赖： <dependency> <groupId>org.apache.spa

Spark Core文章目录Spark Core第4节 RDD编程高阶4.1 序列化4.2 RDD依赖关系再谈WordCount4.3 RDD持久化/缓存4.4 RDD容错机制Checkpoint第4节 RDD编程高阶Spark原理4.1 序列化在实际开发中会自定义一些对RDD的操作，此时需要注意的是：初始化工作是在Driver端进行的实际运行程序是在Executor端进行的这就涉及到了进程通信，是需要序列化的。可以简单的认为SparkContext代表Driver。packa

Spark Core文章目录Spark Core第1节 Spark概述1.1 什么是Spark1.2 Spark 与 Hadoop1.3 系统架构1.4 Spark集群部署模式1.5 相关术语第3节 RDD编程3.1 什么是RDD3.2 RDD的特点**1、分区****2、只读**3、依赖4、缓存5、checkpoint3.3 Spark编程模型第1节 Spark概述1.1 什么是SparkSpark是当今大数据领域最活跃、最热门、最高效的大数据通用计算引擎2009年诞生于美国加州大学伯克利

Spark安装配置文章目录Spark安装配置2.1 Spark安装2.2 本地模式2.3 伪分布式2.4 集群模式--Standalone模式2.4.1 Standalone 配置2.4.2 运行模式(cluster / client)2.1 Spark安装官网地址：http://spark.apache.org/文档地址：http://spark.apache.org/docs/latest/下载地址：http://spark.apache.org/downloads.html下载Spa

Scala编程文章目录Scala编程第六部分 特质第1节 作为接口使用的特质第2节 带有具体实现的特质第3节 特质构造顺序第4节 特质继承类第5节 Ordered和Ordering第七部分 模式匹配和样例类第1节 模式匹配第2节 字符和字符串匹配第3节 守卫式匹配第4节 匹配类型第5节 匹配数组、元组、集合第6节 样例类第7节 Option与模式匹配第八部分 函数及抽象化第1节 函数字面量及函数的定义第2节 函数与方法的区别第3节 匿名函数与占位符第4节 高阶函数第5节 闭包第6节 柯里化第7节 部分应

Scala编程文章目录Scala编程第一部分 Scala基础第1节 Scala语言概况1.1 Scala语言起源1.2 Scala语言特点1.3 为什么要学Scala第2节 环境准备2.1 Windows下环境配置2.2 IDEA环境配置2.3 Scala的REPL第3节 基础语法第4节 常用类型与字面量第5节 类层次结构第6节 值与变量&自动类型推断第7节 操作符第8节 块表达式和赋值语句第9节 输入和输出第10节 字符串插值器第11节 对象相等性第二部分 控制结构和函数第1节 if 表达式第

电商离线数仓项目实战 【下】文章目录电商离线数仓项目实战 【下】第二部分 任务调度系统Airflow第1节 Airflow简介1.1、体系架构1.2、重要概念第2节 Airflow安装部署2.1、安装依赖2.2、Python环境准备2.3、安装Airflow2.4、创建数据库用户并授权2.5、修改Airflow DB配置第二部分 任务调度系统Airflow第1节 Airflow简介Airflow 是 Airbnb 开源的一个用 Python 编写的调度工具。于 2014 年启动，2015年春

电商离线数仓项目实战 【下】文章目录电商离线数仓项目实战 【下】第一部分 电商分析之--核心交易第1节 业务需求第2节 业务数据库表结构第3节 数据导入3.1、全量数据导入第一部分 电商分析之–核心交易第1节 业务需求本主题是电商系统业务中最关键的业务，电商的运营活动都是围绕这个主题展开。选取的指标包括：订单数、商品数、支付金额。对这些指标按销售区域、商品类型进行分析。第2节 业务数据库表结构业务数据库：数据源交易订单表（trade_orders）订单产品表（order_pro

电商离线数仓文章目录电商离线数仓一、电商分析之--广告业务第1节 需求分析第2节 事件日志采集第3节 ODS层建表和数据加载第4节 DWD层建表和数据加载4.1、DWD层建表4.2、事件json串解析4.3、DWD层数据加载第5节 广告点击次数分析5.1 需求分析**广告：ad****公共字段**5.2、创建ADS层表5.3、加载ADS层数据第6节 漏斗分析(点击率购买率)6.1、需求分析6.2、创建ADS层表6.3、加载ADS层数据第7节 广告效果分析7.1、需求分析7.2、创建ADS层表7.2、加载

Hive on Tez文章目录Hive on Tez2.1、Tez概述2.2、安装部署Hortonworks在2014年左右发布了Stinger Initiative，并进行社区分享，为的是让Hive支持更多SQL，并实现更好的性能。让Hive的查询功能更强大。增加类似OVER子句的分析功能，支持WHERE子查询，以及调整Hive的样式系统更多的符合标准的SQL模型；优化Hive的请求执行计划，增加 Task 每秒处理记录的数量；引入新的列式文件格式（ORC文件），提供一种更现代、高效和高

DataX 安装及使用文章目录DataX 安装及使用一、DataX快速入门1.1、DataX概述及安装**概述**DataX安装配置1.2、DataX使用案例一、DataX快速入门1.1、DataX概述及安装DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步

电商离线数仓文章目录电商离线数仓一、电商离线数仓设计第1节 需求分析电商业务简介第2节 数据埋点第3节 数据指标体系第4节 总体架构设计4.1、技术方案选型框架选型**软件选型**服务器选型集群规模规划4.2、系统逻辑架构4.3、开发物理环境4.4、数据仓库命名规范二、 电商分析之--会员活跃度第1节 需求分析计算指标：指标口径业务逻辑：第2节 日志数据采集2.1、taildir source配置2.2、hdfs sink配置2.3、Agent的配置2.4、Flume的优化配置2.5、自定义拦截器

Kafka集群与运维文章目录Kafka集群与运维1.集群的搭建1.1 搭建zookeeper集群1.1.1 上传JDK到linux，安装并配置JDK1.1.2. Linux 安装Zookeeper，三台Linux都安装，以搭建Zookeeper集群1.1.3.启动zookeeper1.2、Kafka集群搭建2.1 安装Kafka2.2 配置Kafka2.3 启动Kafka2.监控工具 Kafka Eagle2.1 需要Kafka节点开启JMX2.2 安装2.3 配置环境变量：1.集群的搭建搭建设

Kafka高级特性解析文章目录Kafka高级特性解析2.5 物理存储2.5.1 日志存储概述2.5 物理存储2.5.1 日志存储概述Kafka 消息是以主题为单位进行归类，各个主题之间是彼此独立的，互不影响。每个主题又可以分为一个或多个分区。每个分区各自存在一个记录消息数据的日志文件。图中，创建了一个 tp_demo_01 主题，其存在6个 Parition，对应的每个Parition下存在一个[Topic-Parition] 命名的消息日志文件。在理想情况下，数据流量分摊到各个 Pa