YYDS_emmm的博客

MapReduce

在对result进行json转换时，new Gson().toJson(result)，遇到null值不进行转换问题。使用GsonBuilder创建Gson即可解决，代码如下。

Flink求当天uv

pom.xml

代码】HIVE小文件合并。

Python numpy工具集numpy 是居于多维数组，进行处理和计算的工具集创建矩阵import numpy as npnp.array((...)|[....])np.array(dataframe.select(...).collect())#指定区间np.arrange([begin=0,end=10,step=5]) # 不包含end,开始、步长可以不设置 np.arrange(0,10,5) => [0,5] np.arrange(0,10) =>

spark中coalesce、repartition和partitionBy的区别coalescefalse:不产生 shuffletrue:产生 shuffle如果重分区的数量大于原来的分区数量,必须设置为 true,否则分区数不变增加分区会把原来的分区中的数据随机分配给设置的分区个数repartitionrepartition实际上就是coalescerepartition(int n) = coalesce(int n, true)，也就是说，repartition默认就实现了s

ClickHouse的表引擎表引擎是 ClickHouse 的一大特色。可以说， 表引擎决定了如何存储表的数据。 包括：数据的存储方式和位置，写到哪里以及从哪里读取数据。支持哪些查询以及如何支持。 并发数据访问。索引的使用（如果存在）。是否可以执行多线程请求。 数据复制参数。表引擎的使用方式就是必须显式在创建表时定义该表使用的引擎，以及引擎 使用的相关参数。特别注意：引擎的名称大小写敏感。分类：Log 系列表引擎TinyLog 是 Log 系列引擎中功能简单、性能较低的引擎。它的存

Python3.6.6 安装#安装python 依赖yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel#解压重命名tar -zxvf Python-3.6.6.tgz -C /opt/software/python/cd /opt/software/pythonmv Python-3.6.6/ python366#编译cd /opt/software/python/p

在Hive中使用自定义UDF1. pom.xml文件中增加Hive包的依赖<dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>1.1.0</version></dependency>2. Java示例代码如下:package com.utils;import o

FlinkSQL 整合 Hive介绍Flink 从 1.9 开始支持集成 Hive，不过 1.9 版本为 beta 版，不推荐在生产环境 中使用。在 Flink1.10 版本中，标志着对 Blink 的整合宣告完成，对 Hive 的集成 也达到了生产级别的要求。这里使用的 Flink 是 1.13.0，Hive 是 3.1.2。Flink 与 Hive 的集成方式Flink 与 Hive 的集成主要体现在以下两个方面:1.持久化元数据 Flink 利 用 Hive 的 MetaStore 作

Flink 学习总结Flink特点高吞吐、低延迟、高性能支持 Event Time支持有状态的计算高度灵活的窗口计算支持轻量级分布式快照CheckpointsFlink和SparkStream对比♥♥♥本质：SparkStream 是以批处理技术为根本，将数据切成一个一个微小的批次从而实现流式处理（伪流处理）Flink 是完全的流式处理，只要数据一来，就会马上对其进行处理数据模型：Spark采用RDD，SparkStreaming中的DStream也就是一组一组的小批次RD

Flink 的优化配置进程参数操作场景Flink on YARN 模式下，有 JobManager 和 TaskManager 两种进程。在任务调 度和运行的过程中，JobManager 和 TaskManager 承担了很大的责任。 因而 JobManager 和 TaskManager 的参数配置对 Flink 应用的执行有着很大的 影响意义。用户可通过如下操作对 Flink 集群性能做优化。操作步骤（1）配置 JobManager 内存 JobManager 负责任务的调度，以及 TaskM

Spark Flink jar包依赖Spark <properties> <scala.version>2.12.10</scala.version> </properties><dependencies> <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library

Flink 的状态一致性什么是状态一致性有状态的流处理，每个算子任务都可以有自己的状态。所谓的状态一致性， 其实就是我们所说的计算结果要保证准确。一条数据不应该被丢失，也不应该被 重复计算。在遇到故障时可以恢复状态，恢复以后得重新计算，结果应该也是完 全正确的。状态一致性的分类At-Most-Once（最多一次）：当任务故障时，最简单的做法就是什么都不干，既不恢复丢失的数据，也不 重复数据。最多处理一次事件。数据可能会丢失。但是处理的速度快。At-Least-Once（至少一次） ：在大多数的

BroadcastStatepackage org.example.broadcast_joinimport java.sql.{Connection, DriverManager, PreparedStatement}import com.alibaba.fastjson.JSONimport org.apache.flink.api.common.state.{MapStateDescriptor, ReadOnlyBroadcastState}import org.apache.flin

Flink的时间特性和窗口计算时间特性在 TableAPI 或者 SQL 要使用基于时间的操作，需要定义相关的时间语义和时 间数据来源的信息。所以，Table 可以提供一个额外的逻辑上的时间字段，用于 在表处理程序中，指示时间和访问相应的时间戳。时间属性，可以是每个表 schema 的一部分。一旦定义了时间属性，它就 可以作为一个字段引用，并且可以在基于时间的操作中使用。时间属性的行为类 似于常规时间戳，可以访问，并且进行计算。定义处理时间（Processing Time）处理时间语义下，允许表处

Flink中 Table 和 DataStream 的相互转换创建表环境 val bsEnv = StreamExecutionEnvironment.getExecutionEnvironment bsEnv.setParallelism(1) val bsSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build() val bsTableEnv = Stream

TableAPI和FlinkSQL的两种Connect依赖：<properties> <scala.version>2.12.10</scala.version> <mysql.version>8.0.11</mysql.version> <flink.version>1.13.0</flink.version> <encoding>UTF-8</encoding>