shufangreal的博客

hive拉链表

数据治理概念

CentOS7-之Superset安装1 准备工作，安装python环境在不破坏linux原先的python2.7的情况下安装python3.71.1 安装miniconda下载地址：https://docs.conda.io/en/latest/miniconda.html选择Miniconda3 Linux 64-bit这是一个开源的python的版本管理工具，与anaconda差不大，只是该工具中的包要少一些。bash Miniconda3-latest-Linux-x86_64.sh

SPARK-SQL-之UDF、UDAF1、UDF使用// 注册函数 spark.udf.register("prefix1", (name: String) => { "Name:" + name})// 使用函数spark.sql("select *,prefix1(name) from users").show()2、UDAF使用2.1 弱类型// 1 定义UDAF（弱类型、3.0.0之前得版本可以使用，没标记过时）package com.shufang.rdd

Spark-之自定义wordCount累加器SparkCore中的3种数据类型：累加器（只写）RDD广播变量（只读）累加器在多个action算子触发的job中重复累加，且需要action算子才能触发累加器操作。package com.shufang.accimport com.shufang.utils.ScUtilimport org.apache.spark.SparkContextimport org.apache.spark.rdd.RDDimport org.apache

Spark-之数据持久化（血缘关系 cache\persist\checkpoint）cachepersistcheckpointcache、persist默认都是调用persist(StorageLevel.MEMORY_ONLY)。1、cache & persist由于RDD本身是不存储数据的，它只是一个抽象。多个RDD之间可能存在依赖，这种现象被称为RDD的血缘关系，RDD的血缘关系在job触发的时候形成DAG。1、如果没有将RDD进行持久化。如果一个RDD同时触发2

Spark-之不同的wordCountpackage com.shufang.wcimport com.shufang.utils.ScUtilimport org.apache.spark.SparkContextimport org.apache.spark.rdd.RDDimport scala.collection.mutableobject WordCountDemo001 { def main(args: Array[String]): Unit = { val s

Spark-之聚合算子的关系与区别reduceByKeyaggregateByKeyfoldByKeycombineByKey四种聚合方式都是在shuffle之前在分区内作预先聚合的操作，相对比groupByKey + map的方式，这些性能更加好，因为从map -> 磁盘 -> reduce这个过程中的mapstage的io减少了。这些函数的过程分为：​ 1、分区内聚合map端聚合​ 2、分区间的shuffle聚合下面通过4种不同的算子实现 wordcount操作！！#

Spark- 之不同Source产生RDD的分区数与数据分配通常Spark的数据源可以分为很多中，这里主要是从源码剖析内存集合与文件分区数的确定与数据分配。1 集合RDD的分区与数据分配具体看以下代码及注释。package com.shufang.parallel_yuanliimport com.shufang.utils.ScUtilimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.rdd.R

Flink Temporal Join Versioned Table DemoKeyword: [Temporal Join, Versioned Table, mysql-cdc]1. Flink standalone 环境准备（基于 Flink 1.12.2 版本）(a) 下载 flink 安装包Flink 安装包: https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.12.2/flink-1.12.2-bin-scala

Flink - 之Kafka Avro序列化格式转Json序列化格式（⭐⭐⭐）参考网址：apache avro官网1 背景TODO 后续补充，晚间12点了不想搞了~2 mvn依赖<!-- flink的avro format的依赖 --><dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-avro</artifactId>

Kafka - 之kafka为什么这么快(页缓存、零拷贝、顺序写磁盘)！kafka为什么这么快，主要是得益于以下几点页缓存(读)零拷贝(读写)顺序写磁盘(写)用户应用与磁盘之间文件之间的读写可以大致分为以下几层分工############################### 用户层(服务端应用) 用户态缓存############################### 内核层(操作系统内核) 页缓存 socket缓存##############################

Hbase - 之Phoenix-JDBC连接、命名空间映射1、在客户端本地添加hbase-site.xml<configuration> <property> <name>hbase.zookeeper.quorum</name> <value>shufang101:2181,shufang102:2181,shufang103:2181</value> <description>外部zoo

Java - 之常用工具包1、apache commons-beanutils该maven工具包主要可用用来通过反射对对象进行初始化<dependency> <groupId>commons-beanutils</groupId> <artifactId>commons-beanutils</artifactId> <version>1.9.4</version></dependency

Spark1.6.+ - 之内存管理1、前言在Spark1.6.+及以后的版本就引入了用户自定义的内存管理模型，但是是粗粒度的内存管理模型。总的来说，Spark的内存管理虽然没有做到Flink那么细粒度，但是也已经足够用于对内存进行优化了。Spark的每个运行时组件都是运行在一个独立的container中，这个container的启动内存由以下4个主要的大的内存配置进行确定，我们按照executor的内存单独来看，如下！~spark.executor.memory （heap size）这个

Hive - 之谓词下推解析Hive的谓词下推是在对数据做操作之前，扫描数据进内存的一种优化手段！那么具体什么时候会自动进行谓词下推呢，或者换一句话说谓词下推的规则是怎样的呢 ？-- 1 join 【对于join，不管谓词放在on 还是 放在join都会触发谓词下推】select * from a join b on a.id = b.id and a.name = 'a' and b.name = 'b'; --all pushed select * from a join b on a.i

CentOS7 - 之Nginx-1.12.2安装Nginx是一个出色的反向代理服务器，可以很好的代理服务端，处理客户端的请求。今天我们了解以下Nginx在CentOS7上的安装。注意！正向代理是代理的的客户端，是代理服务器帮客户端去访问其它的服务端。1、首先安装依赖的c语言的编译环境# 使用root权限进行操作sudo yum -y install make zlib zlib-devel gcc-c++ libtool openssl openssl-devel2、进行解压安装#

常用的nginx启停shell脚本#!/bin/bashJAVACMD=$JAVA_HOME/bin/javaAPP_NAME=logger-process-0.0.1.jarcase $1 in "start") { for i in shufang101 shufang102 shufang103 do echo ">>>>>>>>>>>>> $i starting processing jar

Phoenix5.12-之安装部署（Hbase-2.1.1）Phoenix与Hbase的版本兼容是很严格的，我们需要使用Phoenix去适配Hbase，有很严格的版本标准，具体的版本匹配如下图。具体版本的选择请查阅官网下载页面：https://phoenix.apache.org/download.html具体步骤如下：1、下载到tar包到指定的目录2、进行解压操作# 1 解压tar -zxvf phoenix-hbase-2.1-5.1.2-bin.tar.gz -C /opt/mod

Hive-之posexplode函数实现查询startDate～endDate之间的所有日期需求：目前需要动态找到 20200603～20200607之间的所有日期-- 初始数据集WITH temp1 AS (select 'name1' as uid,'2020-06-03' as start_date, '2020-06-07' as end_date UNION ALL select 'name2' as uid,'2020-05-03' as start_date, '2020-05