yang灬仔

一、缘由1、在使用GitHub或gitee时，如果A创建了项目仓库，让B参与开发，一般情况下是需要B fork后，然后在自己的项目中开发，提交后，给A项目（原始项目）发送一个新的request，A在自己的仓库中进行合并后，才能看到最新的效果。2、原作者进行了更新，B不能马上看到，而是还需要进行一次request才可以看到以上这种是因为权限问题，因为你不能直接给A提交代码，这样会不可控。通常情况下如果不是信任的人，这是正常的工作模式。但是如果是2个人或多个人作为一个团队一起开发一个项目，再这样

使用gitee免费部署静态网站今天介绍一个免费部署项目的方式，当然这个方式只能是部署静态网站，具体静态网站是啥这里就不介绍了。本文适合对象：新手小白如果是程序员老手，只是想看下怎么部署的话直接跳转到步骤五开始看即可准备工作：1.git账号申请，目前比较流行的有三个，GitHub、GitLab、gitee（本文选用gitee）2.Git安装，具体教程网上有很多，官网也有3.编辑工具安装，静态网站的编辑工具有很多，比如Hbuilder、vscode（推荐）、Dreamweaver等等，当然你

使用spark sql 3.0版本自定义UDFA ，3.0版本之前 extends UserDefinedAggregateFunction 已经过时新方法如下代码：代码中自定义了求和，求平均package com.cy.sparkimport org.apache.log4j.{Level, Logger}import org.apache.spark.rdd.RDDimport org.apache.spark.sql.expressions.{Aggregator, Mu..

squirrel下载从网址http://www.squirrelsql.org/下载相应版本的squirrel的安装jar包，好比下载squirrel-sql-3.8.1-standard.jar window版本。1.4.3.2 squirrel安装Window下：经过cmd进入window控制台，输入 java -jar squirrel-sql-3.8.1-standard.jar显示安装界面。出现安装界面以后，一直点击下一步下一步，直到最终执行完毕。点击Done，最

mysql 5.7安全策略设置 报错ERROR 1193 (HY000): Unknown system variable 'validate_password_policy'为了方便，想要调低mysql 5.7版本的密码级别,于是乎直接设置：设置密码策略最低级别mysql> set global validate_password_policy=0;ERROR 1193 (HY000): Unknown system variable 'validate_password_policy

CentOS7版本中 -bash: locate: 未找到命令使用命令locate时发现系统显示：-bash: locate: 未找到命令，遇到错误。它的原因是：在CentOS 7 系统中默认没有安装该命令。以下为解决办法：1.安装"locate"命令即可。在终端运行“yum install mlocate”命令。2.下载好之后会提示我们：Is this ok [y/d/N]:，这一步我们输入y3.安装好之后，locate命令已安装完成。接下来需更新文件资料库，输入命令：upd.

Dbeaver 连接Phoenix 失败，各种报错：Unexpected driver error occurred while connecting to the databasejava.lang.RuntimeException:class org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback not org.apache.hadoop.security.GroupMappingServiceProviderER..

Idea默认Strart services url Idea中默认使用为https://start.spring.io/，国内网络如果不稳定创建工程会很慢 修改为阿里云地址 https://start.aliyun.com/

向hive脚本中传入参数，两种情况：一、shell脚本调度hive脚本， hive可以直接读取系统变量和环境变量hive脚本--#test.sqluse huh;select '${env:month}' as month from table_name;脚本传参--#start.sh#!/bin/shset -xexport month=`date -d 'last month' +%Y-%m`hive -f test.sql二、使用-hivevar 和 -hive

1、行转列的用法PIVOTCREATEtabletest(idint,namenvarchar(20),quarterint,numberint)insertintotestvalues(1,N'苹果',1,1000)insertintotestvalues(1,N'苹果',2,2000)insertintotestvalues(1,N'苹果',3,4000)insertintotestvalues(1,N'苹果',4,5000)insertinto...

SCHEMA 的启用、操作、关闭1，启用 SCHEMA注意：Phoenix中将HBase的namespace叫做SCHEMA，相当于mysql中的库的概念。（1）默认Phoenix的自定义SCHEMA并没有开启，需要在HBase的hbase-site.xml中增加以下配置项，然后重启Hbase：<property> <name>phoenix.schema.isNamespaceMappingEnabled</nam...

flink使用AsyncFunction在流式处理的过程中, 在中间步骤的处理中, 如果涉及到一些费事的操作或者是外部系统的数据交互, 那么就会给整个流造成一定的延迟. 在 flink 的 1.2 版本中引入了 Asynchronous I/O, 能够支持异步的操作, 以提高 flink 系统与外部数据系统交互的性能及吞吐量.在使用 Flink 的异步 IO 时, 主要有两个 API可以使用, 一个是AsyncDataStream.unorderedWait( ), ...

在Flink中，同一个算子可能存在若干个不同的并行实例，计算过程可能不在同一个Slot中进行，不同算子之间更是如此，因此不同算子的计算数据之间不能像Java数组之间一样互相访问，而广播变量Broadcast便是解决这种情况的.在 flink 中, 针对某一个算子需要使用公共变量的情况下, 就可以把对应的数据给广播出去, 这样在所有的节点中都可以使用了. 典型的代码结构如下所示:在一个算子中使用广播变量主要有两个步骤: 广播变量 (一般写在算子的后面即可) 使...

flink Savepoint 和 Checkpoint 使用checkpoint 应用定时触发，用于保存状态，会过期 内部应用失败重启的时候使用，特点是作业容错自动恢复，轻量，自动周期管理 savepoint 用户手动执行，是指向Checkpoint的指针，不会过期 在升级的情况下使用，特点关注状态数据可以移植性，状态数据生成和恢复成本高，用户手动管理 注意：为了能够在作业的不同版本之间以及 Flink 的不同版本之间顺利升级，强烈推荐程序员通过 uid(String) 方法手动的给

FLINK提交任务的两种方式1、命令行提交bin/flink run -m hadoop:8081 -c cn.test.day01.StreamWordCount -p 4 /test/flink-java-1.0.jar-m 指定jobmanager的位置 -c 程序的全类名 -p 指定并行度更多参数参考：Flink 命令行提交参数2、web页面提交这里上传jar包实际上是传到了JobManager所在的节点...

Flink 命令行提交参数：1 参数必选 ： -n,--container <arg> 分配多少个yarn容器 (=taskmanager的数量) 2 参数可选 ： -D <arg> 动态属性 -d,--detached 独立运行 -jm,--jobManagerMemory <arg> JobManager的内存 [i

operator-state 和 keyed-state 两者的区别详细描述一下上面的问题：operator-state 和 keyed-state 两者的区别？最大并行度又和它们有什么关系？举个生产环境中经常出现的案例，当用户停止任务、更新代码逻辑并且改变任务并发度时，两种 state 都是怎样进行恢复的？总结如下：operator-state： 状态适用算子：所有算子都可以使用 operator-state，没有限制。 状态的创建方式：如果需要使用 op...

一、反压有哪些危害？ 任务处理性能出现瓶颈：以消费 Kafka 为例，大概率会出现消费 Kafka Lag。 Checkpoint 时间长或者失败：因为某些反压会导致 barrier 需要花很长时间才能对齐，任务稳定性差。 整个任务完全卡住。比如在 TUMBLE 窗口算子的任务中，反压后可能会导致下游算子的 input pool 和上游算子的 output pool 满了，这时候如果下游窗口的 watermark 一直对不齐，窗口触发不了计算的话，下游算子就永远无法触发窗口计算了。

在hive-3.1.x版本中，使用hive shell时，会发现在查询命令中夹杂大量的日志信息，严重干扰查询结果显示，特别是强迫症患者，不能忍受。通过修改conf下的日志文件，会发现不起任何作用。解决办法：1.在 Hive 安装目录的 conf 目录下创建出 log4j.properties 日志配置文件，以WARN 级别为例：2.添加如下内容：log4j.rootLogger=WARN, CAlog4j.appender.CA=org.apache.log4j.ConsoleApp

flink集成hive 启动：flink-sql 报错：./sql-client.sh embedded报错如下：2021-12-18 17:49:42,129 INFO org.apache.hadoop.hive.conf.HiveConf [] - Found configuration file file:/home/hadoop/apps/hive-3.1.2/conf/hive-site.xmlException in thr...