czl689的专栏

原创 GP和PG展开数据

select unnest(string_to_array('[北京；

转载 MySQL如何统计一个数据库所有表的数据量

最近在做统计想查找一个数据库里基本所有的表数据量,下面这篇文章主要给大家介绍了关于MySQL如何统计一个数据库所有表的数据量的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下

转载 Thinkpad笔记本ubuntu风扇设置

If you own a ThinkPad, there's a piece of software called thinkfan that does exactly this. As the name obviously suggests, it is specifically made for ThinkPads (thinkpad_acpi).The thinkfan software is available in the standard ubuntu software repositori

原创 ubuntu 20 安装docker

sudo apt-get -y install docker.io11、查看docker版本sudo docker version or sudo docker -v12- auto using sudo to execute docker everytimesudo usermod -a -G docker $USERorsudo usermod -aG docker $USER

原创 TZ时间格式转换

(UNIX_TIMESTAMP(regexp_replace(regexp_replace(eventTime,'T',' '),'Z',''))+8*3600)*1000TO_TIMESTAMP(FROM_UNIXTIME(cast(get_json_value(context,'$.send_time') as bigint)/1000,'yyyy-MM-dd HH:mm:ss'),'yyyy-MM-dd HH:mm:ss')

原创 setStreamTimeCharacteristic

env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);setStreamTimeCharacteristic 1.12版本已经是标记弃用了

转载 Flink窗口全解析：三种时间窗口、窗口处理函数使用及案例

我们经常需要在一个时间窗口维度上对数据进行聚合，窗口是流处理应用中经常需要解决的问题。Flink的窗口算子为我们提供了方便易用的API，我们可以将数据流切分成一个个窗口，对窗口内的数据进行处理。本文将介绍如何在Flink上进行窗口的计算。一个Flink窗口应用的大致骨架结构如下所示：// Keyed Windowstream .keyBy(...) <- 按照一个Key进行分组 .window(...) &

转载 GraphQL

作者：知乎用户链接：https://www.zhihu.com/question/264629587/answer/949588861来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。GraphQL 是一种针对 Graph（图状数据）进行查询特别有优势的 Query Language（查询语言），所以叫做 GraphQL。它跟 SQL 的关系是共用 QL 后缀，就好像「汉语」和「英语」共用后缀一样，但他们本质上是不同的语言。GraphQL 跟用作存储的 NoSQL .

转载 Flink基础（二十）：Table API 和 Flink SQL（五）

Flink Table 和 SQL内置了很多SQL中支持的函数；如果有无法满足的需要，则可以实现用户自定义的函数（UDF）来解决。1 系统内置函数Flink Table API 和 SQL为用户提供了一组用于数据转换的内置函数。SQL中支持的很多函数，Table API和SQL都已经做了实现，其它还在快速开发扩展中。以下是一些典型函数的举例，全部的内置函数，可以参考官网介绍。比较函数SQL：value1 = value2value1 > value2Table API：

转载 【翻译】Flink Table Api & SQL — 内置函数本文翻译自官网：Built-In Functions https://ci.apache.org/projects/flink/fl

【翻译】Flink Table Api & SQL — 内置函数本文翻译自官网：Built-In FunctionsApache Flink 1.9 Documentation: Built-In FunctionsFlink Table Api & SQL 翻译目录Flink Table API和SQL为用户提供了一组用于数据转换的内置函数。此页面简要概述了它们。如果尚不支持所需的功能，则可以实现用户定义的功能。如果您认为该功能足够通用，请为此打开Jira问题，并提供详细说..

转载 Linux Shell 进制错误 - value too great for base (数值太大不可为算数进制的基)

Linux Shell 编程进行数学运算时，如果有字符 '0' 打头的数 Bash 会当做八进制解释，而这经常会引起问题。比如我们用"08"参加运算，本意是当做10进制的8，实际却会运行报错：value too great for base (数值太大不可为算数进制的基)。通常情况下，直接写的数值不会以0打头，但如果是以前面命令的格式化输出为参数时，则往往不能控制。更危险的是，如果参与运算的以'0'打头数值达到了两位数或更多，且数值的每一位均在0-7之间，则 Shell 不会报错，但会输出错误的运算结果

转载 Pulsar与Kafka的区别

在本系列的Pulsar和Kafka比较文章中，我将引导您完成我认为重要的几个领域，并且对于人们选择强大，高可用性，高性能的流式消息传递平台至关重要。消息传递模型(Messaging model)是用户在选择流式消息传递系统时应首先考虑的事情。消息传递模型应涵盖以下3个方面：Message consumption(消息消费)：如何发送和消费消息 Message Acknowledgement(消息确认)：如何确认消息 Message Retention(消息保留)：消息要保留多久、出发消息删除的原因以

转载 数据中台1

本文从数据中台的定义、核心能力、优点出发阐述企业数据中台建设的意义与必要性。一、数据中台定义数据中台是一套可持续“让企业的数据用起来”的机制，一种战略选择和组织形式，是依据企业特有的业务模式和组织架构，通过有形的产品和实施方法论支撑，构建一套持续不断把数据变成资产并服务于业务的机制。二、数据中台必须具备4个核心能力数据中台需要具备数据汇聚整合、数据提纯加工、数据服务可视化、数据价值变现４个核心能力，让企业员工、客户、伙伴能够方便地应用数据。企业数据中台必备4个能力2.1、汇聚

原创 大数据操作系统

转载 Solr学习总结（四）Solr查询参数

今天还是不会涉及到.Net和数据库操作，主要还是总结Solr 的查询参数，还是那句话，只有先明白了solr的基础内容和查询语法，后续学习solr 的C#和数据库操作，都是水到渠成的事。这里先列出solr查询所需要的参数　　wiki 地址：http://wiki.apache.org/solr/FrontPage， 里面有各个参数详细的介绍。　　　　一.基本查询　　q 查询的关键字，此参数最为重要，例如，q=id:1，默认为q=*:*，　　fl 指定返回哪些字段，用逗号或空格分隔，注...

转载 Solr查询参数

solr常用查询参数q:查询关键词。支持 AND，OR ，*，？。支持多字段查询，模糊匹配。fq:filter query，过虑查询。sort:排序规则。默认按score排序。start, rows:分页参数。start：开始的位置，rows：返回条数(page size)。fl: 用来指定文档结果中应返回的 Field 集。默认为 “*”，指所有的字段。用逗号分隔的列表。df:默认的查询字段。Raw Query Parameters:原始查询参数。wt：writer typ

转载 分析函数（窗口函数）

1、分析函数的形式 分析函数带有一个开窗函数over()，包含三个分析子句:分组(partition by),排序(order by),窗口(rows)，他们的使用形式如下：分析函数名(参数) over (partition by子句order by子句rows/range..子句)(注：若窗口函数内和sql语句末尾共存在两个order bya) order by字段两者一致：即sql语句中的order by子句里的内容和开窗函数over（）中的order by子句里的内容一样...

转载 flink如何正确分流

flink如何正确分流分流方式filter分流 split分流 (只能一次分流，分流后的流不能继续分流) side output分流 (推荐使用)场景flink-分流场景.png输入数据：{"key":"001","type":"1","data":"data1"}{"key":"001","type":"11","data":"data11"}{"key...

转载 Flink BroadcastStream

假设存在这样一种场景，需要实时对运行在我们集群上的程序进行日志监控。但是程序的监控规则经常变更。这个时候就需要我们在处理各程序日志数据的时候要实时和当前程序的监控规则进行匹配判断，而且监控规则的变更要实时的被我们处理逻辑感知到。这个时候就可以使用广播状态，将程序的日志数据看做是一个流ActionStream，监控规则数据也看做是一个流RuleStream，将RuleStream流中数据下发到A...

转载 基于Flink和规则引擎的实时风控解决方案

案例与解决方案汇总页： 阿里云实时计算产品案例&解决方案汇总对一个互联网产品来说，典型的风控场景包括：注册风控、登陆风控、交易风控、活动风控等，而风控的最佳效果是防患于未然，所以事前事中和事后三种实现方案中，又以事前预警和事中控制最好。这要求风控系统一定要有实时性。本文就介绍一种实时风控解决方案。1.总体架构风控是业务场景的产物，风控系统直接服务于业务系统，与之相关...

转载 Drools 规则引擎环境搭建

一、关于 drools 规则引擎前面写过一篇 Drools 规则引擎相关的文章，这篇文章主要记录一下规则引擎的环境搭建和简单示例。不熟悉 drools 的朋友可以看看这篇文章：自己写个 Drools 文件语法检查工具——栈的应用之编译器检测语法错误介绍的内容：Drools 规则引擎的使用场景 Drools 规则引擎的优点 Drools的基本工作工程（Fact对象、Drl文件内容、D...

转载 hive优化之调整mapreduce数目

一、调整hive作业中的map数1.通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；2.举例：a)假设input目录下有1个文件a,大小为780M,那么hadoop会将该...

转载 java 工厂模式的作用，为什么要用工厂模式以及示例演示

1 工厂模式的作用，为什么要用工厂模式？工厂模式是为了解耦：把对象的创建和使用的过程分开。就是Class A 想调用Class B,那么只是调用B的方法，而至于B的实例化，就交给工厂类。工厂模式可以降低代码重复。如果创建B过程都很复杂，需要一定的代码量，而且很多地方都要用到，那么就会有很多的重复代码。可以把这些创建对象B的代码放到工厂里统一管理。既减少了重复代码，也方便以后对B的维护。...

转载 java发送http请求（提交form表单）

http://hbiao68.iteye.com/blog/1973914写一个servlet用于测试请求Java代码 importjava.io.IOException; importjava.io.PrintWriter; importjavax.servlet.ServletException; importjavax.servlet.http...

转载 git add 添加错文件 撤销

这样的错误是由于， 有的时候 可能git add . （空格+ 点） 表示当前目录所有文件，不小心就会提交其他文件git add 如果添加了错误的文件的话撤销操作git status 先看一下add 中的文件git reset HEAD 如果后面什么都不跟的话 就是上一次add 里面的全部撤销了git reset HEAD XXX/XXX/XXX.java 就是对某个文件进...

转载 Git强制覆盖master分支

在开发中，通常会保持两个分支master分支和develop分支，但是如果因为develop上面迭代太多而没有及时维护master，最后想丢弃master而直接将测试确认过的develop强推到master，该怎么操作呢？网上搜了一下，但是真正自己使用起来却又暴露出各种问题。因此，做如下总结分享，希望对遇到同样问题的人用帮助。场景一：master下有a.txt文件，develop下有a.t...

转载 git commit之后，想撤销commit

写完代码后，我们一般这样git add . //添加所有文件git commit -m "本功能全部完成"执行完commit后，想撤回commit，怎么办？这样凉拌：git reset --soft HEAD^这样就成功的撤销了你的commit注意，仅仅是撤回commit操作，您写的代码仍然保留。说一下个人理解：HEAD^的意思是上...

转载 这一次彻底搞懂 Git Rebase

使用 Git 已经好几年了，却始终只是熟悉一些常用的操作。对于 Git Rebase 却很少用到，直到这一次，不得不用。一、起因上线构建的过程中扫了一眼代码变更，突然发现，commit提交竟然多达62次。我们来看看都提交了什么东西：这里我们先不说git提交规范，就单纯这么多次无用的commit就很让人不舒服。可能很多人觉得无所谓，无非是多了一些提交纪录。然而，并...

原创 java分层

dao中存放于于数据库直接接触的类，maps中存放查询时使用的sql，service中存放服务实现的详细方法，action中存放某个功能的整体的实现方法。action调serveice,service调dao，dao要用到maps中的查询语句。util中存放最基本模板，以便调用。* 0101.bean/entity* 0201.constant* 0301.DAO/mapper* 03...

转载 Java面向对象之异常（throw与throws）

一、基础概念　　1、throw和throws的区别：　　　位置不同：throws用在函数上，后面跟的是异常类，可以跟多个。　　　　　　　　　throw用在函数内，后面跟的是异常对象。　　　功能不同：throws用来声明异常，让调用者知道该功能有可能出现的问题，并由调用者给出预先的处理方式。　　　　　　　　　throw抛出具体问题的对象。语句执行到throw功能就结束了，跳...

转载 Flink Streaming检查点（Checkpointing）设置

Flink中的每个函数和操作符都可以是有状态的(有关详细信息，请参见使用状态)。有状态函数在单个元素/事件的处理过程中存储数据，使状态成为任何类型的更精细操作的关键构建块。为了使状态容错，Flink需要对状态进行checkpoint（检查点）。检查点允许Flink恢复流中的状态和位置，从而为应用程序提供与无故障执行相同的语义。documentation on streaming fault t...

转载 flink和spark stream等框架的对比

参考这篇文章：https://www.sohu.com/a/196257023_470008我们当时的目标就是要设计一款低延迟、exactly once、流和批统一的，能够支撑足够大体量的复杂计算的引擎。Spark streaming 的本质还是一款基于 microbatch 计算的引擎。这种引擎一个天生的缺点就是每个 microbatch 的调度开销比较大，当我们要...

转载 Python+Selenium+ChromeDriver之浏览器爬虫入门

应用场景搜索引擎；网站迁移；数据整理、分析、统计；跨域、第三方API调用；还有，嗯钓鱼网站啊；......CURLcurl是利用URL语法在命令行方式下工作的开源文件传输工具。它被广泛应用在Unix、多种Linux发行版中，并且有DOS和Win32、Win64下的移植版本Shell：curl https://www.segmentfault.com传统CURL式爬...

转载 Java　理解对象可见性（public、private、protected、默认）

Java借助private、protected、public与默认修饰符提供了成员访问控制。适用于字段、方法或类。private：如果实体使用private修饰符声明，那么实体将只能由定义实体的类中的包含的代码访问protected：实体只能由定义在如下范围内的代码访问1. 定义实体的类...

转载 Java之static静态关键字详解

前言在Java语言中，static表示“静态”的意思，使用场景可以用来修饰成员变量和成员方法，当然也可以是静态代码块。static的主要作用在于创建独立于具体对象的域变量或者方法。本文主要来去讲解一下static的来龙去脉。0. static要解决什么问题？我们知道，当我们通过new关键字去创建对象的时候，那么数据的存储空间才会被分配，类中的成员方法才能被对象所使用。但是呢有两种特殊的...

转载 Java之final关键字详解

前言针对Java语言中的final关键字，想必都不陌生了。本来主要是来对final做关键字做一个总结。final关键字用法修饰类当用final去修饰一个类的时候，表示这个类不能被继承。注意：a. 被final修饰的类，final类中的成员变量可以根据自己的实际需要设计为fianl。b. final类中的成员方法都会被隐式的指定为final方法。说明：在自己设计一个类的时候，要想好这个类...

原创 Toad功能

<br /> Toad功能<br /><br />一、 Toad功能综述<br /><br />在Oracle 应用程序的开发过程中，访问数据库对象和编写SQL程序是一件乏味且耗费时间的工作，对数据库进行日常管理也是需要很多SQL脚本才能完成的。Quest Software为此提供了高效的Oracle应用开发工具-Toad（Tools of Oracle Application Developers）。在Toad的新版本中，还加入了DBA模块，可以帮助DBA完成许多日常管理工作。它最大的特点就是简单