wu的博客

Flink yarn 任务job失败 yran application_xxx_id 还处于running状态

ClickHouse官方窗口函数示例官网：https://github.com/ClickHouse/ClickHouse/blob/master/tests/queries/0_stateless/01591_window_functions.sql-- { echo }set allow_experimental_window_functions = 1;-- just something basicselect number, count() over (partition by int

正宗的ClickHouse开窗函数来袭在今年2月6号线上举行的 ClickHouse China Spring Meetup 中，朵夫为我们带来了 ClickHouse Features 2021 的分享，其中有非常多强大的新特性，幻灯片的下载地址如下:https://presentations.clickhouse.tech/meetup50/new_features/在众多的新特性中，我对开窗函数、自定义UDF、ZooKeeper优化等几项特别感兴趣，后续我也打算分别用几篇文章来展开说明。现在

Clickhouse版本：21.3.4.25背景机器分配不足单机多实例配置复制配置文件信息复制配置文件给新实例使用sudo cp /etc/clickhouse-server/config.xml /etc/clickhouse-server/config9001.xmlsudo cp /etc/clickhouse-server/user.xml /etc/clickhouse-server/user9001.xmlsudo cp /etc/systemd/system/clickhou

背景Clickhouse 20.3.18.10 升级到 21.3.4.25版本目的：该三月份发布的版本支持了更多通用的开窗函数，后续会介绍升级流程数据备份对于没有使用每个shard多副本的集群，并且数据表并非全部都是copy表的情况，我们在做升级的时候就需要考虑自己去做备份了，需要备份的数据有这么几种：1、配置（建议所有集群情况均备份，因为数据量很小）：升级之前建议备份clickhouse相关的一些配置文件,默认是在/etc/clickhouse目录下的所有文件(不同环境若有不同请自行确认，总之

hive对有null值的列进行avg,sum,count等聚合性操作结果测试下面展示一些 内联代码片。数值、null、字符串等联合测试with tmp as(select NULL as col1 union allselect 'NULL' as col1 union allselect null as col1 union allselect 3 as col1 union allselect 2 as col1 union allselect '2' as col1)

背景：在测试Clikchouse删除效率的时候插入同一大小同一顺序一样的数据发现查询该表数据缺失，刚刚插入的数据成功了，但是表里面没有：复现：建表：CREATE TABLE ck_test.t_local_1( `id` Int32, `day` Int32)ENGINE = ReplicatedMergeTree('/clickhouse/ck_test/t_local_1/{layer}-{shard}/', '{replica}')PARTITION BY dayO

介绍官方存在几种安装方式：https://clickhouse.tech/docs/en/getting-started/install/From RPM PackagesFrom Tgz ArchivesFrom Docker ImageFrom Precompiled Binaries for Non-Standard Environments本次主要这几种情况下的安装yum安装sudo yum install clickhouse-server clickhouse-client

ClickHouse(system.query_log表)开启慢sql查询开启慢sql查询日志方法：打开各个ClickHouse实例的users.xml文件，在默认配置最上层profile（如default）中加入：<log_queries>1</log_queries>注意：如添加该参数之后表不自动创建，重启clickhouse-server服务即可检查每个节点ch中config.xml文件里默认的日志配置是否开启<query_log> &

简介ClickHouse是"战斗民族"俄罗斯搜索巨头Yandex公司开源的一个极具"战斗力"的实时数据分析数据库，是面向 OLAP 的分布式列式DBMS，圈内人戏称为"喀秋莎数据库"。ClickHouse简称"CH",但在中文社区里大家更偏爱"CK",反馈是因为有"AK"的感觉！与Hadoop、Spark这些巨无霸组件相比，ClickHouse很轻量级，且不依赖于其他组件。特点 列式存储数据库，数据压缩 快 关系型、支持SQL 分布式并行计算，可把单机性能压榨到极限 高可用 数据

CDH 禁用 Kerberos直接在CDHmanger页面更改，重启即可HDFShadoop.security.authentication -&gt; simplehadoop.security.authorization -&gt; 取消勾选dfs.datanode.address -&gt; 改成50010dfs.datanode.http.address -&gt; 改成50...

如何在Hive &amp; Impala中使用UDF1、介绍如何在Hive、Impala中使用UDF函数1.如何使用Java开发Hive的自定义函数（如果使用spark sql注册UDF函数，请参考之前的博客Hive Spark Api 查询、写入、注册UDF函数，SparkSql简单操作）2.如何在Hive中创建自定义函数及使用3.如何在Impala中使用Hive的自定义函数2.UDF...

Spark OOM 问题详解及解决优化方法转自： http://blog.csdn.net/yhb315279058/article/details/51035631Spark中的OOM问题不外乎以下两种情况map执行中内存溢出shuffle后内存溢出map执行中内存溢出代表了所有map类型的操作。包括：flatMap，filter，mapPatitions等。shuffle后内存...

如何高效的使用ForeachRDD对于foreachRDD的正确理解，请参考对DStream.foreachRDD的理解在spark streaming的官方文档中也有对foreachRDD的说明，请参见Design Patterns for using foreachRDD基于数据的连接在实际的应用中经常会使用foreachRDD将数据存储到外部数据源，那么就会涉及到创建和外部数据源的连...

如何高效的使用ForeachRDDforeachRDD(func)的官方解释为The most generic output operator that applies a function, func, to each RDD generated from the stream. This function should push the data in each RDD to an ex...

不仅如此Hive的SQL还可以通过用户定义的函数（UDF），用户定义的聚合（UDAF）和用户定义的表函数（UDTF）进行扩展。（几个函数之间的区别）Hive中不仅可以使用逗号和制表符分隔值（CSV / TSV）文本文件，还可以使用Sequence File、RC、ORC、Parquet （知道这几种存储格式的区别），当然Hive还可以通过用户来自定义自己的存储格式，基本上前面说的到的几种格式完全够了。Hive旨在最大限度地提高可伸缩性（通过向Hadoop集群动态添加更多机器扩展），性能，

Linux 服务 一键安装服务代理上网yum install squid -y安装完成之后，配置配置文件，可以使用下面的配置文件/etc/squid/squid.conf更改http_port 0.0.0.0:3128为代理端口## Recommended minimum configuration:## Example rule allowing access from...

Kerberos 认证的Hbase Scala Api配置文件#Hbase 连接参数kerberos.hbase.user21 = hbase/cdh21@HADOOP.COMkerberos.hbase.keytab21 = C:/Users/user/Desktop/keytable/hbase.keytabscala rowkey查询api（Hbase 2.0.0 版本）im...