2020年11月_vkingnew

12月 11月 09月 08月 07月 06月 05月 01月

原创 Cloudera CDP 7 版本以及软件依赖

目录版本概述：Cloudera 7.1.4版本的软件版本：各个软件的依赖关系如下：版本差异：版本概述：在进入到CDH 7版本之后 Cloudera发布了两个发型包，一个用于运行在云上的（CDP public cloud），一个是客户自己安装的（CDP Data Center）。在2020年9月24日之后CDP Data Center 改名为CDP Private CloudWith the recent launch of CDP Private Cloud f...

2020-11-23 21:17:34 6879 4

原创 Cloudera CDP 7 中不支持的Hive 3 的功能

Cloudera 7中的Hive不支持的接口和功能：Unsupported InterfacesDruidHcat CLIHive CLI (replaced by Beeline)Hive ViewLLAP (available in CDP Public Cloud only)MapReduce execution engine (replaced by Tez)PigS3 (available in CDP Public Cloud only)Spark executi...

2020-11-23 12:13:16 644

原创 Impala HA

Impala的高可用：1.Haproxy2.nginx参考：http://impala.apache.org/docs/build/html/topics/impala_proxy.htmlhttps://blog.csdn.net/abyslll/article/details/88019310https://blog.csdn.net/lvtula/article/details/89886157

2020-11-23 12:04:59 368

原创 Impala 端口列表

Scope / Role Startup Flag Default Port CommentImpala Daemon --beeswax_port 21000 Port on which Beeswax client requests are served by Impala Daemons.Impala Daemon --hs2_port 21050 Port on which HiveServer2 client requests are served by Impala Daemons.Im.

2020-11-23 11:39:42 724

原创 Impala JOIN语句

支持的JOIN列表：Self-joinsInner joinsOuter joinsEquijoins and Non-EquijoinsSemi-joins:Anti-joins不支持的JOIN：不支持的JOIN：Natural joins原因： Impala不支持自然连接运算符，这是为了避免不一致或庞大的结果集。自然连接去掉了ON和USING子句，而是自动连接左表和右表中具有相同名称的所有列。对于快速发展的数据结构（如Hadoop中通常使用的数据结构），不建

2020-11-23 11:31:30 1009

原创 Impala 3.2 版本以来的新特性

impala 和CDH的版本：CDH 6.3.2 impala 3.2CDP 7.1.x Impala 3.4impala 3.4 将适Impala 3版本的最后一个版本，此后社区的重点将是Impala 4 版本Impala 4 新特性：1.删除对过时操作系统（Centos6、Ubuntu14等）的支持、删除对Sentry的支持、删除对lzo的支持2.执行实例支持多线程计算Impala在IO层是多线程的，每个executor(impalad)多线程地从多个磁盘以及网络读取数据..

2020-11-23 10:47:28 2455

原创 Cloudera CDH 常见的版本

　　 7.1.4 7.1.3 7.1.2 7.1.1 7.0.3 6.3.2 5.16.2 　 2020/10/14 2020/8/10 2020/6/4 2019/11/24 2019/11/12 2019/6/18 　 Component Version Version Version Version Version Version Ve...

2020-11-20 22:39:09 8748 8

原创 Impala 性能调优和设计

优化思路：Impala中，提供了10大类优化思路和方法：1.分区2.连接查询性能考虑3.表和列信息统计4.Impala性能测试：5.基准Impala查询：6. 控制Impala的资源使用情况：7.使用Impala查询Amazon S3的文件系统。8.HDFS缓存9.执行计划和查询概况10. 数据块倾斜表分区：基于不同列值进行查询，避免大量无效信息过滤，和常规数据库分区理念一致。连接查询性能考虑：连接查询的主要类，你可以在SQL级，相对于变化的物理因素如文件格式或硬件配置。有

2020-11-19 19:40:04 867

原创 Impala 和 Hive 之间的SQL 差异

基于impala 3.2版本：概述：impala 遵循SQL-92标准，但是在内置函数上有了不少自己的扩展。由于impala和hive共享相同的metastore数据库，并且它们的表经常互换使用。impala 不支持的Hive的功能：1.函数：ovar_pop, covar_samp, corr, percentile, percentile_approx, histogram_numeric, collect_setXML 函数2.数据类型：DATE 类型和binary类

2020-11-19 19:09:41 2180

原创 Impala SQL的迁移

基于 impala 3.2 版本从其他的数据库系统中迁移需要考虑如下几个方面：1.DDL和DML语句的迁移2.数据类型的适配3.SQL语句的适配4.SQL结构的双检5.SQL语句和语法的验证参考：https://docs.cloudera.com/documentation/enterprise/latest/topics/impala_porting.htmlhttp://impala.apache.org/docs/build3x/html/topics/..

2020-11-19 17:47:35 1085

原创 Impala 数值函数

1.求绝对值，正值，负值：ABS(numeric_type a)POSITIVE(numeric_type a)NEGATIVE(numeric_type a)NEGATIVE 等同于 -abs(a)POSITIVE 等同于 abs()2.求余数，求商：QUOTIENT(BIGINT numerator, BIGINT denominator), QUOTIENT(DOUBLE numerator, DOUBLE denominator)FMOD(DOUBLE a, DOUBL

2020-11-19 17:13:04 2706

原创 Impala 聚合函数和分析函数

版本：impala 3.2impala 支持的聚合函数如下：APPX_MEDIANAVGCOUNTSUMGROUP_CONCATMAXMINNDVSTDDEV, STDDEV_SAMP, STDDEV_POPVARIANCE, VARIANCE_SAMP, VARIANCE_POP, VAR_SAMP, VAR_POPimpala支持的分析函数：Analytic functions (also known as window functions)over语句的语法：.

2020-11-19 16:29:47 4106

原创 Impala 转换函数和其他函数

基于impala 3.2版本1.转换函数：CAST(expr AS type)2.数据类型判断：TYPEOF(type value)3.UUID函数select uuid() UUID;2e2e4db5-6fe3-436d-92a8-bdecc40f1ddd4.数据库的辅助信息函数：4.1 查询登录的数据库：CURREN_DATABASE()4.2.查询登录的用户:user() ,EFFECTIVE_USER() ,LOGGED_IN_USER()4.3查询版本.

2020-11-19 15:44:21 1088

原创大数据性能测试介绍

大数据性能测试的目的1.大数据组件的性能回归，在版本升级的时候，进行新旧版本的性能比对2.在新版本/新的生产环境发布之后获取性能基线，建立可度量的参考标准，为其他测试场景或者调优过程提供对比参考3.在众多的发行版本中进行测试比对，为PoC测试提供参考数据4.支持POC测试，得出结论，到时候可以根据业务模型和需求，或者根据客户需求选择不同的方案。5.在客户方进行性能测试，达到客户要求的性能标准满足客户使用的需求。性能测试的时机：1.上线新版本2.上线新的环境/新的主机3.开

2020-11-19 10:11:59 1839 3

原创 Impala 条件函数

支持的条件函数列表：CASECASE2COALESCEDECODEIFIFNULLISFALSEISNOTFALSEISNOTTRUEISNULLISTRUENONNULLVALUENULLIFNULLIFZERONULLVALUENVLNVL2ZEROIFNULL1.条件判断2.NULL处理3.TRUE FALSE 处理4.NULL ZERO处理参考：http://impala.apache.org/docs/build/html/topic.

2020-11-19 00:40:06 1290

原创 Impala JSON函数

在impala 6.3 版本中加入JSON解析函数，此前的版本则没有提供JSON解析函数需要自己编译安装。The following characters are supported in the selector JSON path:$ : Denotes the root object. : Denotes the child operator[] : Denotes the subscript operator for array* : Denotes the wildcard for

2020-11-19 00:30:41 5300

原创 Impala 字符串函数详解

impala 3.2版本参考：https://docs.cloudera.com/documentation/enterprise/latest/topics/impala_string_functions.htmlhttp://impala.apache.org/docs/build/html/topics/impala_string_functions.html#string_functions__ascii

2020-11-19 00:17:42 8657

原创 Impala 日期时间函数详解

基于impala 3.2 版本时间的基本单元 time_unityear 年month 月week 周day 日hour 小时minute 分钟秒 second毫秒 Millisecond （us） 0.0001 s 1/10^3 s微妙 Microsecond （μs） 0.000001 s 1/10^6 s纳秒 Nanosecond （ns） 0.000000001 s 1/10^9 s 此外还有一些时间单元季度 qu.

2020-11-18 22:31:13 21892

原创 Clickhouse 生成日历表

clickhouse的 date和datetime的时间范围目前只支持[1970-01-01 00:00:00, 2105-12-31 23:59:59].创建表calender ，一个字段用于存储日期即可。create table calender(date_dt datetime) engine=Log;CREATE TABLE default.calender_details( `date_dt` DateTime COMMENT '日期 2016-01-01 00:00..

2020-11-07 00:52:19 2469 2

原创 Clickhouse CTE 支持

从clickhouse 20.3.30版本开始支持标准SQL的部分with语句的写法即支持CTE(common table expressionn)SELECT version()┌─version()──┐│ 20.10.3.30 │└────────────┘-- 子查询CDP01.example.com :) with a as (select number from system.numbers limit 10) select * from a;WITH a AS

2020-11-07 00:44:03 903 4