![](https://img-blog.csdnimg.cn/20190918140158853.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据
文章平均质量分 86
包括但不限于:Flume、Oozie、Hive、Azkaban、Impala、ClickHouse、Zookeeper、
johnny233
模式识别与智能系统研究生毕业,8年工作经验。
Java后端技术扎实,有前端运维产品经验。
记录工作中遇到的问题,知识总结,读书笔记等。
提供免费或付费问题答疑解决,咨询服务
展开
-
ES系列之Logstash实战入门
概述:原理、安装、目录;配置:logstash.yml、jvm.options、pipelines.yml;组件:input、filter、output;实战:采集Nginx日志、增量抽取表数据、加密敏感配置;进阶:条件语法、插件管理、codec、自定义插件;原创 2024-02-29 23:28:05 · 1783 阅读 · 1 评论 -
Spring Cloud Alibaba Nacos实战笔记
概述、部署模式、多环境配置、安装部署原创 2021-05-26 23:14:59 · 1314 阅读 · 1 评论 -
Nacos配置与本地配置优先级
仅仅只是一个实验原创 2021-08-29 13:20:12 · 9368 阅读 · 1 评论 -
ClickHouse学习教程
应用场景;架构:安装与配置;数据类型;功能:数据TTL;SQL语法;系统表;表引擎:TinyLog、Memory、Merge、Distributed、MergeTree;分片与副本;列式存储;物化视图;向量化执行;本地表和分布式表;原创 2020-06-11 21:31:54 · 4097 阅读 · 0 评论 -
《clickhouse原理解析与应用实践》读书笔记
福利置顶(温馨提示):电子版可在微信读书app阅读。第一章 ClickHouse的前世今生原创 2020-08-23 21:51:57 · 5486 阅读 · 0 评论 -
Impala基础知识
特性与缺点;Impala对比Hive;框架;查询执行过程;建表语句;元数据;broadcast vs shuffle;外部表;统计信息;分区表;存储格式;操作符;查询计划;最佳实践;Excel连接Impala;原创 2020-12-26 14:00:04 · 7001 阅读 · 3 评论 -
set ENABLE_EXPR_REWRITES = 0及GROUP BY expression must not contain aggregate functions等问题解决
set ENABLE_EXPR_REWRITES = 0;AnalysisException: GROUP BY expression must not contain aggregate functions;AnalysisException: GROUP BY: ordinal must be >= 1: 0;IllegalStateException: null;原创 2022-12-06 20:52:43 · 1131 阅读 · 0 评论 -
Impala SQL常见报错问题排查与解决记录
CDH 7.1.7版本enable关键词导致语法失败;Invalid query handle;SQLException: Sender timed out waiting for receiver fragment instance:dest node;SQLException: Cancelled;Cancelled from Impala's debug web interface;原创 2022-03-11 22:14:41 · 14561 阅读 · 0 评论 -
Excel连接Impala
步骤:1.下载安装驱动2.配置连接信息3.Excel连接数据源原创 2020-12-27 16:42:08 · 2623 阅读 · 4 评论 -
Hive-JDBC round(num, 0)取整问题记录
Hive-JDBC NumberFormatException: For input string原创 2021-12-31 17:42:19 · 1287 阅读 · 0 评论 -
Impala推送数据到Redis及String.valueOf()生产问题踩坑
背景Impala数据推送到Redis,平台业务使用方反馈插入到Redis的数据不对:private void pushToRedis(Map query, List<Map<String, Object>> datalist) { JedisCluster redisCluster = this.getConnection(); String[] columnArr = (query.get(COLUMN) + "").replace("\n", "").replac原创 2022-03-07 23:48:38 · 683 阅读 · 0 评论 -
Impala Parameter #1 is unset问题排查
Impala/Hive Parameter #1 is unset问题原创 2022-08-13 13:56:09 · 1073 阅读 · 0 评论 -
《Hive性能调优实战》读书笔记
读书笔记。可作为工具书,值得翻阅,常读常新原创 2022-12-02 20:55:54 · 544 阅读 · 0 评论 -
Hive系列之开窗函数
窗口聚合函数、窗口排序函数、窗口分析函数原创 2021-07-03 15:28:47 · 393 阅读 · 0 评论 -
Hive SQLException: Method not supported问题
java.net.SocketTimeoutException: Read timed out;setQueryTimeout;java.sql.SQLException: Method not supported;升级hive版本;原创 2021-09-17 21:15:24 · 5803 阅读 · 0 评论 -
Hive SQL执行失败问题记录
Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask;Error while cleaning up the server resources;The query did not generate a result set;No such file or directory;原创 2022-01-04 20:33:42 · 7355 阅读 · 0 评论 -
Hive系列之解析JSON数据
概述:大数据处理,Hive解析JSON数据;实战:get_json_object、json_tuple、explode、自定义函数解析 Json 数组原创 2021-06-24 22:23:21 · 1088 阅读 · 0 评论 -
Oozie入门笔记
概述原创 2021-06-24 21:33:42 · 313 阅读 · 2 评论 -
Flume学习笔记
概述;概念;架构;Source:Spooling Directory Source,Taildir Source, Kafka Source,Channel:Sink:Decorators:Interceptor:安装;监控;性能优化。原创 2021-06-27 15:01:50 · 466 阅读 · 2 评论