
大数据
Alecor
不要被对象、属性、方法所迷惑,最根本的是了解最基础的知识。
展开
-
ES滚动索引设置
ES按照日期滚动索引设置原创 2022-12-25 19:01:37 · 1095 阅读 · 0 评论 -
ES大量数据条件检索准确性问题
ES的排序都是基于评分,而评分是基于当前分片的词频进行计算,每个分片节点的数据评分不一样;ES中基于分片的搜索方式,是分2个阶段进行的,即Query阶段和Fetch阶段。ES的搜索类型有2种;原创 2022-07-16 13:47:00 · 1291 阅读 · 0 评论 -
ES多字段分组聚合(JAVA)
/** * 多字段分组并求和;实现sql:select field1, field2, sum(field3) from table_name group by field1, field2; */ public static void twiceAggSum(QueryBuilder query, String tableName, String groupField1, String groupField2, String sumField) { String原创 2022-04-07 14:43:18 · 5617 阅读 · 0 评论 -
java通过thrift连接hive
前言由于JDBC的连接Hive,只能获取到Hive执行的最终结果。如果想要获取执行过程中的状态,并且使用取消执行的功能。需要使用hiveServer2 thrift的方式。hive执行状态执行状态在TOperationState 类中,包括:INITIALIZED_STATE(0),RUNNING_STATE(1),FINISHED_STATE(2),CANCELED_STATE(3),CLOSED_STATE(4),ERROR_STATE(5),UKNOWN_STATE(6),原创 2020-06-18 09:05:45 · 2082 阅读 · 0 评论 -
Hive元数据表结构详解
https://blog.csdn.net/yu0_zhang0/article/details/80697913转载 2020-05-27 16:46:54 · 700 阅读 · 0 评论 -
linkis安装环境搭建
服务器环境:服务器:centos7 搭建步骤:略SSH免密登陆新建用户和用户组(hadoop): https://blog.csdn.net/zhbzhbzhbbaby/article/details/80824428给用户添加sud权限 因为Linkis的服务是以 sudo -u ${linux-user} 方式来切换引擎,从而执行作业,所以部署用户需要有 sudo 权限,而且是免密的 https://www.cnblogs.com/jacob-tian/p/6477638.html:原创 2020-05-26 14:07:09 · 1729 阅读 · 1 评论 -
Ubuntu修改终端下的语言(也适合虚拟机安装)
如果Ubuntu Server在安装过程中,选择的是中文(很多新手都会在安装时选择中文,便于上手),这样在完成安装后,系统默认的语言将会是中文zh_CN.UTF- 8。但问题是我们安装的是服务器,只需要运行命令行终端,但在终端下无法正常的显示默认中文编码zh_CN.UTF-8。可以有三种方法解决该问题,分别详细介绍如下。第一种:安装zhcon软件包$ sudo apt-get instal...原创 2020-02-09 22:14:51 · 1269 阅读 · 0 评论 -
可视化数据大屏设计(一)概括
概述这是在公司做的第一个数据方向的项目(其实自己也逐渐想多学习点大数据的知识),这次也算是充当一个技术挑战(第一次使用React)吧。这次主要记录一下在前端如何设计和开发数据大屏功能。技术栈SpringBoot+ React(typescript+React+redux-saga) + MySQL效果展示这是整个页面的页面布局方式;参考了 百度Sugar、阿里DataV、腾讯的云图还有...原创 2020-01-07 09:33:14 · 1510 阅读 · 0 评论 -
大数据知识学习总结(思维导图)
原创 2019-09-16 11:51:02 · 2879 阅读 · 0 评论