![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 72
grootblockchain
Happy everyday!
展开
-
Apache doris使用问题记录
某个字段的值超长了,doris会把这条数据丢弃。坑:如果同时插入多条,默认情况下只要有一条插入成功了,doris就会返回成功。可以再插入数据前设置临时变量:SET enable_insert_strict = true 来开启插入时严格校验,这样只要有一条插入失败doris就会返回失败。案例:从mysql 同步至doris时有两个varchar字段超长导致部分数据被丢弃。原因:varchar(n) 再mysql中的n是字符数量,doris中的字节数量,所以如果在mysql中是varchar(n)在doris原创 2022-11-25 01:10:03 · 3331 阅读 · 0 评论 -
docker swarm集群下部署elasticsearch7.6.2集群+kibana7.6.2+es-head+中文分词
上一篇文章是在linux下直接搭建elasticsearch,环境介绍:一下载镜像:elasticsearch:7.6.2,kibana:7.6.2(需要与es版本一致),elasticsearch-head:5docker pull docker.elastic.co/elasticsearch/elasticsearch:7.6.2docker pull docker.elastic.co/kibana/kibana:7.6.2docker pull mobz/elasticse.原创 2020-06-21 13:50:18 · 1621 阅读 · 1 评论 -
Java+springboot+elasticsearch7.6.2实现分组查询(平级+层级)并实现script多字段拼接查询以及大于小于等条件关系查询的实现
Java+springboot+elasticsearch7.6.2实现分组查询(平级+层级)并实现script多字段拼接查询简介:关于elasticsearch的“层级”聚合,百度一下有一大堆文章。这里不再啰嗦了,由于百度了三个小时,也没找到我想要的"平级"查询的方法,最后还是自己研究源码整除来的,其实就是那么那么简单,只是没有例子,就不好整。上干货。注:对es里的专业用语不熟,所以这里...原创 2020-04-26 21:41:39 · 4184 阅读 · 0 评论 -
linux Centos7 安裝搭建elasticsearch7.6.2+kibana7.6.2+中文分词7.6.2详解
linux Centos7 安裝搭建elasticsearch7.6.2+kibana7.6.2即全文检索解决方案ELK中的E和K这是之间安装版,较简单,回头补上docker swarm集群先搭建教程一、安装elasticsearch1、安装包下载:elastic产品下载地址:https://www.elastic.co/cn/downloads/elasticsearc...原创 2020-04-20 21:10:24 · 3200 阅读 · 1 评论 -
hive备份之批量导出表名、建表语句
如果你需要批量导出hive库中的表结构那么你可以试试运行以下shell脚本即可将表名导出到tables.txt,建表语句导出到tablesDDL.txt中。#!/bin/bashhive -e "use huntor_tmp;show tables;" > tables.txtecho sleep startsleep 3echo sleep endcat...原创 2018-08-31 11:13:57 · 4296 阅读 · 0 评论 -
Hive hdfs Exception:Name node is in safe mode.及Access denied for user root. Superuser privile问题解决方法
问题起因:定时执行azkaban任务时报错:WARN security.UserGroupInformation: PriviledgedActionException as:hadoop (auth:SIMPLE) cause:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeMode...原创 2018-08-31 11:17:15 · 843 阅读 · 0 评论 -
azkaban3.16安装部署坑以及azkaban邮件提醒设置
一、azkaban3.16安装部署 启动azkaban-web-server-3.16.0或azkaban-exec-server-3.16.0是如果摆错内容为找不到global.properties、 azkaban-users.xml或keystore 请确认两件事情,①确认文件是否存在,不存在则需要按要求创建。②如果存在则看报错信息中此文件的路径是否正确,此处可以修改azkaban.p...原创 2018-07-24 15:41:11 · 5842 阅读 · 4 评论