优化相关
优化的相关类目
谭正强
一个不愿在枯燥的日子里自废武功,同时对技术有点追求的 Java、大数据程序员。永远对牛人心生敬仰,对自己不甘平庸。
人到中年,太多的无奈驱使我无法专心做技术,但是在这里我希望这颗心可以纯粹点,聊点对技术的热爱,反省下当下的人生。
展开
-
Spark写入非分区表Hive无法读取的问题
问题描述:Spark2.4写入的非分区表无法使用Hive2.1.1版本的引擎去读取,报错:`Failed with exception java.io.IOException:java.lang.ArrayIndexOutOfBoundsException: 6`原因分析:一、非分区表测试--1. 新建测试表create table tmp.orc(id int, name string) stored as orc;--2.sparksql写入insert into table t原创 2020-10-31 11:55:05 · 747 阅读 · 0 评论 -
clickhouse 常用的运维SQL
1、当前连接数众所周知,CH 对外暴露的原生接口分为 TCP 和 HTTP 两类,通过 system.metrics 即可查询当前的 TCP、HTTP 与内部副本的连接数。ch7.nauu.com :) SELECT * FROM system.metrics WHERE metric LIKE '%Connection';SELECT *FROM system.metricsWHERE metric LIKE '%Connection'┌─metric────────────────┬─v转载 2020-09-29 17:36:38 · 3847 阅读 · 0 评论 -
简单的Linux常用命令
常用操作命令如下:1 、切换目录cd到/tmp 目录:cd /tmp到上层目录:cd ..2 、查看当前目录pwd3、 创建一个新的文件夹:mkdir创建一层目录:创建多层目录:4 、删除目录:rmdir [-p] 如果需要层级删除目录,就需要带上p(只能删除空目录)原创 2014-12-21 09:03:51 · 632 阅读 · 0 评论 -
Git分支管理备忘录
Gitlab分支命名规范publish_v1.0.0_ddl- 发布分支 每次迭代开始建立publish发布分支,分支格式: publish+本地版本编号+本次迭代DDL日期 如: publish_v1.0.0_0509master - 主干分支,每次public分支发布线上验收通过后,将代码merge_request到master,同时打上对应的tagtag命名规范格式:v1.0.0_ddl 前缀:与每次迭代编号一致 后缀:本次迭代的ddl日期如:v1.0.0_20200509如原创 2020-05-11 17:58:26 · 371 阅读 · 0 评论 -
使用子查询可提升 COUNT DISTINCT 速度 50 倍
Countdistinct是SQL分析时的祸根首先:如果你有一个大的且能够容忍不精确的数据集,那像HyperLogLog这样的概率计数器应该是你最好的选择。但对于需要快速、精准答案的查询,一些简单的子查询可以节省你很多时间。让我们以我们一直使用的一个简单查询开始:哪个图表的用户访问量最大?select dashboards.name, count(distinct ...转载 2019-09-02 22:09:13 · 198 阅读 · 0 评论