Ego_Bai的博客

使用impala查询引擎的时候，如果count(disticnt column)数据量过大会报错，报错内容正在提取遇到以下错误的结果： (370) Query analysis error occurred during query execution: [HY000] : AnalysisException: all DISTINCT aggregate functions need to have the same set of parameters as count(DISTINCT a.udid

欢迎使用Markdown编辑器今天在看同事的redash里的query时，看到一段SQL，看到的时候突然发了一下愣，在日常我们需要进行多表查询时，日常最常用到的有内链接，外链接（inner join，left(right) outer join，full outer join(mysql不支持，可以使用union关键字来合并left join与right join来模拟。在截图中，join...

 Impala和Hive的关系 　　Impala是基于Hive的大数据实时分析查询引擎，直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中。并且impala兼容Hive的sql解析，实现了Hive的SQL语义的子集，功能还在不断的完善中。   与Hive的关系　　Impala 与...

附在最前面官网对照表https://docs.mongodb.com/manual/reference/sql-comparison/index.html mongodb与mysql命令对比传统的关系数据库一般由数据库（database）、表（table）、记录（record）三个层次概念组成MongoDB是由数据库（database）、集合（collection）、文...

HIVE和HBASE区别两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询–因为它只能够在Haoop上批量的执行Hadoop。Apache HBase是一...

Oracle中函数除了的字符串处理，日期函数，数学函数,以及转换函数等常用函数外，还有一类函数是通用函数。主要有：NVL,NVL2,NULLIF,COALESCE，这几个函数用在各个类型上都可以。下面简单介绍一下几个函数的用法。在介绍这个之前你必须明白什么是表中的空值(NULL)1.NVL函数NVL函数的格式如下：NVL(expr1,expr2)含义是：如果expr1为...

背景： 修改了hive表的某些字段的数据类型，如从String -> Double ， 此时，该表所对应的底层文件格式为Parquet，修改之后，更新Impala索引，然后查询修改数据类型的字段，会出现与Parquet schema 列数据类型不兼容的问题。如： Impala —— 正在提取遇到以下错误的结果： Bad status for request TFetchRes...

因为impala与mysql、Oracle在数据类型上并不完全一致 并且最近会经常用到,所以记录一下 类型 说明 BIGINT 此数据类型存储数值，此数据类型的范围为-9223372036854775808至9223372036854775807.此数据类型在create table和alter table语句中使用。 BOOLEAN 此数据类型只存储t...

为了方便学习和测试，所有的例子都是在Oracle自带用户Scott下建立的。 我用了mysql的环境,借助以下语句进行建表和插入数据,以备后续练习使用create table EMP --创建表EMP( empno int(4) not null, ename VARCHAR(10), job VARCHAR(9), mgr ...

1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描， 如： select id from t where num is null 可以在num上设置默认值0，确保表中num列没有null值，然后这样查询： ...

因为最近工作上会常用,记录一下 1、语法：group_concat select city_id, group_concat(concat(type,”,”,cast(count as string)),”#”) from tmp_park_site_device_co...

用户管理：　　1、新建用户：　　　>CREATE USER name IDENTIFIED BY 'ssapdrow';　　2、更改密码：　　　　>SET PASSWORD FOR name=PASSWORD('fdddfd');　　3、权限管理　　　　>SHOW GRANTS FOR name; --查看name用户权限　　　　...

发现今年虽然很多公司有了数据分析岗位面向本科生开放,但几乎数据分析师的实习笔试都没有考编程，注意是都没有考！这也给了我们一些启发，也试说明现在的数据分析岗位职能方向更细化。不定项选择(每题4分共25题)1.同事小鹅在训练深度学习模型是发现训练集误差不断减小,测试集误差不断增大,以下解决方法错误的是: (过拟合怎么处理) 数据增强 增加网络深度 提...

1.为什么需要数据库 文件安全性问题 文件不利于查询和对数据的管理 文件不利于存放海量数据 文件在程序中控制不方便 数据库：高效的存储和处理数据的介质(介质主要是两种：磁盘和内存)2.目前主流的数据库 SQL Sever： 微软的产品，.Net程序员的爱，中大型项目 Oracle： 甲骨文产品， Java程序员，大型项目，适合处理...