Hive学习笔记三之函数操作

最新推荐文章于 2024-05-31 19:50:26 发布
最新推荐文章于 2024-05-31 19:50:26 发布
阅读量1k 收藏 1
点赞数
分类专栏： 开发环境的搭建 文章标签： hive hadoop 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_48238787/article/details/121808505
版权

文章目录

5 函数

5.1 系统内置函数

1）查看系统自带的函数

hive> show functions;

在这里插入图片描述

2）显示自带的函数的用法

hive> desc function upper;

在这里插入图片描述

3）详细显示自带的函数的用法

hive> desc function extended upper;

在这里插入图片描述
数据准备：
在这里插入图片描述
在这里插入图片描述

5.2 常用内置函数

5.2.1 空字段赋值

1）函数说明
NVL：给值为 NULL 的数据赋值，它的格式是 NVL( value，default_value)。它的功能是如果 value 为 NULL，则 NVL 函数返回 default_value 的值，否则返回 value 的值，如果两个参数都为 NULL ，则返回 NULL。 2）数据准备：采用员工表
3）查询：如果员工的 comm 为 NULL，则用-1 代替

hive (default)> select comm,nvl(comm, -1) from emp;

4）查询：如果员工的 comm 为 NULL，则用领导 id 代替

hive (default)> select comm, nvl(comm,mgr) from emp;

在这里插入图片描述

5.2.2 CASE WHEN THEN ELSE END(类似于java中的switch case)

  1. 需求：求出不同部门男女各多少人，结果如下
    在这里插入图片描述

  2. 创建本地 emp_sex.txt，导入数据
    在这里插入图片描述

  3. 创建 hive 表并导入数据

    create table emp_sex(
name string, 
dept_id string, 
sex string) 
row format delimited fields terminated by " ";

load data local inpath '/opt/module/hive/datas/emp_sex.txt' into table emp_sex;

    在这里插入图片描述

  4. 按需求查询数据

    select
 dept_id,
 sum(case sex when '男' then 1 else 0 end) male_count,
 sum(case sex when '女' then 1 else 0 end) female_count
from emp_sex
group by dept_id;
5.2.3 行转列(多列合并成一列)

  1. 相关函数说明：
    CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串;
    CONCAT_WS(separator, str1, str2,…)：它是一个特殊形式的 CONCAT()。第一个参数剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL，返回值也将为 NULL。这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接
    的字符串之间;
    注意: CONCAT_WS must be "string or array
    COLLECT_SET(col)：函数只接受基本数据类型，它的主要作用是将某字段的值进行去重汇总，产生 Array 类型字段。

  2. 数据准备

    周嘉伟 白羊座 A
吴文搏 射手座 A
许龙 白羊座 B
任逸飞 白羊座 A
马骏 射手座 A
肖智文 白羊座 B

  3. 需求
    把星座和血型一样的人归类到一起。结果如下：
    在这里插入图片描述

  4. 创建本地 person_info.txt，导入数据：vim person_info.txt

  5. 创建 hive 表并导入数据

    create table person_info(
name string, 
constellation string, 
blood_type string) 
row format delimited fields terminated by " ";


load data local inpath "/opt/module/hive/datas/person_info.txt" into table person_info;

    在这里插入图片描述

  6. 按需求查询数据

    SELECT
t1.c_b,
CONCAT_WS("|",collect_set(t1.name)) Name
FROM (
SELECT
NAME,
CONCAT_WS(',',constellation,blood_type) c_b
FROM person_info
)t1
GROUP BY t1.c_b;
5.2.4 列转行（一行转成多行）

  1. 函数说明：
    （1）EXPLODE(col)：将 hive 一列中复杂的 Array 或者 Map 结构拆分成多行。
    （2）LATERAL VIEW
    用法：LATERAL VIEW udtf(expression) tableAlias AS columnAlias
    解释：用于和 split, explode 等 UDTF 一起使用，它能够将一列数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。

  2. 数据准备
    在这里插入图片描述

  3. 需求
    将电影分类中的数组数据展开。结果如下：

    在这里插入图片描述

  4. 创建本地 movie.txt，导入数据

    vi movie_info.txt

    《疑犯追踪》	悬疑,动作,科幻,剧情
《Lie to me》	悬疑,警匪,动作,心理,剧情
《战狼 2》	战争,动作,灾难

  5. 创建 hive 表并导入数据

    create table movie_info(
 movie string,
 category string)
row format delimited fields terminated by "\t";

load data local inpath "/opt/module/hive/datas/movie_info.txt" into table movie_info;

  6. 按需求查询数据

    SELECT
movie,
category_name
FROM
movie_info
lateral VIEW
explode(split(category,",")) movie_info_tmp AS category_name;
5.2.4 窗口函数（开窗函数）重点

使用背景：
平常我们使用 hive或者 mysql时，一般聚合函数用的比较多。但对于某些偏分析的需求，group by可能很费力，子查询很多，这个时候就需要使用窗口分析函数了。
注：hive、oracle提供开窗函数，mysql8之前版本不提供，但Oracle发布的 MySQL 8.0版本支持窗口函数（over）和公用表表达式（with）这两个重要的功能！

  1. 函数说明：
    分析函数用于计算基于组的某种聚合值，它和聚合函数的不同之处是： 对于每个组返回多行，而聚合函数对于每个组只返回一行。开窗函数指定了分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变化而变化。
    基础结构：分析函数（如:sum(),max(),row_number()...） + 窗口子句（over函数）
    over函数写法： over（partition by cookieid order by createtime） 先根据cookieid字段分区，相同的cookieid分为一区，每个分区内根据createtime字段排序（默认升序）。
    注：加 partition by 的话则把整个数据集当作一个分区，不加 order by的话会对某些函数统计结果产生影响，如sum()

  2. 测试数据
    在这里插入图片描述
    建表语句：

     create table test1(
 cookieid string,
 createtime string,
 pv int) 
 row format delimited fields terminated by ' ';

    数据：

    a 2017-12-01 3
b 2017-12-00 3 
cookie1 2017-12-10 1 
cookie1 2017-12-11 5 
cookie1 2017-12-12 7 
cookie1 2017-12-13 3 
cookie1 2017-12-14 2 
cookie1 2017-12-15 4 
cookie1 2017-12-16 4 
cookie2 2017-12-12 7 
cookie2 2017-12-16 6 
cookie2 2017-12-24 1 
cookie3 2017-12-22 5

  3. 各种操作

    SELECT cookieid,createtime,pv,
SUM(pv) OVER(PARTITION BY cookieid ORDER BY createtime) AS pv1, -- 默认为从起点到当前行
SUM(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) AS pv2, --从起点到当前行，结果同pv1 
SUM(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND CURRENT ROW) AS pv3,   --当前行+往前3行
SUM(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND 1 FOLLOWING) AS pv4,    --当前行+往前3行+往后1行
SUM(pv) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN CURRENT ROW AND UNBOUNDED FOLLOWING) AS pv5   ---当前行+往后所有行  
FROM test1;

    结果：

    在这里插入图片描述

    关键是理解 ROWS BETWEEN 含义,也叫做window子句：
    PRECEDING：往前
    FOLLOWING：往后
    CURRENT ROW：当前行
    UNBOUNDED：无边界，UNBOUNDED PRECEDING 表示从最前面的起点开始， UNBOUNDED FOLLOWING：表示到最后面的终点
    –其他AVG，MIN，MAX，和SUM用法一样

    其它的关键字：
    LAG(col,n,default_val)：往前第 n 行数据
    LEAD(col,n, default_val)：往后第 n 行数据
    **NTILE(n)：**把有序窗口的行分发到指定数据的组中，各个组有编号，编号从 1 开始，对于每一行，NTILE 返回此行所属的组的编号。注意：n 必须为 int 类型。

    注：
    (1) 这些窗口的划分都是在分区内部！超过分区大小就无效了
    (2)如果不指定ROWS BETWEEN,默认统计窗口为从起点到当前行;如果不指定ORDER BY，则将分组内所有值累加

5.2.5：over函数练习：

  1. 数据准备：

    name，orderdate，cost

jack,2017-01-01,10
tony,2017-01-02,15
jack,2017-02-03,23
tony,2017-01-04,29
jack,2017-01-05,46
jack,2017-04-06,42
tony,2017-01-07,50
jack,2017-01-08,55
mart,2017-04-08,62
mart,2017-04-09,68
neil,2017-05-10,12
mart,2017-04-11,75
neil,2017-06-12,80
mart,2017-04-13,94

  2. 需求
    （1）查询在 2017 年 4 月份购买过的顾客及总人数
    （2）查询顾客的购买明细及月购买总额
    （3）上述的场景, 将每个顾客的 cost 按照日期进行累加
    （4）查询每个顾客上次的购买时间
    （5）查询前 20%时间的订单信息

  3. 创建本地 business.txt，导入数据

    vi business.txt

  4. 创建 hive 表并导入数据

    create table business(
name string,
orderdate string,
cost int
) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

load data local inpath "/opt/module/hive/datas/business.txt" into table business;

  5. 按需求查询数据
    (1)查询在 2017 年 4 月份购买过的顾客及总人数

    select name,count(*) over () 
from business
where substring(orderdate,1,7) = '2017-04'
group by name;

    (2)查询顾客的购买明细及月购买总额

    select name,orderdate,cost,sum(cost) over(partition by month (orderdate)  ) from business order by orderdate;

    (3)将每个顾客的 cost 按照日期进行累加

    select name,orderdate,cost,
sum(cost) over() as sample1,--所有行相加
sum(cost) over(partition by name) as sample2,--按 name 分组，组内数据相加
sum(cost) over(partition by name order by orderdate) as sample3,--按 name分组，组内数据累加
sum(cost) over(partition by name order by orderdate rows between 
UNBOUNDED PRECEDING and current row ) as sample4 ,--和 sample3 一样,由起点到当前行的聚合
sum(cost) over(partition by name order by orderdate rows between 1 
PRECEDING and current row) as sample5, --当前行和前面一行做聚合
sum(cost) over(partition by name order by orderdate rows between 1 
PRECEDING AND 1 FOLLOWING ) as sample6,--当前行和前边一行及后面一行
sum(cost) over(partition by name order by orderdate rows between current 
row and UNBOUNDED FOLLOWING ) as sample7 --当前行及后面所有行
from business;

    rows 必须跟在 order by 子句之后，对排序的结果进行限制，使用固定的行数来限制分
    (4)查看顾客上次的购买时间

    select name,orderdate,cost,
lag(orderdate,1,'1900-01-01') over(partition by name order by orderdate ) 
as time1, lag(orderdate,2) over (partition by name order by orderdate) as 
time2 
from business;

    lag()函数在前面有讲过
    (5)查询前 20%时间的订单信息

    select * from (
 select name,orderdate,cost, ntile(5) over(order by orderdate) sorted
 from business
) t
where sorted = 1;
5.2.6 Rank

  1. 函数说明
    RANK() 排序相同时会重复，总数不会变 (例如 两个并列第3，则下一个直接第5)
    DENSE_RANK() 排序相同时会重复，总数会减少 （例如 两个并列第3，下一个还是4）
    ROW_NUMBER() 会根据顺序计算

  2. 需求
    计算每门学科成绩排名。

  3. 数据准备

    a 语文 87
a 数学 95
a 英语 68
b 语文 94
b 数学 56
b 英语 84
c 语文 64
c 数学 86
c 英语 84
d 语文 65
d 数学 86
d 英语 78

  4. 创建本地 score.txt，导入数据:
    vi score.txt

  5. 创建 hive 表并导入数据

    create table score(
name string,
subject string, 
score int) 
row format delimited fields terminated by " ";
load data local inpath '/opt/module/hive/datas/score.txt' into table score;

  6. 按需求查询数据

    select name,
subject,
score,
rank() over(partition by subject order by score desc) rp,
dense_rank() over(partition by subject order by score desc) drp,
row_number() over(partition by subject order by score desc) rmp
from score;

    在这里插入图片描述

    扩展：求出每门学科前三名的学生？

5.3 自定义函数

Hive 自带了一些函数，比如：max/min 等，但是数量有限，自己可以通过自定义 UDF 来方便的扩展。当 Hive 提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。

根据用户自定义函数类别分为以下三种：

  1. UDF（User-Defined-Function）
    一进一出
  2. UDAF（User-Defined Aggregation Function）
    聚集函数，多进一出
    类似于：count/max/min
  3. UDTF（User-Defined Table-Generating Functions）
    一进多出
    如 lateral view explode()

编程步骤：
（1）继承 Hive 提供的类

org.apache.hadoop.hive.ql.udf.generic.GenericUDF
org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;

（2）实现类中的抽象方法
（3）在 hive 的命令行窗口创建函数
添加 jar
add jar linux_jar_path
创建 function

create [temporary] function [dbname.]function_name AS class_name;

（4）在 hive 的命令行窗口删除函数

drop [temporary] function [if exists] [dbname.]function_name;
5.3.1 自定义 UDF 函数

  1. 需求
    自定义一个 UDF 实现计算给定字符串的长度，例如:

    hive(default)> select my_len("abcd"); 4

  2. 创建一个 Maven 工程 Hive

  3. 导入依赖

    <dependencies>
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>3.1.2</version>
</dependency>
</dependencies>

  4. 创建一个类

    package com.zjw;

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException;
import org.apache.hadoop.hive.ql.exec.UDFArgumentTypeException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;
/**
 * 自定义 UDF 函数，需要继承 GenericUDF 类
 * 需求: 计算指定字符串的长度
 */
public class MyStringLength extends GenericUDF {
    /**
     *
     * @param arguments 输入参数类型的鉴别器对象
     * @return 返回值类型的鉴别器对象
     * @throws UDFArgumentException
     */
    @Override
    public ObjectInspector initialize(ObjectInspector[] arguments) throws UDFArgumentException {
        // 判断输入参数的个数
        if(arguments.length !=1){
            throw new UDFArgumentLengthException("Input Args Length Error!!!");
        }
        // 判断输入参数的类型

        if(!arguments[0].getCategory().equals(ObjectInspector.Category.PRIMITIVE)
        ){
            throw new UDFArgumentTypeException(0,"Input Args Type Error!!!");
        }
        //函数本身返回值为 int，需要返回 int 类型的鉴别器对象
        return PrimitiveObjectInspectorFactory.javaIntObjectInspector;
    }
    /**
     * 函数的逻辑处理
     * @param arguments 输入的参数
     * @return 返回值
     * @throws HiveException
     */
    @Override
    public Object evaluate(DeferredObject[] arguments) throws
            HiveException {
        if(arguments[0].get() == null){
            return 0;
        }
        return arguments[0].get().toString().length();
    }
    @Override
    public String getDisplayString(String[] children) {
        return "";
         }
    }

  5. 打成 jar 包上传到服务器/opt/module/hive/datas/myudf.jar
    在这里插入图片描述
    在这里插入图片描述

  6. 将 jar 包添加到 hive 的 classpath

    hive (default)> add jar /opt/module/hive/datas/myudf.jar;

  7. 创建临时函数与开发好的 java class 关联

    hive (default)> create temporary function my_len as "com.zjw.MyStringLength";

  8. 在 hql 中使用自定义的函数

    hive (default)> select ename,my_len(ename) ename_len from emp;
5.3.2 自定义 UDTF 函数

  1. 需求
    自定义一个 UDTF 实现将一个任意分割符的字符串切割成独立的单词，例如：

    hive(default)> select myudtf("hello,world,hadoop,hive", ",");
hello
world
hadoop

  2. 代码实现

    package com.zjw;

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;
import java.util.ArrayList;
import java.util.List;
public class MyUDTF extends GenericUDTF {
    private ArrayList<String> outList = new ArrayList<>();
    @Override
    public StructObjectInspector initialize(StructObjectInspector argOIs)
            throws UDFArgumentException {
        //1.定义输出数据的列名和类型
        List<String> fieldNames = new ArrayList<>();
        List<ObjectInspector> fieldOIs = new ArrayList<>();
        //2.添加输出数据的列名和类型
        fieldNames.add("lineToWord");

        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
        return
                ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames,
                        fieldOIs);
    }
    @Override
    public void process(Object[] args) throws HiveException {

        //1.获取原始数据
        String arg = args[0].toString();
        //2.获取数据传入的第二个参数，此处为分隔符
        String splitKey = args[1].toString();
        //3.将原始数据按照传入的分隔符进行切分
        String[] fields = arg.split(splitKey);
        //4.遍历切分后的结果，并写出
        for (String field : fields) {
            //集合为复用的，首先清空集合
            outList.clear();
            //将每一个单词添加至集合
            outList.add(field);
            //将集合内容写出
            forward(outList);
        }
    }
    @Override
    public void close() throws HiveException {
    }
}

其它步骤类似于UDF

Hive相关文章：
Hive学习笔记之一hive的介绍与安装
Hive学习笔记二之表操作
Hive学习笔记三之函数操作
Hive学习笔记四之Hive实战

孤独的偷学者
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
hive学习笔记精华版
10-08
初学者看这个就够了，越多越难学，Hive是基于Hadoop的一个数据仓库工具(离线)，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。
快速学习-Hive函数
01-20
第 7 章 函数 7.1 系统内置函数 1）查看系统自带的函数 hive> show functions; 2）显示自带的函数的用法 hive> desc function upper; 3）详细显示自带的函数的用法 hive> desc function extended upper; 7.2 自定义函数 1）Hive 自带了一些函数，比如：max/min 等，但是数量有限，自己可以通过自定义 UDF来方便的扩展。 2）当 Hive 提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。 3）根据用户自定义函数
hive学习笔记
01-10
自己在大数据培训班学习整理的笔记，比较详细，适合新手学习，我感觉还是挺有帮助的，希望可以帮助到你
HiveSQL基础窗口函数学习笔记
08-30
HiveSQL基础窗口函数学习笔记
【Hive】——函数案例
qq_42000631的博客
12-25 1197
hive 函数案例
hive学习笔记-函数篇(-)持续更新中
热门推荐
jsphyun的专栏
08-21 2万+
1.关于时间函数 --获取星期几可以使用以下函数 pmod(datediff('dateTimeExp', '2012年任意一个星期天的日期'), 7) 获取 --获取第几周 weekofyear() --日期比较 datediff(‘’,‘’) 2.字符串函数 --正则表达式替换函数：regexp_replace 语法: regexp_replace(string
hive常用函数笔记
大数据的菜????
03-10 210
unix_timestamp:返回当前或指定时间的时间戳。current_timestamp：当前的日期加时间。from_unixtime：将时间戳转为日期格式。dayofmonth：当前时间是一个月中的第几天。months_between： 两个日期间的月份。map_values: 返回map中的value。sort_array： 将array中的元素排序。map_keys： 返回map中的key。last_day：日期的当月的最后一天。current_date：当前日期。to_date：抽取日期部分。
hive函数笔记（持续）
weixin_50883445的博客
06-12 495
一、关系运算 等值比较：= 语法：A=B 描述：如果表达式A与表达式B相等，则为True，否则为False 不等值比较：<> 语法：A<>B 描述：如果表达式A为NULL,或者表达式B为NULL,返回NULL； 如果表达式A与表达式B不相等，则为True，否则为False 小于比较：< 语法：A<B 描述：如果表达式A为NULL,或者表达式B为NULL,返回NULL； 如果表达式A小于表达式B，则为True,否则为False 小于等于比较：<= 语法
Hive学习笔记（八）—— 函数
weixin_45417821的博客
10-23 281
文章目录7.1 系统内置函数7.2 自定义函数7.2.1 自定义 UDF 函数7.2.2 自定义 UDTF 函数 7.1 系统内置函数 1）查看系统自带的函数 hive> show functions; 2）显示自带的函数的用法 hive> desc function upper; 3）详细显示自带的函数的用法 hive> desc function extended upper; 7.2 自定义函数 1）Hive 自带了一些函数，比如：max/min 等，但是数量有限，自己可以通过
HIVE精炼笔记总结——[函数篇]
RobertDowneyLm的博客
05-19 3620
1.  hive函数使用小技巧：测试函数的用法，可以专门准备一个专门的dual表create table dual(x string);insert into table dual values(''); 其实：直接用常量来测试函数即可select substr("abcdefg",1,3); hive的所有函数手册：https://cwiki.apache.org/confluence/disp...
Hive代码分析报告（六）： 语义分析①
weixin_45846560的博客
11-03 1043
2021SC@SDUSC 概述 经过前面的分析，我们知道，Hive处理一条HQL语句，分前端和编译器部分，前端（Cli）主要负责接受用户在命令行上输入的信息，然后准备执行并将执行的结果返回。而后面的工作由Compiler完成。 编译流程的第一步主要由HiveParser部分完成，该类是编译的入口，入参是一条字符串的sql，输出是一棵抽象语法树，ASTNode 是树的头结点，前面的分析知道，其拥有树相关操作、获取孩子节点等方法。 之后编译阶段的任务是语义分析，语义分析首先将抽象语法树，解析为一个Q
Hive基本语法操练
u012430775的专栏
02-27 481
Hive 操作 （一）表操作         Hive 和 Mysql 的表操作语句类似，如果熟悉 Mysql，学习Hive 的表操作就非常容易了，下面对 Hive 的表操作进行深入讲解。 (1)先来创建一个表名为student1的内部表 hive> CREATE TABLE IF NOT EXISTS student1 > (sno INT,sname STRING,age IN
Hive 案例——case when / if 查询
weixin_45417821的博客
08-01 619
case when 语句 类似于 Java中的 switch 语句 switch (choose){ case 1: case 2: case 3: } case 变量或表达式 when 值1 then 语句1; when 值2 then 语句2; 数据准备 name dept_id sex 悟空 A 男 大海 A 男 宋宋 B 男 凤姐 A 女 婷姐 B 女 婷婷 B 女 2．需求 求出不同部门男女各多少人。结果如下： A 2 1 B 1 2
Hive学习笔记
肥猫
07-25 2494
Hive
Hive最全学习笔记总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
04-17 1702
Hive学习1.Hive是什么1.1 Hive概念...
摸鱼大数据——Hive表操作——分区表
weixin_65694308的博客
05-28 569
特点: 分区表会在HDFS上产生目录。查询数据的时候使用分区字段筛选数据，可以避免全表扫描，从而提升查询效率注意: 如果是分区表，在查询数据的时候，如果没有使用分区字段，它回去进行全表扫描，会降低效率只需要记住一点，分区表是用来提升Hive的数据分析效率。
Hive-因精度丢失导致的 join 数据异常
小王是个弟弟
05-31 214
这篇文章介绍了Hive在处理join操作时由于精度丢失导致的数据异常问题。作者通过实例展示了在join操作中，即使两个join key明显不相等，Hive也可能将其匹配，这是因为Hive在执行计划中默认会对不同类型的key进行UDFToDouble转换，导致精度丢失。文章指出了这个问题，并提出了需要从执行计划的角度去理解和解决这类问题。
计算机毕业设计hadoop+spark+hive物流大数据分析平台 物流预测系统 物流信息爬虫 物流大数据 机器学习 深度学习
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
05-29 485
计算机毕业设计hadoop+spark+hive物流大数据分析平台 物流预测系统 物流信息爬虫 物流大数据 机器学习 深度学习
Servlet
最新发布
qq_64011014的博客
05-31 391
在刚才的入门案例中，我们定义了自己的Servlet，实现的方式都是选择实现Servlet，在Servlet的API介绍中，它提出了我们除了实现Servlet还可以继承GenericServlet和继承HttpServlet，通过查阅servlet的类视图，我们看到Servlet下有一个抽象类GenericServlet,抽象类GenericServlet还有一个子类HttpServlet。我们通过浏览器发送请求，请求首先到达Tomcat服务器，由服务器解析请求URL，然后在部署的应用列表中找到我们的应用。
hive的日期操作函数, datefill
03-29
Hive的日期操作函数包括： 1. year(date)：返回日期的年份。 2. quarter(date)：返回日期的季度。 3. month(date)：返回日期的月份。 4. day(date)：返回日期的日号。 5. hour(timestamp)：返回时间戳的小时数。 6....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

孤独的偷学者

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值