sofeld的博客

hive 中的自定义函数类型UDF（User-defined function）一对一：传递一个参数，然后对应一个值，例如：substringUDAT (Aggregate Functions)多对一：传递多个参数，返回一个参数 例如聚合函数：max通常group by连用UDTF（Table-Generating Functions ）一对多：传入1个值，返回多个值...

为什么需要使用分析窗口函数有如下需求：求每个部门中工资前三的人乍一听感觉这个需求很简单但是这个简单的案例中，涉及到了分组，排序，条件查询，子查询，如果用 mysql 来实现这语句将会特别复杂，不相信的可以亲自来实现一下这个需求而且语句也很不容易懂求每个部门中工资前三的人 mysql 语句如下意思就是：我们要查询的这个人，在这部门中工资比他高的少于 3 个人（0,1,2 人）。括号里...

问题详情：为了解决 Hive 中创建表的时候，注解等中文显示的乱码问题需要设置 MetaStore DataBase 中某些字段的字符编码为 utf-8Hive MetaStore 配置说明MySQL 授权GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION ; FL...

常用组合：parquet 格式 + snappy 压缩set parquet.compression=snappy; CREATE TABLE db_name.tb_name(id STRING)PARTITIONED BY (date_str STRING ,hour_str STRING )ROW FORMAT DELIMITED FIELDS TERMI...

一、索引简介Hive 支持索引，但是 Hive 的索引与关系型数据库中的索引并不相同，比如，Hive 不支持主键或者外键。Hive 索引可以建立在表中的某些列上，以提升一些操作的效率，例如减少 MapReduce 任务中需要读取的数据块的数量。为什么要创建索引？Hive 的索引目的是提高 Hive 表指定列的查询速度。没有索引时，类似 'WHERE tab1.col1 ...

1.1检查是否已经安装MySQL检查：rpm -qa | grep mysql 删除：sudo rpm -e --nodepsmysql-libs-5.1.66-2.el6_3.x86_641.2安装的版本一般情况下，企业使用MySQL的版本：5.7，和Java项目中使用MySQL是一致的5.1和5.7区别： 服务的名称：<5.5:mysqld >=5.5:mysq...

交互式命令问题现象：bin/hive这个交互性命令行不能同时开多个，开第二个就报错了原因hive中无论是创建的 数据库还是表 ，这些元数据metaStore需要存储默认情况下存储在Derby数据库里面的，属于嵌入式数据，每次仅仅支持一个会话，解决：使用支持多个会话的数据，推荐MySQL存储元素（官方推荐）配置使用MYSQL存储元素文档:https://cwiki.apache...

1、首先强制退出安全模式，因为安全模式只能读，不能修改执行命令：hadoop dfsadmin -safemode leave2、确认是否退出安全模式执行命令：hadoop dfsadmin -safemode get3、删除损坏的 block（但是会导致数据丢失）执行命令：hdfs fsck / -delete就酱。...

hive 介绍 Apache 的顶级项目，(是一个 java 程序) Facebook 公司 (2008 年) 开源给 Apache 基金会！ hive 官网: http://hive.apache.org/ hive 到底是干什么的 将 SQL 转换成 MapReduce 程序，并将程序提交到 YARN 集群运行，不会自动生成结果文件， ...