hive中文

最新推荐文章于 2024-06-18 16:02:07 发布
最新推荐文章于 2024-06-18 16:02:07 发布
阅读量1w 收藏
点赞数
分类专栏： 数据仓库 Hive应用 文章标签： 脚本 hadoop windows unix 终端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yfkiss/article/details/8086046
版权

hadoop、hive都支持UTF-8编码，我们可以使用UTF-8编码来处理中文
以下两点需要注意：

1. 处理脚本为UTF-8格式，包括建表脚本，数据处理脚本
例如：如果在windows下使用ultraedit来写HQL程序，在保存文件的时候，保存格式为UNIX类型、UTF-8格式

2. 终端采用UTF-8显示
例如：secucecrt设置字符编码为UTF-8，字体为新宋体，字符集为GB2312

yfk
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive用户手册中文版.pdf
03-22
Hive用户手册中文版.pdf, 快速上手学会操作hive数据库，又快又好的cookbook!!
Hive官方手册翻译(Getting Started)
weixin_34357887的博客
07-23 602
翻译Hive官方文档系列，文中括号中包含 注: 字样的，为我自行标注的，水平有限，翻译不是完美无缺的。如有疑问，请参照Hive官方文档对照查看。内容列表 Cloudera制作的Hive介绍视频 安装与配置 系统需求 安装Hive发行版 从Hive源码编译 运行Hive 配置管理概览 运行时配置 Hive, Map-Reduce 与本地模式 错误日志 DDL 操作 元数据存储 DM...
Hive建表乱码解决--设置编码格式UTF8
最新发布
qq_40623672的博客
06-18 657
Hive建表乱码解决--设置编码格式UTF8
hive函数大全（中文版）
05-02
一、关系运算： 4 1. 等值比较: = 4 2. 不等值比较: 4 3. 小于比较: < 4 4. 小于等于比较: 5 6. 大于等于比较: >= 5 7. 空值判断: IS NULL 5 8. 非空判断: IS NOT NULL 6 9. LIKE比较: LIKE 6 10. JAVA的LIKE操作: RLIKE 6 11. REGEXP操作: REGEXP 7 二、数学运算： 7 1. 加法操作: + 7 2. 减法操作: - 7 3. 乘法操作: * 8 4. 除法操作: / 8 5. 取余操作: % 8 6. 位与操作: & 9 7. 位或操作: | 9 8. 位异或操作: ^ 9 9．位取反操作: ~ 10 三、逻辑运算： 10 1. 逻辑与操作: AND 10 2. 逻辑或操作: OR 10 3. 逻辑非操作: NOT 10 四、数值计算 11 1. 取整函数: round 11 2. 指定精度取整函数: round 11 3. 向下取整函数: floor 11 4. 向上取整函数: ceil 12 5. 向上取整函数: ceiling 12 6. 取随机数函数: rand 12 7. 自然指数函数: exp 13 8. 以10为底对数函数: log10 13 9. 以2为底对数函数: log2 13 10. 对数函数: log 13 11. 幂运算函数: pow 14 12. 幂运算函数: power 14 13. 开平方函数: sqrt 14 14. 二进制函数: bin 14 15. 十六进制函数: hex 15 16. 反转十六进制函数: unhex 15 17. 进制转换函数: conv 15 18. 绝对值函数: abs 16 19. 正取余函数: pmod 16 20. 正弦函数: sin 16 21. 反正弦函数: asin 16 22. 余弦函数: cos 17 23. 反余弦函数: acos 17 24. positive函数: positive 17 25. negative函数: negative 17 五、日期函数 18 1. UNIX时间戳转日期函数: from_unixtime 18 2. 获取当前UNIX时间戳函数: unix_timestamp 18 3. 日期转UNIX时间戳函数: unix_timestamp 18 4. 指定格式日期转UNIX时间戳函数: unix_timestamp 18 5. 日期时间转日期函数: to_date 19 6. 日期转年函数: year 19 7. 日期转月函数: month 19 8. 日期转天函数: day 19 9. 日期转小时函数: hour 20 10. 日期转分钟函数: minute 20 11. 日期转秒函数: second 20 12. 日期转周函数: weekofyear 20 13. 日期比较函数: datediff 21 14. 日期增加函数: date_add 21 15. 日期减少函数: date_sub 21 六、条件函数 21 1. If函数: if 21 2. 非空查找函数: COALESCE 22 3. 条件判断函数：CASE 22 4. 条件判断函数：CASE 22 七、字符串函数 23 1. 字符串长度函数：length 23 2. 字符串反转函数：reverse 23 3. 字符串连接函数：concat 23 4. 带分隔符字符串连接函数：concat_ws 23 5. 字符串截取函数：substr,substring 24 6. 字符串截取函数：substr,substring 24 7. 字符串转大写函数：upper,ucase 24 8. 字符串转小写函数：lower,lcase 25 9. 去空格函数：trim 25 10. 左边去空格函数：ltrim 25 11. 右边去空格函数：rtrim 25 12. 正则表达式替换函数：regexp_replace 26 13. 正则表达式解析函数：regexp_extract 26 14. URL解析函数：parse_url 26 15. json解析函数：get_json_object 27 16. 空格字符串函数：space 27 17. 重复字符串函数：repeat 27 18. 首字符ascii函数：ascii 28 19. 左补足函数：lpad 28 20. 右补足函数：rpad 28 21. 分割字符串函数: split 28 22. 集合查找函数: find_in_set 29 八、集合统计函数 29 1. 个数统计函数: count 29 2. 总和统计函数: sum 29 3. 平均值统计函数: avg 30 4. 最小值统计函数: min 30 5. 最大值统计函数: max 30 6. 非空集合总体变量函数: var_pop 30 7. 非空集合样本变量函数: var_samp 31 8. 总体标准偏离函数: stddev_pop 31 9. 样本标准偏离函数: stddev_samp 31 10．中位数函数: percentile 31 11. 中位数函数: percentile 31 12. 近似中位数函数: percentile_approx 32 13. 近似中位数函数: percentile_approx 32 14. 直方图: histogram_numeric 32 九、复合类型构建操作 32 1. Map类型构建: map 32 2. Struct类型构建: struct 33 3. array类型构建: array 33 十、复杂类型访问操作 33 1. array类型访问: A[n] 33 2. map类型访问: M[key] 34 3. struct类型访问: S.x 34 十一、复杂类型长度统计函数 34 1. Map类型长度函数: size(Map) 34 2. array类型长度函数: size(Array) 34 3. 类型转换函数 35
hive 存储元数据信息支持中文
qq_34897849的博客
11-15 544
hive 存储元数据信息支持中文 在mysql中hive元数据库中执行 ALTER TABLE `COLUMNS_V2` CHANGE `COMMENT` `COMMENT` VARCHAR(256) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT NULL; ALTER TABLE `COLUMNS_V2` CHANGE `COLUMN_NAME` ...
Apache Hive 中文手册_hive_
10-04
Apache Hive 是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供...
HIVE中文使用手册及用户指南
07-17
中文版使得中国用户更方便地理解Hive的详细功能和用法。手册中可能涵盖了数据分区、桶化、JOIN操作、子查询、窗口函数等高级特性，以及如何优化Hive查询性能。 3. **Hive函数大全**： 这份文档详尽列出了Hive支持...
大数据之Hive官方文档简要翻译（中文文档）
11-15
【大数据之Hive官方文档简要翻译（中文文档）】 Hive是一款基于Hadoop的数据仓库工具，它允许用户使用SQL-like的语言（HQL）来查询、管理和处理存储在Hadoop文件系统（HDFS）上的大规模数据集。在Hive的核心组件中...
Apache Hive 中文手册.docx
04-09
Apache Hive 是一个构建在Hadoop生态系统之上的数据仓库工具，其设计目的是为了简化对大量分布式存储数据的管理和分析。Hive 提供了SQL（结构化查询语言）接口，使得非编程背景的用户也能轻松地对大数据进行操作。...
Hive使用手册Hive使用手册
05-14
在大数据处理领域，Apache Hive 是一个非常重要的工具，它提供了SQL-like的语言（HQL）用于对存储在Hadoop上的大规模数据进行查询和分析。本手册将深入探讨Hive的概念、数据类型、表的操作以及优化技巧。 1. **Hive...
Hive用户指南(Hive_user_guide)_中文版.pdf
01-14
1. HIVE结构 Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数 据提取转化加载 （ETL），这是一种可以存储、 查询和分析存储在 Hadoop 中的大规模数据的 机制。 Hive 定义了简单的类 SQL 查询语言，称为 QL，它允许熟悉 SQL 的用户查询数据。 同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理 内建的 mapper 和 reducer 无法完成的复杂的分析工作。 1.1HIVE 架构 Hive 的结构可以分为以下几部分： 用户接口：包括 CLI, Client, WUI 元数据存储。通常是存储在关系数据库如 mysql, derby 中 6 解释器、编译器、优化器、执行器 Hadoop：用 HDFS 进行存储，利用 MapReduce 进行计算 1、 用户接口主要有三个： CLI，Client 和 WUI。其中最常用的是 CLI ， Cli 启动的时候， 会同时启动一个 Hive 副本。 Client 是 Hive 的客户端，用户连接至 Hive Server 。 在启动 Client 模式的时候， 需要指出 Hive Server 所在节点，并且在该节点启动 Hive Server 。 WUI 是通过浏览器访问 Hive 。 2、 Hive 将元数据存储在数据库中，如 mysql 、 derby 。 Hive 中的元数据包括表的名字， 表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。 3、 解释器、编译器、优化器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及 查询计划的生成。生成的查询计划存储在 HDFS 中，并在随后有 MapReduce 调用执行。 4、 Hive 的数据存储在 HDFS 中，大部分的查询由 MapReduce 完成（包含 * 的查询，比 如 select * from tbl 不会生成 MapRedcue 任务）。 1.2Hive 和 Hadoop 关系 Hive 构建在 Hadoop 之上， HQL 中对查询语句的解释、优化、生成查询计划是由 Hive 完成的 所有的数据都是存储在 Hadoop 中 查询计划被转化为 MapReduce 任务，在 Hadoop 中执行（有些查询没有 MR 任 务，如： select * from table ） Hadoop和 Hive 都是用 UTF-8 编码的 7 1.3Hive 和普通关系数据库的异同 Hive RDBMS 查询语言 HQL SQL 数据存储 HDFS Raw Device or Local FS 索引 无 有 执行 MapReduce Excutor 执行延迟 高 低 处理数据规模 大 小 1. 查询语言。由于 SQL 被广泛的应用在数据仓库中，因此，专门针对 Hive 的特性设计 了类 SQL 的查询语言 HQL。熟悉 SQL 开发的开发者可以很方便的使用 Hive 进行开 发。 2. 数据存储位置。 Hive 是建立在 Hadoop 之上的，所有 Hive 的数据都是存储在 HDFS 中 的。而数据库则可以将数据保存在块设备或者本地文件系统中。 3. 数据格式。 Hive 中没有定义专门的数据格式，数据格式可以由用户指定，用户定义数 据格式需要指定三个属性：列分隔符（通常为空格、” t ”、” x001″）、行分隔符 （” n”）以及读取文件数据的方法（ Hive 中默认有三个文件格式 TextFile ， SequenceFile 以及 RCFile ）。由于在加载数据的过程中，不需要从用户数据格式到 Hive 定义的数据格式的转换，因此， Hive 在加载的过程中不会对数据本身进行任何修 改，而只是将数据内容复制或者移动到相应的 HDFS 目录中。而在数据库中，不同的数 据库有不同的存储引擎，定义了自己的数据格式。所有数据都会按照一定的组织存储， 因此，数据库加载数据的过程会比较耗时。 4. 数据更新。由于 Hive 是针对数据仓库应用设计的，而数据仓库的内容是读多写少的。 因此， Hive 中不支持对数据的改写和添加，所有的数据都是在加载的时候中确定好的。 而数据库中的数据通常是需要经常进行修改的，因此可以使用 INSERT INTO ... VALUES 添加数据，使用 UPDATE ... SET 修改数据。 5. 索引。之前已经说过， Hive 在加载数据的过程中不会对数据进行任何处理，甚至不会 对数据进行扫描，因此也没有对数据中的某些 Key 建立索引。 Hive 要访问数据中满足 条件的特定值时，需要暴力扫描整个数据，因此访问延迟较高。由于 MapReduce 的引 入， Hive 可以并行访问数据，因此即使没有索引，对于大数据量的访问， Hive 仍然 可以体现出优势。数据库中，通常会针对一个或者几个列建立索引，因此对于少量的特 定条件的数据的访问，数据库可以有很高的效率，较低的延迟。由于数据的访问延迟较 高，决定了 Hive 不适合在线数据查询。 6. 执行。 Hive 中大多数查询的执行是通过 Hadoop 提供的 MapReduce 来实现的（类似 select * from tbl 的查询不需要 MapReduce）。而数据库通常有自己的执行引擎。
Hive用户指南(Hive_user_guide)_中文版pdf
02-19
Hive用户(Hive_user_guide)_中文版pdf
Hive编程中文版
06-17
Hive编程指南中文版翻译，Hive programing
【官网汉化中文】Hive函数运算符使用方法大全
04-01
hive所有函数 包括UDTs、UDAF、UDTF函数和运算符等，中文汉化，翻译并测试
Hive 快速上手--官网中文翻译
JacksonKing的专栏
04-30 1597
目录 安装和配置 从一个稳定的发行版安装Hive 编译Hive源码 编译主干的Hive 编译分支branch-1 在Hadoop 0.20上在0.13之前编译Hive 在Hadoop 0.23上在0.13之前编译Hive(Ant) 运行Hive 运行Hive CLI 运行HiveServer2 和 Beeline 运行HCatalog 运行WebHCat (Temp...
Hive架构原理-官网中文翻译
JacksonKing的专栏
04-28 599
目录 Hive 架构图 Hive数据模型 Metastore 动机-设计目标 元数据对象 Metastore架构 Metastore Interface Hive Query Language Compiler Optimizer Hive APIs Hive 架构图 Hive 架构 图1显示了Hive的主要组件及其与Hadoop的交互。如图所示，Hive的主...
Hive APIs 概览--官网中文翻译
JacksonKing的专栏
04-28 1863
目录 API 类型 基于操作的API 基于查询的API 可用的API HCatClient (Java) HCatalog存储处理程序(Java) HiveServer2 API HCatalog CLI(命令行) Metastore (Java) Hive (Java) Driver (Java) WebHCat (REST) Streaming Data ...
Hive学习笔记 --- 用中文创建表名和字段
热门推荐
杨鑫newlife的专栏
12-18 1万+
Hive学习笔记 --- 用中文创建表名和字段
hive中文乱码如何解决
07-27
在Hive中遇到中文乱码问题，可以尝试以下几种解决方法： 1. 设置Hive配置文件：在hive-site.xml文件中添加以下配置： ``` <property> <name>hive.cli.print.header</name> <value>true</value> </property> <property> <name>hive.resultset.use.unique.column.names</name> <value>false</value> </property> ``` 这样可以确保Hive在输出结果时正确显示中文。 2. 设置Hadoop配置文件：在hadoop-env.sh文件中添加以下配置： ``` export HADOOP_CLIENT_OPTS="-Dfile.encoding=UTF-8" ``` 这样可以确保Hadoop和Hive使用UTF-8编码。 3. 使用UTF-8字符集：在Hive查询语句中，可以使用UTF-8字符集来处理中文数据。例如： ``` SET mapred.output.charset=UTF-8; SET mapred.input.charset=UTF-8; SET hive.charset=UTF-8; ``` 4. 检查数据源编码：如果数据源是其他系统导入到Hive中的，需确保数据源的编码与Hive一致。可以使用iconv等工具进行编码转换。 5. 使用正确的字符集函数：在Hive查询中，可以使用内置的字符集函数处理中文数据。例如，使用`CONVERT`函数将GBK编码转换为UTF-8编码： ``` SELECT CONVERT(column_name, 'GBK', 'UTF-8') FROM table_name; ``` 尝试以上方法后，应该能够解决Hive中文乱码的问题。如果问题仍然存在，可以进一步检查Hive和Hadoop的版本兼容性，或者考虑使用其他工具进行数据处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值