- 博客(8)
- 资源 (17)
- 收藏
- 关注
原创 搭建Hadoop与Hive环境
下载CentOS 7 ISO镜像文件,并通过虚拟机或物理机安装CentOS 7操作系统。- 在Hive控制台中,您可以执行Hive查询语句,如创建数据库、表、加载数据、查询等操作。- 在MySQL中创建Hive数据库,并授予Hive用户适当的权限。- 在安装过程中,为系统分配必要的网络、用户和权限。- 保存并退出 `.bashrc` 文件。- 保存并退出 `.bashrc` 文件。- 保存并退出 `.bashrc` 文件。- 下载适合您的系统的Java JDK版本。
2023-06-21 02:22:35 220
原创 Hive DDL语法的一些常见示例
当谈到Hive的DDL语法时,DDL(Data Definition Language)用于定义和管理数据库对象(表、视图、分区等)。age INT COMMENT '年龄'
2023-06-21 02:19:14 195
原创 hive 函数使用
示例:SELECT MAP_VALUES(map('key1', 'value1', 'key2', 'value2'));示例:SELECT MAP_KEYS(map('key1', 'value1', 'key2', 'value2'));示例:SELECT DATE_FORMAT('2022-01-01', 'yyyy-MM-dd');示例:SELECT CONCAT_WS('-', '2022', '01', '01');示例:SELECT YEAR('2022-01-01');
2023-06-21 02:13:50 105
原创 Hive分区表与分桶表如何使用
上述示例展示了如何创建分区表并加载数据,以及如何创建分桶表并查询数据。根据实际需求和数据特点,您可以选择使用分区表或分桶表来优化查询性能和数据管理。1. 分桶表将数据分成多个桶(Bucket),每个桶中的数据存储在单独的文件中。1. 分区表是按照一个或多个列的值进行分区的表,每个分区都存储在独立的目录中。Hive 中的分区表和分桶表是用于提高查询性能和管理数据的技术。2. 分区表可以根据查询条件仅加载必要的分区,提高查询性能。2. 分桶表可以针对特定列进行数据均匀分布,提高查询性能。
2023-06-21 02:09:58 193
原创 hive 拉链表如何设计与实现
在维度表和历史表中添加拉链字段,用于标识每条记录的起始日期(start_date)和结束日期(end_date)。- 历史表中的记录对应于维度表中的被更新或删除的记录,并设置正确的起始日期和结束日期。- 初始时,维度表中的所有记录的结束日期可以设置为一个未来日期,表示当前有效。- 当维度表中的记录发生变化时,首先将当前有效记录的结束日期更新为当前日期。- 在维度表中插入新的记录,并设置正确的起始日期和结束日期。- 维度表:定义维度的基本信息和当前有效的记录。- 历史表:用于存储维度变化的历史记录。
2023-06-21 02:09:11 353
原创 hive视图与物化视图使用详解
Hive 视图和物化视图都是在 Hive 数据仓库中处理数据的一种技术。Hive 视图是通过引用查询结果创建的逻辑表,而物化视图是预计算和预存储的查询结果。视图可以简化查询逻辑并重用查询,而物化视图可以提高查询性能。如果需要在 Hive 中使用物化视图,可以考虑使用辅助工具或扩展来实现该功能,例如使用 Apache Hudi 或自定义脚本进行物化视图的维护和更新。由于 Hive 视图是基于查询结果定义的,因此无法直接使用 `UPDATE`、`INSERT` 或 `DELETE` 来更新视图数据。
2023-06-21 02:06:47 606
原创 Spring Boot 使用 Redis
Redis 优势性能极高 – Redis能读的速度是110000次/s,写的速度是81000次/s 。丰富的数据类型 – Redis支持二进制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作。原子 – Redis的所有操作都是原子性的,意思就是要么成功执行要么失败完全不执行。单个操作是原子性的。多个操作也支持事务,即原子性,通过MULTI和EXEC指令包起来。丰富的特性 – Redis还支持 publish/subsc
2020-12-15 07:18:14 120
原创 sql server 操作
#region 存储过程操作 /// /// 执行存储过程,返回SqlDataReader ( 注意:调用该方法后,一定要对SqlDataReader进行Close ) /// /// 存储过程名 /// 存储过程参数 /// SqlDataReader pub
2015-04-01 06:19:59 294
PhysicsEditor 物理编辑器
2013-03-09
Windows Phone 8 Networking Socket 通信 源代码
2012-12-04
android java 连接 sqlserver 要用到的 sqljdbc4.jar
2012-12-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人