- 博客(8)
- 收藏
- 关注
RSS订阅原创 MapJoin
b.每个Mapper从Distributed Cache读取HashTableFiles到内存中,在Map阶段直接进行Join,此时的map数由大表的数据量决定。2.hive.mapjoin.smalltable.filesize 默认值为2500000(25M),通过配置该。1.hive.auto.convert.join=true (default :true)，自动开启mapjoin优化。属性来确定使用该优化的表的大小，如果表的大小小于此值就会被加载进内存中。
2023-01-13 17:37:58
164
原创 Hive1迁移数据到Hive3
strategy 选择复制策略，默认值uniformsize，每个map复制的文件总大小均衡；-p 保留源文件状态（rbugpcaxt）（复制，块大小，用户，组，权限，校验和类型，ACL，XATTR，时 间戳）-update 如果目标文件的名称和大小与源文件不同，则覆盖；
2023-01-12 14:29:13
209
原创 Hive skew join
Hive在reduce的过程中会将相同的key放入同一个reduce处理，当某个key的数据量过大时就会发生数据倾斜。
2022-12-30 17:41:54
998
原创 Linux命令
Linux命令查看目录：ls查看目录的详细信息：ll创建目录test: mkdir test进入目录test: cd test/删除空目录test：rmdir test返回上一级目录：cd ..查看日志：more xxx.log实时查看日志：tail -f xxx.log删除文件（不能删除文件夹）： rm -f（不提示直接删除） rm - i（提示是否确认删除）.........
2022-06-17 00:16:42
84
1
原创 DBLink
DBLink是Oracle之间跨库连接的一种方式，在数据库A中创建连接到数据库B的DBLink，可以在数据库A中远程访问数据库B的数据。1. 查询有哪些DBLink的权限select * from user_sys_privs where privilege like upper'%link%';2.在数据库A中创建连接到数据库B的DBLinkcreate database ...
2020-01-01 21:36:05
286
原创 行转列，多行转一行
行转列 customer fruit unit David apple 5 David bananas 8 Mark apple 3 Mark oranges 4 方法一：pivotselect customer,apple,bananas from (select customer,fruit,u...
2019-08-18 22:37:36
160
原创 Grouping Sets
select country,province,city,sum(amount) from table1group by grouping sets（country,(country,province),(country,province,city)）等价于:select country,null as province,null as city,sum(amount) from ta...
2019-08-18 21:05:43
283
原创 数据库语言分类
数据库语言分为DML、DDL、DCL三大类。DML（Data Manipulation Language)数据操纵语言，记录级别： SELECT、UPDATE、INSERT、DELETEDDL（Data Definition Language) 数据定义语言，表级别： CREATE、ALTER、DROP、TRUNCATEDCL（Data Control L...
2019-07-23 23:19:51
961
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人