自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(8)
  • 收藏
  • 关注

原创 MapJoin

b.每个Mapper从Distributed Cache读取HashTableFiles到内存中,在Map阶段直接进行Join,此时的map数由大表的数据量决定。2.hive.mapjoin.smalltable.filesize 默认值为2500000(25M),通过配置该。1.hive.auto.convert.join=true (default :true),自动开启mapjoin优化。属性来确定使用该优化的表的大小,如果表的大小小于此值就会被加载进内存中。

2023-01-13 17:37:58 159

原创 Hive1迁移数据到Hive3

strategy 选择复制策略,默认值uniformsize,每个map复制的文件总大小均衡;-p 保留源文件状态(rbugpcaxt)(复制,块大小,用户,组,权限,校验和类型,ACL,XATTR,时 间戳)-update 如果目标文件的名称和大小与源文件不同,则覆盖;

2023-01-12 14:29:13 206

原创 Hive skew join

Hive在reduce的过程中会将相同的key放入同一个reduce处理,当某个key的数据量过大时就会发生数据倾斜。

2022-12-30 17:41:54 959

原创 Linux命令

Linux命令查看目录:ls查看目录的详细信息:ll创建目录test: mkdir test进入目录test: cd test/删除空目录test:rmdir test返回上一级目录:cd ..查看日志:more xxx.log实时查看日志:tail -f xxx.log删除文件(不能删除文件夹): rm -f(不提示直接删除) rm - i(提示是否确认删除).........

2022-06-17 00:16:42 83 1

原创 DBLink

DBLink是Oracle之间跨库连接的一种方式,在数据库A中创建连接到数据库B的DBLink,可以在数据库A中远程访问数据库B的数据。1. 查询有哪些DBLink的权限select * from user_sys_privs where privilege like upper'%link%';2.在数据库A中创建连接到数据库B的DBLinkcreate database ...

2020-01-01 21:36:05 282

原创 行转列,多行转一行

​​​行转列 customer fruit unit David apple 5 David bananas 8 Mark apple 3 Mark oranges 4 方法一:pivotselect customer,apple,bananas from (select customer,fruit,u...

2019-08-18 22:37:36 158

原创 Grouping Sets

select country,province,city,sum(amount) from table1group by grouping sets(country,(country,province),(country,province,city))等价于:select country,null as province,null as city,sum(amount) from ta...

2019-08-18 21:05:43 282

原创 数据库语言分类

数据库语言分为DML、DDL、DCL三大类。DML(Data Manipulation Language)数据操纵语言,记录级别: SELECT、UPDATE、INSERT、DELETEDDL(Data Definition Language) 数据定义语言,表级别: CREATE、ALTER、DROP、TRUNCATEDCL(Data Control L...

2019-07-23 23:19:51 953

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除