- 博客(8)
- 收藏
- 关注
RSS订阅
原创 hive Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 处理
我在用hive -e 跑数据的时候，表中的数据是以月份和省份分区的，有的分区跑成功有的分区跑失败了。一眼看到报的错是map内存溢出，非常郁闷。首先我想到的是map的数量不够，或者是分片出了问题。网上说有好多原因：1、集群时间没有同步<我们的集群是生产集群怎么可能犯这种错误>；2、将count（*）换count（1）<这个解决办法根本就是瞎扯>;3、设置set...
2018-12-30 17:58:19
5147
原创 杀掉hive job 的几种方法
简单介绍几种杀hive的办法要想杀干净 先杀脚本 ps -ef|grep 脚本 kill -9 进程号后杀 job1、hive 跑起来会有日志 查看日志找到 job号INFO : Starting Job = job_1591243491921_929733 hadoop job -kill job_1591243491921_9297332、yarn杀死yarn application...
2020-09-27 22:16:42
2813
原创 oracle 数据导入和导出
数据入库(直接用PLSQL)1、建表2、打开“工具”--点击“文本导入”3、进入文本导入后，在“来自文本文件”侧加载文件在“到Oracle”侧选择已经建好的表 点击右侧的字段，与你TXT文本相对应点击下方“导入”完成数据入库数据量大(用Oracle服务器)对于数据量少于100万行的导入（select ... for update）和导出（select）最...
2018-08-01 16:35:48
836
原创 oracle 创建分区表以及自动添加分区
oracle提供了以下几种分区类型： 范围分区（range） 哈希分区（hash） 列表分区（list） 范围－哈希复合分区（range-hash） 范围－列表复合分区（range-list） 查看分区数 ：select*from user_tab_partitions where table_name='表名' 查看分区内容：s...
2018-08-01 16:25:51
40690
原创 oracle 误删数据的恢复
一、在恢复以前我们先看一下删除数据 1、删除表中数据两种方法 a. delete * from My_Table --不释放区 b. truncate table My_Table; 2、删除整个表 drop table My_Table --释放区（还会占用表空...
2018-08-01 16:20:52
207
原创 oracle 存储层面逻辑组织结构
1、块 块是oracle 读写的最小单位，块大小事操作系统（OS）层面块大小的整数倍。块大小可以通过 “db_block_size”来设置，可以是2K,4K,8K,16K,32K。 当数据行长度因update操作增长的时候，块内的自由空间不足的时候以容纳修改后的数据行，那么该数据行将迁移到另外一个能容纳他的块中。原来的块中会留下一个指向新存储位置的指针。2、区...
2018-08-01 15:33:37
171
原创 sql 执行计划
sql执行顺序 (1) from (2) on(3) join(4) where (5) group by(开始使用select中的别名，后面的语句中都可以使用) (6) avg,sum.... (7) having (8) select (9) distinct (10...
2018-07-31 15:59:05
184
转载 oracle 多表连接的三种方式 HASH JOIN 、MERGE JOIN 、NESTED LOOP
1、NESTED LOOP（嵌套循环连接） 对于被连接的数据子集较小的情况。 1)、 过程：从A表抽一条记录，遍历B表查找匹配记录，然后从a表抽下一条，遍历B表，就是一个二重循环。 2)、原理： for(int i=0;i<=5;i++) { for(int j=0;j<=10;j+...
2018-07-31 15:34:30
1560
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人