- 博客(10)
- 收藏
- 关注
RSS订阅原创 2020-03-19
spark-submit –master yarn --driver-memory 10G --executor-memory 20G --conf spark.shuffle.service.enabled=true --conf spark.dynamicAllocation.enabled=true --conf spark.dynamicAllocation.minExecutors=5...
2020-03-19 17:27:23
225
原创 hive 优化
减少mapset mapred.min.split.size = 1024000000;set mapred.max.split.size = 2048000000;set hive.input.format = org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;异常Causedby:java.io.IOExcep...
2019-03-22 18:34:18
176
原创 hive正则表达式使用案例
select regexp('12312312qweqwe1231','^([\\d])'); --数字开头select regexp('12312312qweqwe1231','([\\d])$'); -- 数字结尾select regexp_extract('https://xxxx.xxx.xxx/xxx/index.html#/?communityId=89231231231&t...
2018-04-20 12:15:29
2994
原创 shell调度重跑小时周期python任务
公司有小时的任务，由于平台不稳定，经常出现需要按小时重跑历史数据的问题，写这个脚本可以按照开始日期 开始小时 结束日期 结束小时 按照小时重跑需要输入3(按天)个或者5(按小时)个参数脚本名称-绝对路径开始日期开始小时(天无)结束日期结束小时(天无)水平有限，拒绝恶意攻击#!/bin/bash#echo "Shell 输出脚本名称及参数";#echo "传入参数的个数：$#"#echo "执行的脚...
2018-03-31 17:10:55
720
原创 shell循环
#!/bin/bashdataarray=("20170131" "20170228" "20170331" "20170430" "20170531" "20170630" "20170731" "20170831" "20170930" "20171031")for var in ${dataarray[@
2018-03-31 11:13:27
117
原创 greenplum seq acan 和 index scan
set session enableseqscan=false; # 默认是true，查询非常少量的数据是有效 下面sql设置为false是true效率6倍 、select dtype,name from ambmaccnt where statdate =20170701 group by dtype,name limit 100...
2018-03-31 10:49:38
848
原创 hive需要创建的文件太多 超出限制
[Fatal Error] total number of created files now is 150526, which exceeds 150000. Killing the job. 解决方法： set hive.exec.max.created.files=250000;
2018-03-31 10:47:40
1133
原创 小文件太多内存不够用
Container [pid=151839,containerID=containere64150336423199226401901_000248] is running beyond physical memory limits. Current usage: 1.0 GB of 1 GB physical memory used; 1.7 GB of 8 GB virtual memory ...
2018-03-31 10:46:47
245
原创 shell循环日期
#!/bin/bashstartDate=20170901endDate=20171008startSec=`date -d "$startDate" "+%s"`endSec=`date -d "$endDate" "+%s"`for((i=$startSec;i<=$endSec;i+=86400))doyd=`date -d "@$i" "+%Y%m%d"`echo
2018-03-31 10:39:18
722
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人