自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(10)
  • 收藏
  • 关注

原创 2020-03-19

spark-submit –master yarn --driver-memory 10G --executor-memory 20G --conf spark.shuffle.service.enabled=true --conf spark.dynamicAllocation.enabled=true --conf spark.dynamicAllocation.minExecutors=5...

2020-03-19 17:27:23 224

原创 hive 优化

减少mapset mapred.min.split.size = 1024000000;set mapred.max.split.size = 2048000000;set hive.input.format = org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;异常Causedby:java.io.IOExcep...

2019-03-22 18:34:18 170

原创 hive正则表达式使用案例

select regexp('12312312qweqwe1231','^([\\d])');  --数字开头select regexp('12312312qweqwe1231','([\\d])$'); -- 数字结尾select regexp_extract('https://xxxx.xxx.xxx/xxx/index.html#/?communityId=89231231231&t...

2018-04-20 12:15:29 2993

原创 shell调度重跑小时周期python任务

公司有小时的任务,由于平台不稳定,经常出现需要按小时重跑历史数据的问题,写这个脚本可以按照开始日期 开始小时 结束日期 结束小时 按照小时重跑需要输入3(按天)个或者5(按小时)个参数脚本名称-绝对路径开始日期开始小时(天无)结束日期结束小时(天无)水平有限,拒绝恶意攻击#!/bin/bash#echo "Shell 输出脚本名称及参数";#echo "传入参数的个数:$#"#echo "执行的脚...

2018-03-31 17:10:55 717

原创 shell循环

#!/bin/bashdataarray=("20170131" "20170228" "20170331" "20170430" "20170531" "20170630" "20170731" "20170831" "20170930" "20171031")for var in ${dataarray[@

2018-03-31 11:13:27 116

原创 greenplum seq acan 和 index scan

set session enableseqscan=false; # 默认是true,查询非常少量的数据是有效 下面sql设置为false是true效率6倍 、select dtype,name from ambmaccnt where statdate =20170701 group by dtype,name limit 100...

2018-03-31 10:49:38 845

原创 hive需要创建的文件太多 超出限制

[Fatal Error] total number of created files now is 150526, which exceeds 150000. Killing the job. 解决方法: set hive.exec.max.created.files=250000;

2018-03-31 10:47:40 1128

原创 小文件太多内存不够用

Container [pid=151839,containerID=containere64150336423199226401901_000248] is running beyond physical memory limits. Current usage: 1.0 GB of 1 GB physical memory used; 1.7 GB of 8 GB virtual memory ...

2018-03-31 10:46:47 245

原创 shell循环日期

#!/bin/bashstartDate=20170901endDate=20171008startSec=`date -d "$startDate" "+%s"`endSec=`date -d "$endDate" "+%s"`for((i=$startSec;i<=$endSec;i+=86400))doyd=`date -d "@$i" "+%Y%m%d"`echo 

2018-03-31 10:39:18 721

原创 shell获取当前事前前一小时的时间

date -d "1 hour ago" +"%Y-%m-%d %H:%M"

2018-03-31 10:37:42 11711

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除