- 博客(11)
- 收藏
- 关注
RSS订阅原创 shell脚本中，whlie循环中的赋值没法传递到循环外，解决方法
同样读取marco.csv文件里面是一串数23 55 8912 37 9911 73 28错误写法：#!/bin/bashsql=“value”cat marco.csv | while read a b cdoecho $aecho $becho csql=sql","csql=sql","csql=sql","a",“b","b","b","c”),"done < marco.csv #读取的就是marco.csv的文件echo $sql执行结果在这里插入图片描述
2021-11-16 17:47:37
1034
原创 Doris
最近在研究doris1、doris 不支持replace函数，可以用regexp_replace代替，regexp_replace(,’\.’,’-’)或者regexp_replace(,’[.]’,’-’)要对.反转写shell脚本时"“如果里面还需要加”"，需要对""做转义 " "2、doris 不支持nvl函数 但是可以用coalesce代替3、notepad来处理，多行字段变一行，但是要逗号分隔的时候ctrl + f 、全选、\r\n 替换， 还是反转即可...
2021-04-26 18:41:28
1433
原创 shell脚本经验
昨天算法同学让帮忙从三个表里取数，这三个表的一些字段还要能关联的上刚接这个任务，有点没思路，后来想的是先定一个表1万条数据，然后后面两个表的数据都跟这1万条数据保持一致，这就涉及到传参了，大概思路是用shell脚本来写之前都是在shell脚本里传一个参数，这次要传三个参数，没搞过，和同事一起研究了一下，记录一下传一个参数的情况：#!/bin/bashfor line in cat marco.csvdoimpala-shell -q “select * from xxx” -B -o ‘xxx
2021-04-16 11:21:15
1816
4
原创 把csv文件的数据，导入到impala表中
1.在把csv文件上传到hdfs中 dfs /test/marco/路径下hdfs dfs -put /app/scripts/feaure/xxx/schedule.csv /test/marco/2.在impala建外部表CREATE EXTERNAL TABLE if not exists feature.fea_schedule (day_dt STRING COMMENT ‘日期’,schedule_ix int COMMENT ‘档期时间排序’)ROW FORMAT DELIMIT
2021-03-18 12:00:25
1500
原创 idea连接jdbc
jdbc连接mysql第一步添加maven配置 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.47</version> </dependency>第二步，重启idea第三步，了解rs.ge
2021-03-11 16:47:04
116
原创 shell脚本 日期八进制
本来是有一个表数据量太大，所以只能每天分区跑，这里用脚本来实现，所以需要用到日期递增的循环我先简单测试了下时间函数，贴上我的代码#!/bin/bashstart_date=date -d "$1" +"%Y-%m-%d"end_date=date -d "$2" +"%Y-%m-%d"execute_date=$start_datewhile [[ $execute_date -lt enddate]]doecho"====processing:"end_date ]]doecho "===
2021-02-03 15:47:50
372
原创 regexp_replace函数 进阶
–使用regexp_replace函数–所有相连的|都做去重处理，只保留一个select regexp_replace(’|||||||||a|||||b|||||c||||||’,’[|]{2,}’,’|’);–去掉最前面和最后一个，两个|select regexp_replace(’|||a||b||||||c||||’,’1|[|]$’,’’);–前后各自去掉一个select regexp_replace(regexp_replace(’|||a||b||||||c||||’,’[|]{2
2021-01-29 11:17:33
548
原创 impala脚本经验
impala资料impala可以不启动，就直接执行例如impala-shell -q “select * from ** where task_status = ‘0’”;脚本格式：#!/bin/bashsql1=“select * from ** where task_status = ‘0’”impala-shell -q “${sql1}” -B -o “test.txt”以上代码可以跑通，以后具体情况需要根据业务做调整...
2021-01-28 10:34:47
496
原创 2021-01-25
sql经验之 行专列字段是数组类型，但是数量不限，需要取出每个数组的第一个字段最终代码selectt.listname,v.single,substring_index(v.single,’,’,1)from (selectlistname,c_valuefrom explode_test2) t lateral view explode(t.c_value) v as single;...
2021-01-25 09:46:03
51
原创 CSDN文章模板
这里写自select t.listname, v.single, substring_index(v.single,',',1欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出
2021-01-25 09:38:39
286
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人