昨天算法同学让帮忙从三个表里取数,这三个表的一些字段还要能关联的上
刚接这个任务,有点没思路,后来想的是先定一个表1万条数据,然后后面两个表的数据都跟这1万条数据保持一致,这就涉及到传参了,大概思路是用shell脚本来写
之前都是在shell脚本里传一个参数,这次要传三个参数,没搞过,和同事一起研究了一下,记录一下
传一个参数的情况:
#!/bin/bash
for line in cat marco.csv
do
impala-shell -q “select * from xxx” -B -o ‘xxx.csv’
done
大概就是这样
传两个参数呢?
只能用一个line,第二个参数就进不来了
要换一种写法
#!/bin/bash
for line in cat marco.csv
do
OLD_IFS=“
I
F
S
"
I
F
S
=
"
,
"
a
r
r
a
y
=
(
IFS" IFS="," array=(
IFS"IFS=","array=(line)
IFS=”$OLD_IFS"
impala-shell -q "
insert into table xxx.marco1
select
naruto,
grade,
‘
a
r
r
a
y
[
1
]
′
a
s
s
c
o
r
e
,
d
a
t
e
f
r
o
m
x
x
x
.
m
a
r
c
o
2
w
h
e
r
e
n
a
r
u
t
o
=
′
{array[1]}' as score, date from xxx.marco2 where naruto = '
array[1]′asscore,datefromxxx.marco2wherenaruto=′{array[0]}’
limit 1;"
done
核心就是红框里这段代码,别问为什么,加上就对了
最后,其实没有这么用,
按照这个思路,昨天搞了一晚上,细节太多,总是出错
今天睡了一觉起来,突然觉得其实不用传参,直接从3个表里拿数据,五分钟就搞好了,哎,尴尬