hive（spark-sql） -e -f -d以及传参数, sh并行

1、统计hive一个库下的表的个数

hive -e"
use databases;
show tables;
--show tables like 'edw*';  
"| grep -v tmp |wc -l

1、hive -e"
use databases
show tables;
"> database_name_tables.txt
2、统计量
wc -l database_name_tables.txt

1. 使用“spark-sql -e”

与“Hive”一样，Spark SQL CLI也支持“-e”参数

spark-sql   -e "insert into table ***"

Spark-SQL导出查询结果到 results.txt

spark-sql --num-executors 100 -e "select * from table" > results.txt 

-- 也可以直接指定数据库名称，如下：

spark-sql --database mydb --num-executors 100 -e "select * from table" > results.txt 

2. 使用“spark-sql -f”

当SQL语句较长时，为了便于理解，我们可以将SQL语句放入单独的文件中，

如创建“sdk.sql”文件，如下：

select * from table