shell
王子健121
滴水汇成江海
展开
-
使用FB_api拉取后台数据
使用FB_api拉取后台数据 思路就是通过 curl 请求进行拉取,并用jq对获取到的json 数据进行解析。 #!/bin/bash appkey=这里填写appkey信息 ads_json_name=ads_json_MK get_curl_datas(){ echo ${1} curl -G -d "breakdowns=country" -d "time_range={%22since%22:%22原创 2021-03-29 17:02:46 · 615 阅读 · 0 评论 -
通过查询hive元数据,获取到建表语句
通过查询hive元数据,获取到建表语句 #!/bin/sh db=$1 if [ -z "$db" ];then echo "请指定数据库名称:" exit 1 fi if [ ! -d "tmp" ]; then mkdir tmp fi errFile="err.info" >$errFile mkdir /opt/sql/EMR/${db} for t in `impala-shell -i 127.0.0.1:25003 -k -B -q "use $db;sho原创 2021-03-29 16:49:58 · 867 阅读 · 0 评论 -
使用beeline 操作hive 添加分区
使用beeline 操作hive 添加分区 #!/bin/sh db=$1 if [ -z "$db" ];then echo "请指定数据库名:" exit 1 fi rsync -aurvozR --progress --bwlimit=20480 --timeout=3600 119.96.199.96::do_sql/EMR/$db ./ for i in `ls EMR/$db/*.sql`; do echo $i原创 2021-03-29 16:43:33 · 417 阅读 · 2 评论 -
查询impala 落成csv文件
查询impala 落成csv文件 #!/bin/sh cat t_list_all | while read line do impala-shell -i 127.0.0.1 -s hadoop -k -B -q "set request_pool=root.bi.da ; refresh ${line}; select \"${line}\" table_name ,count(1),dt,\"emr\" from ${line}原创 2021-03-29 16:40:53 · 207 阅读 · 1 评论