批量查询hive数据通过管道方式快速写入到Redis集群，脚本编写

mathlpz666

已于 2022-12-12 09:47:07 修改

阅读量1.7k

点赞数

分类专栏：集群分布式 javaEE 文章标签： hive redis hadoop

于 2022-12-12 09:42:13 首次发布

本文链接：https://blog.csdn.net/mathlpz126/article/details/128282138

版权

javaEE 同时被 2 个专栏收录

55 篇文章 4 订阅

订阅专栏

集群分布式

16 篇文章 0 订阅

订阅专栏

脚本记录如下：

#!/bin/bash
/usr/local/redis/bin/redis-cli -h 172.28.xx.yy -a pwdpwdpwd cluster nodes | grep master
sed -i 's/@/:/g' ./info.txt
sed -i 's/-/:/g' ./info.txt
info=`cat info.txt | awk '{print $2":"$9}' | awk -F ':' '{print $1" "$2" "$4" "$5}'`
array=(${info// / })
len=${#array}
cnt=`expr $len / 4`
echo $cnt
for((i=0;i<$cnt;i++));
 do
  a=`expr $i \* 4`
  b=`expr $a + 1`
  c=`expr $a + 2`
  d=`expr $a + 3`
  ip=${array[$a]}
  port=${array[$b]}
  slot1=${array[$c]}
  slot2=${array[$d]}
  #crc_slot=6174
  crc_slot=`hive -e "select crc16('flag:hot:list');" | grep -v WARN`
  echo $crc_slot
  if ((crc_slot>=$slot1)) && ((crc_slot<=$slot1));
  then
  hive -e "select concat('*3\n','$','3\n','set\n','$',length(key),'\n',key,'\n','$',length(value),'\n',value) from (select concat('flag:hot:list') as key, concat('\"',concat_ws(',', collect_set(prod_id),'\"')) as value from (select * from recomdb.t_tbl_prodhot_score where dayid = '20200528' order by hot_score desc limit 300)t1)t " | grep -v "^WARN" > $slot1"_"$slot2".data"
  unix2dos $slot1"_"$slot2".data"
  cat $slot1"_"$slot2".data" | /usr/local/redis/bin/redis-cli -h $ip -p $port -a pwdpwdpwd --pipe
 fi
 done

注：通过 --pipe 来启动集群模式，会提示 MOVEN ***172.28.**** 错误，通常有两种解决方案。

一：粗暴型。在集群模式下使用 --pipe 时，如果 key值的redis槽点在此节点上就写入成功，不在此节点就没有写入成功。那么，可以把每个节点都跑一次 --pipe，这样每个节点就会写入自己的数据。

二：细致型。通过key的哈希值区分槽点，通过节点拿到槽点，然后分批数据导入到相应节点。

如上脚本就是使用的是第二种方案。