工具
文章平均质量分 76
wushuaifei
这个作者很懒,什么都没留下…
展开
-
shell通过通道批量插入大量数据到redis
前言:当我们需要短时间内快速插入大量数据到redis中,就需要一个行之有效的方式。实践发现redis的(Redis Mass Insertion – Redis)是个比较高效的方法。借助于pipline插入 首先通过简单的脚本生成例如如下的: SET Key0 Value0SET Key1 Value1...SET KeyN ValueN 的目标文本文件。 ...转载 2019-08-27 09:53:14 · 1090 阅读 · 0 评论 -
Presto查询hive字段为json类型的方法
针对样例数据做示例说明:HIVE ->-- employee表的xjson字段,只有一条数据[{"name":"王二","sex":"男","age":"25"},{"name":"李四","sex":"男","age":"47"}]select get_json_object(xjson,'$.[0].age') from employee limit 1;...原创 2019-08-29 18:16:46 · 6271 阅读 · 0 评论 -
redis在线快速迁移
公司的redis服务器key的数量以达到千万级别,需要对redis进行实例拆分并线上迁移redis数据。之前公司用的迁移脚本是基于一个key一个key的,速度非常慢,脚本如下:#!/bin/bash#redis 源ipsrc_ip=192.168.1.1#redis 源portsrc_port=6379#redis 目的ipdest_ip=192.168.1.1#redi...转载 2019-09-06 16:44:56 · 204 阅读 · 0 评论