- 博客(3)
- 收藏
- 关注
原创 计算reducer id用int所带来的问题
最近在为某行的数据进行构建cube过程中,遇到5亿的数据丢失一条数据导致构建失败的情况,让人摸不着头脑,该条数据为"539019926",刚开始并没有考虑到是数字的特殊性导致的问题,但是在实验室中无论用多大基数的数据量都无法复现此问题,实在是让人摸不着头脑。 慢慢的我开始怀疑这个数字是特殊的,为啥构建这么多次只有它出错了,只保留一条这一条数据来进行验证。验证结果是,通过该条数据的hashcod...
2019-07-18 14:47:19 143
原创 curl下载文件遇到的一个小坑,保持原文件名
最近做了一个下载文件的api,然后实际并没有想象中的美好,用户只能使用curl来下载文件,类似如下:curl -X POST http://ip/company/api//export -H ‘Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8’ -H ‘Ac...
2019-05-15 17:37:24 3832
原创 记录下jedis遇到的两个坑
做的项目为一个OLAP平台项目首先环境中使用的是redis集群,主要作用是用来存储query的结果,用来遇到相同查询时使用缓存来回答1、第一个坑:在删除时,jedismoveddataexception: moved扫描所有的key时有keys()和scan()两种方法,由于项目中存进redis的key和value值都是byte[],且做过一些变换,所以如果scan()出来使用List 时,...
2019-05-15 12:12:44 1220
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人