网络
一颗小草333
我是一棵小草
展开
-
spark采用foreach方法向下游写数据导致mysql报警问题记录
为了统计数据库中某一字段动态变化量,采用定时采集数据的方式,每半小时采集一次动态数据,每天统一汇总推送到hadoop文件系统中,每月采用spark分布式计算动态数据的变化规律,并写入数据库中,以便监控数据库中数据变化趋势。 但是在写入数据的过程中,采用调用下游接口的方式,利用spark针对rdd的foreach方式写入,代码如下: 但是,在写入过程中,数据库瞬时qp...原创 2020-03-31 10:13:23 · 293 阅读 · 0 评论 -
局部敏感哈希(local sensitive hash,LSH)
高维数据检索(high-dimentional retrieval)是一个有挑战的任务。对于给定的待检索数据(query),对数据库中的数据逐一进行相似度比较是不现实的,它将耗费大量的时间和空间。这里我们面对的问题主要有两个,第一,两个高维向量的相似度比较,第二,数据库中庞大的数据量。最终检索的复杂度是由这两点共同决定的。 针对第一点,人们开发出很多hash算法,对原高维数据降维。针原创 2013-03-20 21:31:46 · 1537 阅读 · 0 评论