大数据/数据处理
liao0801_123
这个作者很懒,什么都没留下…
展开
-
互联网高可用相关技术
异地多活场景下的数据同步1 什么是单元化如果仅仅从"单元化”这个词汇的角度来说,我们可以理解为将数据划分到多个单元进行存储。"单元"是一个抽象的概念,通常与数据中心(IDC)概念相关,一个单元可以包含多个IDC,也可以只包含一个IDC。本文假设一个单元只对应一个IDC。2 如何实现数据同步需要同步的组件有很多,例如数据库,缓存等,这里以多个Mysql集群之间的数据同步为例进行讲解,实际上缓存的同步思路也是类似。2.1 基础知识为了了解如何对不同mysql的数据相互进行同步,..原创 2020-09-22 01:52:07 · 547 阅读 · 0 评论 -
Storm简介
Apache Storm简介及安装部署学习博客:http://lxw1234.com/archives/2017/11/887.htmApache Storm是一个分布式的、可靠的、容错的实时数据流处理框架。它与Spark Streaming的最大区别在于它是逐个处理流式数据事件,而Spark Streaming是微批次处理,因此,它比Spark Streaming更实时。一、Apac...转载 2018-07-24 17:01:42 · 167 阅读 · 0 评论 -
如何设计一个抢红包系统(商品秒杀同理)
参考资料:https://www.jianshu.com/p/c4a743bbe3a4这种情况下要解决的问题:同一时间同时进行抢购,网站瞬时访问流量激增。 访问请求数量远远大于库存数量,但是只有少部分用户能够秒杀成功(高并发访问的数据安全性)。优化思路数据预处理,系统启动时将红包(商品)信息存到缓存中,并用唯一id进行标识,将后续逻辑精简为维护用户与ID的关系。 异步处理,将后续...原创 2019-02-25 18:40:03 · 8382 阅读 · 3 评论 -
java搜索引擎的选择elasticSearch和Solr
搜索引擎选择: Elasticsearch与Solr搜索引擎选型调研文档Elasticsearch简介*其他参考:https://www.xttblog.com/?p=3254Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。它可以用于全文搜索,结构化搜索以及分析,当然你也可以将这三者进行组合。Elasticsearc...转载 2019-04-10 14:27:49 · 312 阅读 · 0 评论 -
mongoTemplate的分页,分组,统计
crud参考:https://blog.csdn.net/weixin_39729846/article/details/82626721mongoTemplate的分页,分组,统计以及聚合Aggregation和mapReduce的使用package com.star.ac.mongodb.impl;import java.util.ArrayList;import java....原创 2019-07-10 10:22:38 · 14369 阅读 · 0 评论