大数据
xxxcyzyy
这个作者很懒,什么都没留下…
展开
-
redis 持久化详解,RDB和AOF是什么?他们优缺点是什么?运行流程是什么?
https://blog.csdn.net/a1007720052/article/details/79126253Redis支持RDB和AOF两种持久化机制,持久化功能有效地避免因进程退出造成的数据丢失问题,当下次重启时利用之前持久化文件即可实现数据恢复。1. RDB是什么 RDB持久化是把当前进程数据生成快照保存到硬盘的过程,触发RDB持久化过程分为手动触发和自动触发。1...转载 2018-12-24 18:19:08 · 131 阅读 · 0 评论 -
Storm介绍及安装部署
https://www.cnblogs.com/zhaojiankai/p/7257617.html本节内容:Apache Storm是什么 Apache Storm核心概念 Storm原理架构 Storm集群安装部署 启动storm ui、Nimbus和Supervisor ...转载 2018-11-08 10:57:41 · 101 阅读 · 0 评论 -
Hadoop权威指北
MapReduce适合一次写入,多次读取的场景。关系型数据库适合多次更新的场景。数据本地化是MR的核心特性。原创 2018-11-07 16:49:42 · 100 阅读 · 0 评论 -
10006---Zookeeper
什么是ZookeeperZookeeper 是 Google 的 Chubby一个开源的实现,是 Hadoop 的分布式应用程序协调服务。它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。提供少量数据的存储和管理;提供对数据节点的监听器;为什么使用Zookeeper?大部分分布式应用需要一个主控、协调器或控制器来管理物理转载 2017-03-11 01:50:01 · 251 阅读 · 0 评论 -
10005---数据采集与埋点
原文 在这篇文章里面,我们会对数据采集的一些基本概念进行阐述,然后,会针对目前市面上新增的一些前端埋点技术,如可视化埋点与“无埋点”的技术细节做一个具体的介绍,并且阐述我们自己对于这些技术的理解和认识。1. 数据采集是核心问题 一个典型的数据平台,对于数据的处理,是由如下的5个步骤组成的: 其中,我们认为,第一个步骤,也即转载 2017-03-10 20:34:38 · 374 阅读 · 0 评论 -
10004---Storm的基本概念
在深入理解Storm之前,需要了解一些概念:Topologies : 拓扑,也俗称一个任务Spouts : 拓扑的消息源Bolts : 拓扑的处理逻辑单元tuple:消息元组Streams : 流Stream groupings :流的分组策略Tasks : 任务处理单元Executor :工作线程Workers :工作进程Configuration : t转载 2016-11-19 18:07:13 · 287 阅读 · 0 评论 -
10003---Storm简介
流式计算的历史 早在7、8年前诸如UC伯克利、斯坦福等大学就开始了对流式数据处理的研究,但是由于更多的关注于金融行业的业务场景或者互联网流量监控的业务场 景,以及当时互联网数据场景的限制,造成了研究多是基于对传统数据库处理的流式化,对流式框架本身的研究偏少。目前这样的研究逐渐没有了声音,工业界更多 的精力转向了实时数据库。 2010年Yahoo!对S4的开源,2011年twitte转载 2016-11-19 10:13:19 · 405 阅读 · 0 评论 -
10002---Zookeeper的应用场景
Storm集群:Zookeeper作为nimbus(master)和supervisor(slave)的中间枢纽,保存Storm集群和作业的所有信息, 并负责nimbus和supervisor的全部通信,Fast Fail。HBase集群:Zookeeper作为“协调器”,为HBase提供了稳定服务和fail over机制。HRegionServer也会把自己以转载 2016-11-15 00:43:05 · 181 阅读 · 0 评论 -
10001---ZooKeeper简介
1)Zookeeper 分布式服务框架,是Apache Hadoop的一个子项目,主要是用来解决分布式应用中经常遇到的一些数据管理问题。 如:集群管理、统一命名服务、分布式配置管理、分布式消息队列、分布式锁、分布式通知协调等。 越来越多的分布式计算开始强依赖ZK,比如Storm、Hbase。2)Zookeeper对分布式开发带来很多便利,利用ZK的独有特性巧妙地解决转载 2016-11-14 23:11:37 · 257 阅读 · 0 评论 -
Spring boot集成mongodb使用MongoRepository完成CURD和复杂查询
直接看原文把:https://blog.csdn.net/weixin_39214304/article/details/84791953Spring Data简介Spring Data 是spring的组件之一,主要目的是为了让开发者再工作中能更加轻松的完成CURD,简化代码应该是所有框架的目的吧。今天介绍的Spring-data-mongodb只是其中的一个模块而已,Spring团队...转载 2019-06-05 17:11:14 · 2197 阅读 · 0 评论