Spark 以及 spark streaming 核心原理及实践

导语spark 已经成为广告、报表以及推荐系统等大数据计算场景中首选系统,因效率高,易用以及通用性越来越得到大家的青睐,我自己最近半年在接触spark以及spark streaming之后,对spark技术的使用有一些自己的经验积累以及心得体会,在此分享给大家。本文依次从spark生态,原理,基本...

2018-07-05 16:24:46

阅读数 261

评论数 0

Redis Cluster 分区实现原理

Redis Cluster本身提供了自动将数据分散到Redis Cluster不同节点的能力,分区实现的关键点问题包括:如何将数据自动地打散到不同的节点,使得不同节点的存储数据相对均匀;如何保证客户端能够访问到正确的节点和数据;如何保证重新分片的过程中不影响正常服务。这篇文章通过了解这些问题来认识...

2018-06-01 15:30:36

阅读数 50

评论数 0

海量数据处理利器greenplum——初识

简介及适用场景如果想在数据仓库中快速查询结果,可以使用greenplum。Greenplum数据库也简称GPDB。它拥有丰富的特性:第一,完善的标准支持:GPDB完全支持ANSI SQL 2008标准和SQL OLAP 2003 扩展;从应用编程接口上讲,它支持ODBC和JDBC。完善的标准支持使...

2018-05-30 11:41:43

阅读数 71

评论数 0

什么是Solr

Lucene复习:1、什么是lucene:全文检索工具包2、Lucene的工作原理:索引数据的创建从原始文件中提取一些可以用来搜索的数据(封装成各种Field),把各field再封装成document,然后对document进行分析(对各字段分词),得到一些索引目录写入索引库,document本身...

2018-05-15 16:46:55

阅读数 26

评论数 0

十分钟带你理解Kubernetes核心概念

什么是Kubernetes?Kubernetes(k8s)是自动化容器操作的开源平台,这些操作包括部署,调度和节点集群间扩展。如果你曾经用过Docker容器技术部署容器,那么可以将Docker看成Kubernetes内部使用的低级别组件。Kubernetes不仅仅支持Docker,还支持Rocke...

2018-05-15 16:41:18

阅读数 43

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭