- 博客(8)
- 收藏
- 关注
RSS订阅转载 别再说你不会 ElasticSearch 调优了，都给你整理好了
来源：http://tinyurl.com/y4gnzbje第一部分：调优索引速度第二部分-调优搜索速度第三部分：通用的一些建议英文原文：https://www.elas...
2019-08-29 08:14:37
214
原创 大数据正当时，理解这几个术语很重要
目前，大数据的流行程度远超于我们的想象，无论是在云计算、物联网还是在人工智能领域都离不开大数据的支撑。那么大数据领域里有哪些基本概念或技术术语呢？今天我们就来聊聊那些避不开的大数据技术术语，梳理并补充我们对大数据的理解。01离线计算 Vs 实时计算离线计算离线计算，通常也称为“批处理”，表示那些离线批量、延时较高的静态数据处理过程。离线计算适用于实时...
2019-08-21 19:15:31
1633
原创 Spark 内存模型与动态内存管理
0、前 言Apache Spark是目前大数据领域主流的内存计算引擎，无论是在批处理还是实时流处理方面都有着广泛的应用。我们跑作业的时候，首先要给Spark Job分配一定的资源，比如一个executor分配5G内存，有时候我们会纠结于executor的内存有多少用于了实际计算。因此就需要了解一下Spark的内存管理，还有就是掌握了Spark的内存模型对于优化我们的作业也至关重要。在Spa...
2019-08-19 19:01:00
650
原创 鸿蒙出世，华为的终极浪漫
8 月 9 日，华为举行了有史以来规模最大的全球开发者大会，正式发布开源了自主研发的全新分布式操作系统——鸿蒙（HarmonyOS）。鸿蒙一经出世，便带来了超凡影响。&l...
2019-08-10 11:00:06
108
原创 盘点Zookeeper在分布式架构中的应用
欢迎订阅**微信公众号：大数据技术架构，更多大数据基础架构，原理与实践，社区动态等。近日了解到 Kafka 正在酝酿重大更新，可能会提供自管理的元数据仲裁机制以消除对 Zookeeper 的依赖，社区呼吁也相当强烈。那么一般而言 Zookeeper 在分布式系统中扮演什么角色？目前 Zookeeper 都应用在哪些分布式架构中？本文从 Zookeeper 可以聊起，盘点那些离不开 Zo...
2019-08-09 11:32:47
986
转载 全文搜索引擎Elasticsearch，这篇文章给讲透了
由于近期在公司内部做了一次分享，所以本篇主要是基于之前的博文的一个总结，希望通过这篇文章能让读者大致了解Elasticsearch是做什么的以及它的使用和基本原理。生活中...
2019-08-09 08:21:33
564
转载 分布式系统如何保证一致性
本文源自新浪云计算，作者 Guan分布式一致性算法概要随着各种高并发访问、海量数据处理等应用场景越来越多，为了应对这些使用场景，分布式系统应运而生。分布式系统得以发展，得...
2019-08-06 08:18:43
511
转载 kafka篇-设计思路
戳蓝字“大数据手稿笔记”关注我们哦！本文转自 lecury 的博客：https://blog.lecury.cn1. 设计背景许多互联网公司，每天都会产生大量的日志数据，...
2019-08-03 10:29:38
215
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人