weixin_41799335的博客

Elasticsearch是目前大数据领域最热门的技术栈之一，经过近8年的发展，已从0.0.X版升级至6.X版本，虽然增加了很多的特性和功能，但是在主体架构上，还是没有太多的变化。下面就把我对于ES使用实践的一些经验总结一下，供大家参考；也请大家拍砖。 一、 硬件环境选择： 如果有条件，尽可能使用SSD硬盘， 不错的CPU。ES的厉害之处在于ES本身的分布式架构以及lucene的特性。IO的提升，会极大改进ES的速度和性能。 二、系统拓朴设计： ES集群在架构拓朴时，一般都会采用Hot-Warm的架构模式，

Kafka学习笔记–kafka-2.11单机部署1，简介2，下载kafka3，安装JDK4，安装Kafka启动kafka功能验证 1，简介 Kafka 是一种高吞吐的分布式发布订阅消息系统，能够替代传统的消息队列用于解耦合数据处理，缓存未处理消息等，同时具有更高的吞吐率，支持分区、多副本、冗余，因此被广泛用于大规模消息数据处理应用。Kafka 支持Java 及多种其它语言客户端，可与Hadoop、Storm、Spark等其它大数据工具结合使用。 2，下载kafka wget https://mirrors.

这里写自定义目录标题使用Hadoop MapReduce进行大数据分析关于Hadoop数据，数据无处不在！追踪地震用opencsv解析数据转换日期格式Hadoop的地图和缩小定义Hadoop Job编写另一个Mapper结论 使用Hadoop MapReduce进行大数据分析 Google在2001年推出图片搜索功能时，拥有2.5亿张索引图片。 不到十年后，这家搜索巨头就索引了超过100亿张图片。 每分钟有35个小时的内容上传到YouTube。 据说Twitter平均每天处理5500万条推文。 今年早些时候