筑梦之路

以写入100w条MQ消息为例，每秒平均向kafka写入了4.77MB的数据，平均4999.725条消息/秒，每次写入的平均延迟为0.51毫秒，最大的延迟为481毫秒适当调大 batch.size和 linger.ms：这两个参数是配合起来使用的，目的就是缓存更多的数据，减少客户端发起请求的次数。这两个参数根据实际情况调整，注意要适量。关闭数据发送确认机制：适用于对数据完整性要求不高的场景，比如日志，丢几条无所谓那种。

大数据运维学习笔记之Hadoop跨集群数据迁移、学习方法

一般来说，直接使用官方提供的二进制文件即可，没有必要使用源码编译安装的方式，而对于有特殊用途的，选择源码编译安装无疑是更好地选择。比如修改源码实现想要的功能，mirrormaker2保持topic名称不变。● 如果你对 Kafka 进行了自定义修改，确保这些修改不会破坏 Kafka 的核心功能。● 确保在编译和运行 Kafka 时使用与你的 Kafka 版本兼容的 Java 版本。● Kafka 的配置非常灵活，你可以根据需要调整 config/ 目录下的配置文件。

大数据平台资源规划

hadoop常见故障和性能调优

【代码】hadoop集群常用命令搜集——筑梦之路。

例如，在官方提供的基准测试中，使用 Meilisearch 处理 10 万个文档时，平均搜索时间为 1.47 毫秒，而使用 Elasticsearch 搜索同样的数据集时，平均搜索时间为 44.1 毫秒。Meilisearch 的安装和设置过程非常简单，并且它提供了易于使用的 Web 界面和 CLI 工具，使用户可以轻松管理和监控搜索引擎。Meilisearch 的搜索和索引都是高度可定制的，包括自定义排名、字段权重和搜索范围等功能。支持多种设置和搜索参数，可适应不同的业务场景。

大数据运维学习笔记之Yarn\HDFS\kafka内存调优策略和性能瓶颈

大数据运维学习笔记hdfs权限控制策略ACL

大数据运维学习笔记之kafka eagel

大数据运维学习笔记之ganglia监控

大数据运维学习笔记之可视化日志系统

大数据运维学习笔记之kafka镜像同步案例

大数据运维学习笔记之kafka

大数据运维学习笔记之elasticsearch

大数据运维学习笔记之logstash

大数据之filebeat日志搜集工具

大数据运维学习笔记之flink standalone flink on yarn集群搭建

大数据运维学习笔记之hbase hadoop整合

在现代分布式系统架构中，Kafka作为一款高性能的消息队列系统，广泛应用于大数据处理、实时流处理以及微服务间的异步通信场景。特别是往往企业级应用中，业务网段和内网通信网段不是同一个网段，内网的机器想要访问业务数据只能基于现有业务网卡的机器才能访问，此时想要kafka集群内外网都可以通信，即内网的走内网IP，外网的走外网ip，互不影响，同时，也要确保集群内部通信高效、安全，充分利用内网资源，避免不必要的外网流量消耗。

大数据运维学习笔记之spark独立模式和yarn资源管理器整合

大数据运维学习笔记之yarn资源管理器

elk日志分析

HDFS运行机制和HDFS shell使用

rocketmq跨版本升级方案参考

大数据运维学习笔记之hive

ambari搭建大数据平台、服务管理、配置管理、监控告警

有四种运行MM2的方法：As a dedicated MirrorMaker cluster.（作为专用的MirrorMaker群集）As a Connector in a distributed Connect cluster.（作为分布式Connect群集中的连接器）As a standalone Connect worker.（作为独立的Connect工作者）

ambari搭建大数据平台

大数据运维学习笔记之搭建大数据平台，手动方式

压测，即压力测试，是指对计算机系统、软件应用或网络服务等进行负载测试，以模拟实际使用场景中的高负载情况，检验系统在压力下的性能、稳定性和可靠性。压测旨在确定系统在正常或极端负载下的性能极限，以便在生产环境中提供最佳的性能和可靠性。

这里主要是从不同使用场景来调优，仅供参考。

kafka_exporter项目地址：https://github.com/danielqsj/kafka_exporter。

搭建企业级大数据平台

自动化运维工具，这里主要是ansible相关知识的整理

发行版选择和伪分布式集群搭建介绍

hadoop生态圈

ES集群调优参考建议Elasticsearch使用方式调优本文摘自一次看完28个关于ES的性能调优技巧，感谢大佬的分享，向大佬学习。

acks 指定在集群中有多少个分区副本收到消息，生产者才会认为消息写入成功，对于消息是否丢失有比较大的影响，有3个值可选，0 1 all , 其中0 、1都可能会丢失数据，all安全性最高，效率最低，2个以上分区副本时不丢失任何数据。auto.offset.reset 消费者在无效偏移量、没有偏移量的情况下如何处理，默认是latest，从最新记录读取，容易丢失数据，这里设置为从头开始，避免丢失数据。max.poll.interval.ms 消费者处理逻辑的最大时间。下面介绍一则实战案例。