CatchLight的博客

在大数据的实时数据处理中，不论是使用Spark、还是Flink，都需要与其他组件进行数据交互才有意义。在整个数据流处理中，交互组件的性能决定了数据处理的效率，例如在与缓存中间件Redis的交互，QPS过高就会导致响应过慢，进而表现为程序整体数据处理延时。如何保证组件性能就成为了重中之重，所以在选择组件的时候，我们会根据其测试的性能指标作为参考依据。在大数据实时流处理中，Kafka是用的比较多的数据源组件。其分区机制提高了并发、副本机制保障了数据的高可用。

不得不感叹SaaS有点东西

前言日志服务（Cloud Log Service，CLS）是腾讯云提供的一站式日志服务平台，提供了从日志采集、日志存储到日志检索，图表分析、监控告警、日志投递等多项服务，协助用户通过日志来解决业务运维、服务监控、日志审计等场景问题。简言之就是CLS提供了日志的云化存储，并提供了查询、分析、监控，告警等功能。所以今天就抱着好奇之心，来探索一下使用python如何将本机日志写入到CLS上。环境配置官方文档提供了详细的使用步骤使用步骤，文档链接如下：https://cloud.tencent.com/do

前言阿里云95块钱买的ECS要到期了，续费的话需要1000多。想了想服务器上也没啥重要的东西，于是趁着腾讯云折扣，花了288买了个三年的CVM。CVM就是一个云虚拟机，这里就暂且叫它服务器。1核2G，看起来啥也干不了。但是作为测试环境，其实还是能做很多事情的。买之前，周围的人劝我安装虚拟机，但实在是不想天天开着VMware，而且也不想折腾自己的电脑，所以，288花的不亏！既然是新的服务器，必要的开发环境还是得要搞一下，所以这篇文章主要记录操作。顺便提一下，操作系统是CentOS7。主机操作建立互