ylejun-CSDN博客

原创基于tideways+xhgui搭建PHP非侵入式性能监控平台【超详细】

可以整合成一个docker-compose.yml 包含：php+nginx+mysql+tideways及nginx的配置作为本地开发环境。安装成功后，打开配置的域名，http://example.com 会有如下截图，当然域名需要在本地/etc/hosts配置下。至此已经配置好, 在调用接口的时候就会进行接口的性能分析。3、安装php-profiler。4、安装xhgui web。PHP tidedays docker tideways_xhprof yeleeo/php:eg-7.2-alpine

2022-10-19 23:45:10 828

原创 Kafka Connect transform初体验

可以配置Kafka Connector transforms以进行一个轻量级的消息修改。transforms可以方面的修改数据以及事件路由。接下来我们将介绍如何配置一个transform。首先，我们要在任务中配置transform，无论source 还是sink都可以配置transform{ "name": "test-source", "config": { "connector.class": "io.debezium.connector.mysql.MyS...

2020-07-12 14:14:52 2618

原创 Kafka Connect 启动服务以及提交任务初体验

Kafka提供两种启动方式，一种是单机版standalone，一种是分布式版distributed，与之想对应的配置文件也是分开的单机版的配置文件：connect-standalone.properties分布式的配置文件：connect-distributed.properties单机启动方式：bin/connect-standalone.sh -daemon config/connect-standalone.propertiesconfig/connect-console-sink....

2020-07-11 00:22:36 2988 4

转载一文带你了解最新发布的Apache Flink 1.11.0

来源|Apache Flink 官方博客翻译| 高赟（云骞）Apache Flink 社区很荣幸的宣布 Flink 1.11.0 版本正式发布！超过 200 名贡献者参与了 Flink 1.11.0 的开发，提交了超过 1300 个修复或优化。这些修改极大的提高了 Flink 的可用性，并且增强了各个 API 栈的功能。其中一些比较重要的修改包括：核心引擎部分引入了非对齐的 Checkpoint 机制。这一机制是对 Flink 容错机制的一个重要改进，它可以提高严重反压作业...

2020-07-07 23:17:53 1923

原创 Kafka Connect 简介

Kafka Connect is a tool for scalably and reliably streaming data between Apache Kafka and other systems. It makes it simple to quickly defineconnectorsthat move large collections of data into and out of Kafka. Kafka Connect can ingest entire databases or..

2020-07-07 00:01:55 354

原创 Hive jdbc 提交任务失败提示 queue.default already has 0 applications, cannot accept submission of applicaion

今天遇到一个问题，通过jdbc的方式去执行 hive sql 提示：1. hive server2 没有修改过任何配置2. hive server2 没有重启过当时决定比较灵异，因为我们对用户和队列有做了映射最后发现capacity-scheduler.xml 用户和组对映射丢失了，十分奇怪最终解决办法：在capacity-scheduler.xml 增加用户和组的映射<property>　　　　<name>yarn.scheduler.capacit

2020-07-02 00:25:26 1522

原创【Flink】Flink github 无法克隆项目解决办法

今天从GitHub上克隆flink项目遇到下面的错误...error: RPC failed; curl 56 LibreSSL SSL_read: SSL_ERROR_SYSCALL, errno 54...几步设置搞定1.git config --global http.lowSpeedTime 9999992.git config --global http.lowSpeedLimit 03.git config --global http.postBuffe...

2020-06-30 22:30:33 456

转载 Flink在趣头条实践与应用

本文由趣头条实时平台负责人席建刚分享趣头条实时平台的建设，整理者叶里君。文章将从平台的架构、Flink 现状，Flink 应用以及未来计划四部分分享。一．平台架构1.Flink 应用时间线首先是平台的架构，2018 年 3 月之前基本都是基于 Storm 和 Spark Streaming 来做的。目前，基本已经把 Spark Streaming 和 Storm 淘汰了，主要都是 Flink SQL 来做的。起初还比较传统，一般是接需求然后开发类似于 Flink SQL 的任务，基本是手工作

2020-06-16 23:55:37 265