weixin_43832846的博客

因为已经搭建过prometheus+grafana，所以此次只在kubernetes中启用 node服务和prometheus服务；并且已经搭建过私有镜像源，所有采用的策略是私有镜像源的方式搭建。1) 下载yaml文件在master可以进行安装部署 安装git，并下载相关yaml文件git clone https://github.com/redhatxl/k8s-prometheus-gr...

一、 离标题线使用kubeadm创建 kubernetes 1.9.2集群1. 简介kubeadm是一个kubernetes官方提供的快速安装和初始化拥有最佳实践的kubernetes集群的工具，但是目前不建议生产使用。系统版本OS：CentOS Linux release 7.5 (Core)Docker ：17.03.2Kubernetes : 1.9.2所需软件链接...

一、 第一步：安装部署pika(主备)1. 安装路径wget https://github.com/Qihoo360/pika/releases/download/v3.0.8/pika-linux-x86_64-v3.0.8.tar.bz2tar -jxvf pika-linux-x86_64-v3.0.8.tar.bz2mv output/ pika安装位置/opt/pika...

安装路径旧/opt/doris-0.9.0新/opt/DORIS-0.9.111. 升级步骤1) 下载解压tar zxfv DORIS-0.9.11-release-output.tar.gz 耗时，传输jar包（wget https://github.com/baidu-doris/incubator-doris/releases/download/DORIS-0.9.11-...

单 FE 部署编译doris，或者由此下载 https://github.com/baidu-doris/incubator-doris/releases安装位置：/opt/doris-0.9.0配置文件(需要创建 palo-meta文件夹)cd femkdir palo-meta1) Fe.confmeta_dir = ${DORIS_HOME}/palo-metahtt...

pulsar解决了消息传输的问题。但是实时计算采用什么技术呢，之前楼主一直使用的是spark，但是偶然的机会发现了flink（阿里开源的blink就是基于此做的，预计会在1.9版本将blink糅合到flink中），因为最近需要将流计算的东西整理一下，和现在线上环境pulsar组合到一起使用。所以做了一下pulsar与flink流计算的测试。pulsargit代码位置https://githu...

pulsar支持应用无感知的扩展与迁移。对broker，我们不论是升级还是扩展都非常简单，此处不做介绍。但是对于bookie，还是需要注意一些地方的。autorecovery关闭bookkeeper shell autorecovery -disable开启bookkeeper shell autorecovery -enable做迁移bookie的时候开启自动拷贝，会自动将关闭bo...

其实pulsar的安装算是比较简单的。主要分为两部分bookie和broker，而我们只需要将配置文件修改好，环境准备好基本都能安装运行了。安装步骤我就不说了，有不知道的小伙伴可以去看看楼主其他博客，有步骤的讲解。现在说一下安装时碰到的一个小问题，花费了楼主一下午的时间，才发现不是自己的问题。1. 安装篇，配置extraServerComponents=org.apache.bookkee...

1. Broker添加文件： vim /usr/lib/systemd/system/pulsar.broker.service内容： [Unit]Description=Pulsar BrokerAfter=network.target[Service]ExecStart=/opt/apache-pulsar-2.3.0/bin/pulsar brokerWorkingDi...

(一) 下载安装监控软件下载node_exporter。（linux）wget https://github.com/prometheus/node_exporter/releases/download/v0.17.0/node_exporter-0.17.0.linux-amd64.tar.gztar zxfv node_exporter-0.17.0.linux-amd64.tar....

tar解包：tar zxvf filename.tar打包：tar czvf filename.tar dirnamegz命令解压1：gunzip filename.gz解压2：gzip -d filename.gz压缩：gzip filename.tar.gz 和 .tgz解压：tar zxvf filename.tar.gz压缩：tar zcvf filename.tar....

默认情况：立即删除每个订阅上已确认的所有消息，并且持久性地将所有未确认的消息存储在待办事项中。通过指定生存时间（TTL），可以在指定的时间范围内未确认的消息自动标记为已消耗。保留策略持久存储已经消耗并确认的消息，消息不论消费和未消费，都至少保存X小时。设置已确认消费消息最大保存时间pulsar-admin namespaces set-retention tenant/namespa...

楼主测试的时候使用的都是同步模式，闲来有空测试了以下pulsar的异步生产模式发现了一些有趣的事情，和大家分享以下producer的创建对分区topic而言，开启.enableBatching( true ).maxPendingMessages(128)批处理功能后续会介绍为什么和有什么影响。生产者异步生产例如producer.sendAsync(str1.getBytes()...

pulsar两种消息发送策略，同步发送与异步发送生产者producer同步发送模式楼主创建的producer数据类型是{ this.producer = client.newProducer(Schema.BYTES) }同步发送MessageId messageId = producer.send( str1.getBytes() );异步发送方式一，只管发Completabl...

grafana配置修改因为楼主使用的是defaults.ini。故修改defaults.ini文件#################################### SMTP / Emailing #####################[smtp]enabled = truehost = localhost:25user =password =cert_file =ke...

pulsar监控dashboard链接地址https://github.com/apache/pulsar/tree/master/docker/grafana/dashboardspulsar+prometheus+grafana链接grafana界面新建data source配置导入dashboardimport导入pulsar的dashboard打开dashbo...

prometheus安装下载地址https://prometheus.io/tar -zxvf prometheus-2.0.0.linux-amd64.tar.gzcd prometheus-2.0.0.linux-amd64.tar.gz./prometheus配置项全局配置global:scrape_interval: 15s # 默认 15秒到目标处抓取数据这个标...

producer参考代码// 构造生产者this.producer = client.newProducer(Schema.BYTES).producerName(judgeValue(“producerName”)).topic(judgeValue(“topic”)).batchingMaxMessages(Integer.parseInt(judgeValue(“batching...

原创： 林一笔记 MessageQueue 2018-09-25“Pulsar is a distributed pub-sub messaging platform with a very flexible messaging model and an intuitive client API.”Pulsar是pub-sub模式的分布式消息平台，拥有灵活的消息模型和直观的客户端API。...

Apache Pulsar 2.3 重磅发布，新特性独家解读原创： 郭斯杰 ApachePulsar 1周前“Apache Pulsar 2.3.0 重磅发布！最新版本包含支持在Kubernetes中执行Pulsar Functions，基于JSON Web Tokens的认证方式，C++和Python客户端对Schema的支持，Python Functions对于状态函数的支持，以及一系...