- 博客(26)
- 收藏
- 关注
RSS订阅原创 Kubernetes+Prometheus+grafana（监控）
因为已经搭建过prometheus+grafana，所以此次只在kubernetes中启用 node服务和prometheus服务；并且已经搭建过私有镜像源，所有采用的策略是私有镜像源的方式搭建。1) 下载yaml文件在master可以进行安装部署 安装git，并下载相关yaml文件git clone https://github.com/redhatxl/k8s-prometheus-gr...
2019-08-27 16:28:59
716
原创 离线安装docker,kubernetes
一、 离标题线使用kubeadm创建 kubernetes 1.9.2集群1. 简介kubeadm是一个kubernetes官方提供的快速安装和初始化拥有最佳实践的kubernetes集群的工具，但是目前不建议生产使用。系统版本OS：CentOS Linux release 7.5 (Core)Docker ：17.03.2Kubernetes : 1.9.2所需软件链接...
2019-08-27 14:57:10
496
原创 pika主备部署（redis-sentinel）+监控（prometheus+grafana）
一、 第一步：安装部署pika(主备)1. 安装路径wget https://github.com/Qihoo360/pika/releases/download/v3.0.8/pika-linux-x86_64-v3.0.8.tar.bz2tar -jxvf pika-linux-x86_64-v3.0.8.tar.bz2mv output/ pika安装位置/opt/pika...
2019-05-09 11:03:44
3573
原创 Doris在线升级
安装路径旧/opt/doris-0.9.0新/opt/DORIS-0.9.111. 升级步骤1) 下载解压tar zxfv DORIS-0.9.11-release-output.tar.gz 耗时，传输jar包（wget https://github.com/baidu-doris/incubator-doris/releases/download/DORIS-0.9.11-...
2019-04-26 15:36:59
784
原创 doris安装部署
单 FE 部署编译doris，或者由此下载 https://github.com/baidu-doris/incubator-doris/releases安装位置：/opt/doris-0.9.0配置文件(需要创建 palo-meta文件夹)cd femkdir palo-meta1) Fe.confmeta_dir = ${DORIS_HOME}/palo-metahtt...
2019-04-15 20:35:31
9085
原创 pulsar+flink组合流测试
pulsar解决了消息传输的问题。但是实时计算采用什么技术呢，之前楼主一直使用的是spark，但是偶然的机会发现了flink（阿里开源的blink就是基于此做的，预计会在1.9版本将blink糅合到flink中），因为最近需要将流计算的东西整理一下，和现在线上环境pulsar组合到一起使用。所以做了一下pulsar与flink流计算的测试。pulsargit代码位置https://githu...
2019-03-29 17:04:57
3289
原创 pulsar之AutoRecovery功能
pulsar支持应用无感知的扩展与迁移。对broker，我们不论是升级还是扩展都非常简单，此处不做介绍。但是对于bookie，还是需要注意一些地方的。autorecovery关闭bookkeeper shell autorecovery -disable开启bookkeeper shell autorecovery -enable做迁移bookie的时候开启自动拷贝，会自动将关闭bo...
2019-03-26 14:12:32
3916
1
原创 pulsar使用过程中的坎坷
其实pulsar的安装算是比较简单的。主要分为两部分bookie和broker，而我们只需要将配置文件修改好，环境准备好基本都能安装运行了。安装步骤我就不说了，有不知道的小伙伴可以去看看楼主其他博客，有步骤的讲解。现在说一下安装时碰到的一个小问题，花费了楼主一下午的时间，才发现不是自己的问题。1. 安装篇，配置extraServerComponents=org.apache.bookkee...
2019-03-21 15:31:01
3813
原创 开启pulsar自动启动,开启broker与bookie自启与自检功能
1. Broker添加文件： vim /usr/lib/systemd/system/pulsar.broker.service内容： [Unit]Description=Pulsar BrokerAfter=network.target[Service]ExecStart=/opt/apache-pulsar-2.3.0/bin/pulsar brokerWorkingDi...
2019-03-21 15:29:03
2632
原创 Linux与windows资源监控(prometheus+grafana)
(一) 下载安装监控软件下载node_exporter。（linux）wget https://github.com/prometheus/node_exporter/releases/download/v0.17.0/node_exporter-0.17.0.linux-amd64.tar.gztar zxfv node_exporter-0.17.0.linux-amd64.tar....
2019-03-21 15:16:06
1706
1
原创 linux压缩和解压缩命令
tar解包：tar zxvf filename.tar打包：tar czvf filename.tar dirnamegz命令解压1：gunzip filename.gz解压2：gzip -d filename.gz压缩：gzip filename.tar.gz 和 .tgz解压：tar zxvf filename.tar.gz压缩：tar zcvf filename.tar....
2019-03-21 11:20:36
190
原创 pulsar的消息保留策略（保留策略，积压，ttl时间）
默认情况：立即删除每个订阅上已确认的所有消息，并且持久性地将所有未确认的消息存储在待办事项中。通过指定生存时间（TTL），可以在指定的时间范围内未确认的消息自动标记为已消耗。保留策略持久存储已经消耗并确认的消息，消息不论消费和未消费，都至少保存X小时。设置已确认消费消息最大保存时间pulsar-admin namespaces set-retention tenant/namespa...
2019-03-12 20:49:30
5240
4
原创 pulsar异步生产模式下游标回滚实现
楼主测试的时候使用的都是同步模式，闲来有空测试了以下pulsar的异步生产模式发现了一些有趣的事情，和大家分享以下producer的创建对分区topic而言，开启.enableBatching( true ).maxPendingMessages(128)批处理功能后续会介绍为什么和有什么影响。生产者异步生产例如producer.sendAsync(str1.getBytes()...
2019-03-12 20:26:11
925
原创 pulsar消息系列(producer生产者发送，consume消费者消费)
pulsar两种消息发送策略，同步发送与异步发送生产者producer同步发送模式楼主创建的producer数据类型是{ this.producer = client.newProducer(Schema.BYTES) }同步发送MessageId messageId = producer.send( str1.getBytes() );异步发送方式一，只管发Completabl...
2019-03-12 20:11:55
6764
原创 pulsar+prometheus+grafana监控（三，邮件报警）
grafana配置修改因为楼主使用的是defaults.ini。故修改defaults.ini文件#################################### SMTP / Emailing #####################[smtp]enabled = truehost = localhost:25user =password =cert_file =ke...
2019-03-12 17:13:38
1476
原创 pulsar+prometheus+grafana监控（二，监控界面）
pulsar监控dashboard链接地址https://github.com/apache/pulsar/tree/master/docker/grafana/dashboardspulsar+prometheus+grafana链接grafana界面新建data source配置导入dashboardimport导入pulsar的dashboard打开dashbo...
2019-03-11 14:14:03
2613
原创 pulsar监控系统prometheus+grafana（一，安装）
prometheus安装下载地址https://prometheus.io/tar -zxvf prometheus-2.0.0.linux-amd64.tar.gzcd prometheus-2.0.0.linux-amd64.tar.gz./prometheus配置项全局配置global:scrape_interval: 15s # 默认 15秒到目标处抓取数据这个标...
2019-03-11 13:45:38
2088
1
原创 pulsar起client客户端时(client,producer,consumer)各个配置选项的含义
producer参考代码// 构造生产者this.producer = client.newProducer(Schema.BYTES).producerName(judgeValue(“producerName”)).topic(judgeValue(“topic”)).batchingMaxMessages(Integer.parseInt(judgeValue(“batching...
2019-03-08 14:19:09
10122
2
转载 Pulsar-Consumer
原创： 林一笔记 MessageQueue 2018-09-25“Pulsar is a distributed pub-sub messaging platform with a very flexible messaging model and an intuitive client API.”Pulsar是pub-sub模式的分布式消息平台，拥有灵活的消息模型和直观的客户端API。...
2019-03-08 13:25:46
808
转载 Apache Pulsar 2.3 重磅发布，新特性独家解读
Apache Pulsar 2.3 重磅发布，新特性独家解读原创： 郭斯杰 ApachePulsar 1周前“Apache Pulsar 2.3.0 重磅发布！最新版本包含支持在Kubernetes中执行Pulsar Functions，基于JSON Web Tokens的认证方式，C++和Python客户端对Schema的支持，Python Functions对于状态函数的支持，以及一系...
2019-03-08 11:34:43
815
转载 Pulsar VS. Kafka（2）: 以Segment为中心的架构
原创： Sijie Guo ApachePulsar 2018-08-21翻译：翟佳在上一篇文章中，我们深入探讨了Apache Pulsar的消息模型，该系统统一了高性能的流 和 灵活的队列。对比展示了Apache Pulsar和Apache Kafka实现消息传递模型中消息消费，确认和保留的工作方式。 在这篇文章中，我们将介绍Apache Pulsar背后的一些系统架构和设计理念，并最后...
2019-03-08 11:32:10
1064
转载 Pulsar VS. Kafka（1）: 统一的消息消费模型（Queue + Stream）
原创： Sijie Guo ApachePulsar 2018-08-21翻译：翟佳之前的文章，我们描述了Apache Pulsar能够成为企业级流和消息系统的原因。Pulsar的企业特性包括消息的持久化存储，多租户，多机房互联互备，加密和安全性等。我们经常被问到的一个问题是Apache Pulsar和Apache Kafka有什么不同。在本系列的Pulsar和Kafka比较文章中，我们...
2019-03-08 11:29:25
2279
2
原创 pulsar创建topic
因为之前写了一个游标回滚的博客，牵扯到分区topic与非分区topic的区别，楼主总结了一些经验，有不对的地方欢迎指出** 1. 分区topic的创建**private static PulsarAdmin admin = null;public void createTopic(){topicName = “persistent://zhiwang3/whds9/admin3”;num...
2019-03-08 10:25:41
4977
原创 pulsar2.3.0游标回滚，移动偏移量测试
** 1. 功能支持**pulsar做为一个消息系统，自然是支持游标回滚功能的，但是因为软件还处于快速发展迭代的阶段，有些功能使用上可能会小心一些，以下就是楼主最近碰到以及找到的解决办法。2. 需求因为消息安全以及可验证的原因，项目要求需要可将topic中消息回滚到之前几分钟，十几分钟，乃至于最早未删除的位置。经过测试发现pulsar有四种方式可处理回滚事项，一，设置subscription...
2019-03-08 10:11:43
1084
原创 pulsar2.2.0安装步骤
一、 第一步：安装部署zk安装路径/opt/zookeeper-3.4.13配置文件tickTime=2000initLimit=10syncLimit=5dataDir=/data1/zookeeper/dataclientPort=2181#maxClientCnxns=60server.1=172.16.4.222:2888:3888server.2=172.1...
2019-03-07 20:06:23
1713
原创 pulsar2.2.0在线版本升级2.3.0步骤
原先版本2.2.0，升级后版本2.3.0原先版本简介，三台bookie服务器+三台broker服务器1. 下载解压tar zxfv apache-pulsar-2.3.0-bin.tar.gz 耗时，下次提前传输传输jar包（wget https://archive.apache.org/dist/pulsar/pulsar-2.3.0/apache-pulsar-2.3.0-bin.t...
2019-03-07 19:57:08
866
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人