黑曼巴

fork 一个仓库进行本地分支开发，避免 PR 混乱等问题，本地仓库与主仓库代码同步的问题，这里列出同步相关命令：#添加远程主仓库到 upstreamgit remote add upstream git@github.com:apache/pulsar.git#更新主仓库代码git fetch upstream#本地仓库切换到 master，并 merge 最新远程代码git checkout mastergit merge upstream/mastergit push origin

1.API参考文档地址https://avro.apache.org/docs/current/api/java/index.html2.avro数据格式定义官网说明：https://avro.apache.org/docs/current/spec.html这里定义一个简单的schema文件user.avsc,注意，后缀一定是avsc，其中的内容如下：{ "namespace": "com.yyj.avro.demo", "type": "record", "name":

https://bookkeeper.apache.org/docs/reference/cli

接收网络请求入口类 BookieRequestHandler/** * Serverside handler for bookkeeper requests. */class BookieRequestHandler extends ChannelInboundHandlerAdapter { private static final Logger LOG = LoggerFactory.getLogger(BookieRequestHandler.class); privat.

# my global configglobal: scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute. evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute. # scrape_timeout is set to the global

参考链接：https://hub.streamnative.io/offloaders/aws-s3/2.5.1

####################kubectl#####################获取指定namespace的pod，service，deploy，statefulsets，cmkubectl get pod,svc,deploy,statefulsets,cm -n yyj#获取持久化卷及卷的申请kubectl get pv,pvc###################helm########################渲染模版，看看渲染结果，不安装/User

大致思路先写下，prometheus.yml加个配置项，远程写是调用http请求来写的，数据格式是protobuf（一种自定义的编码格式），编码格式是snappy（一种压缩格式）；远程写通过snappy先压缩，然后protobuf编码的字节数组请求的；接收到远程写数据时是乱码，先用snappy进行解压缩，prometheus官网文档远程写提供remote.proto（包含编码和解码），remote.proto文件中依赖了types.proto和gogo.proto两个文件，我是在prometheus源码的包

Mac 安装prometheusbrew install prometheus启动prometheusprometheus --config.file=/usr/local/etc/prometheus.yml#web UIlocalhost:9090安装启动node_exporterbrew install node_exporterbrew services start node_exporter启动后，可以通过http://localhost:9100/查看，如图：...

官网地址安装教程https://clickhouse.com/learn/lessons/gettingstarted/#1-installing-clickhouse

1.函数rate()rate函数，rate用来计算两个 间隔时间内发生的变化率（一段时间内平均每秒的增量）。专门用来搭配Counters类型的数据，rate(指标名{筛选条件}[时间间隔])比如 查看1分钟内非idle的cpu使用率rate(node_cpu_seconds_total{mode!="idle"}[1m])irate()rate与irate的区别irate和rate都会用于计算某个指标在一定时间间隔内的变化速率。但是它们的计算方法有所不同：irate取的是在指定时间范围内的

#bookeeper.conf配置zkTimeout=30000zkServers=localhost:2181/pulsarzkLedgersRootPath=/ledgerszkEnableSecurity=falsewriteBufferSizeBytes=65536useHostNameAsBookieID=falsestatsProviderClass=org.apache.bookkeeper.stats.prometheus.PrometheusMetricsProviders

入口依然是通过SPI机制找到kafka的factory（KafkaDynamicTableFactory），Flink中大量使用了SPI机制，有时间再整理一篇SPI在Flink中的应用。话不多说，进入正题。Source通过createDynamicTableSource方法创建 kafka source，这里主要做几件事：从context获取table ddl中相关的信息、比如schema、with属性，生成TableFactoryHelper辅助工具类。根据with中的key/value for

zookeeper下载地址

Kafka server配置

Kafka配置

https://cwiki.apache.org/confluence/display/FLINK/Flink+Improvement+Proposals

待完善

待完善

官网文档地址：https://bookkeeper.apache.org/docs/4.12.1/overview/overview/

官网地址

待完善

ODSDWDDWSDWS,俗称的数据服务层,也有叫做数据聚合层.不过按照经典数据建模理论,一般称之为前者,也就是数据服务层,为更上层的ADS层或者直接面向需求方服务.DWS建模,一般使用主题建模,维度建模等方式主题建模,顾名思义,围绕某一个业务主体进行数据建模,将相关数据抽离提取出来.如,将流量会话按照天,月进行聚合将每日新用户进行聚合将每日活跃用户进行聚合维度建模,其实也差不多,不过是根据业务需要,提前将后续数据查询处理需要的维度数据抽离处理出来,方便后续查询使用.如将运营位维度数据.

待完善

待完善

待完善

1.IaaSIaaS是Infrastructure as a server的缩写，意思是基础设施即服务。又云端公司把IT环境的基础设施建设好，然后直接对外出租硬件服务器或者虚拟机。消费者可以利用所有计算基础设施，包括处理CPU、内存、存储、网络和其它基本的计算资源，用户能够部署和运行任意软件，包括操作系统和应用程序。消费者不管理或控制任何云计算基础设施，但能控制操作系统的选择、存储空间、部署的应用，也有可能获得有限制的网络组件（例如路由器、防火墙、负载均衡器等）的控制。如下图所示：云端公司一般都会有一