openfalcon transfer多重备份

最新推荐文章于 2020-08-27 14:50:46 发布

JackLiu16

最新推荐文章于 2020-08-27 14:50:46 发布

阅读量1.8k

点赞数 1

分类专栏： go

本文链接：https://blog.csdn.net/JackLiu16/article/details/106611031

版权

本文介绍了openfalcon Transfer的配置，重点在于如何实现数据向Graph的多重备份。通过设置`graph.cluster`，利用一致性哈希算法和多个Graph节点，确保数据的安全性和可靠性。同时，配置中涉及的连接超时、批量大小等参数也进行了说明。

摘要由CSDN通过智能技术生成

// 将数据 打入 某个Graph的发送缓存队列, 具体是哪一个Graph 由一致性哈希 决定
func Push2GraphSendQueue(items []*cmodel.MetaData) {
	cfg := g.Config().Graph

	for _, item := range items {
		graphItem, err := convert2GraphItem(item)
		if err != nil {
			log.Println("E:", err)
			continue
		}
		pk := item.PK()

		// statistics. 为了效率,放到了这里,因此只有graph是enbale时才能trace
		proc.RecvDataTrace.Trace(pk, item)
		proc.RecvDataFilter.Filter(pk, item.Value, item)

		node, err := GraphNodeRing.GetNode(pk)
		if err != nil {
			log.Println("E:", err)
			continue
		}

		cnode := cfg.ClusterList[node]
		errCnt := 0
		//    - cluster: key-value形式的字典，表示后端的graph列表，其中key代表后端graph名字，value代表的是具体的ip:port
		//    (多个地址用逗号隔开, transfer会将同一份数据发送至各个地址，利用这个特性可以实现数据的多重备份)
		for _, addr := range cnode.Addrs {
			Q := GraphQueues[node+addr]
			if !Q.PushFront(graphItem) {
				errCnt += 1
			}
		}

		// statistics
		if errCn