花椒服务端4个开源项目介绍

360技术

于 2020-02-04 20:48:52 发布

阅读量1.3k

点赞数

原文链接：https://mp.weixin.qq.com/s/_QaJljPTbAHLyym-o14dAw#rd

版权

奇技指南

花椒直播服务端系统开发组对多个内部广泛使用到的基础服务开源，包括之前介绍过的总线系统和分布式 cron 管理：

gokeeper - 集中化配置管理中心
pepperbus - 花椒直播总线系统
peppercron - 花椒直播分布式 cron 管理
dashboard - pepperbus & peppercron 操作后台

gokeeper

github 仓库地址：

https://github.com/huajiao-tv/gokeeper

docker 镜像仓库：docker pull huajiao/gokeeper

gokeeper 是一个基于 go 语言编写的集中化配置管理中心，支持服务发现功能，默认使用 ETCD 作为后端配置存储（可支持 consul, zokeeper 等），支持单节点或集群方式部署

运行

前提条件

本地配置 Docker 环境及 docker-compose
Clone gokeeper 代码至本地

启动 gokeeper

进入 deploy/docker_compose 目录
执行 docker-compose up -d

集中配置

gokeeper 支持 go 语言内置的 gob 编码，并支持 go 语言的大部分数据类型及复合结构：

bool, []bool
int, int64
[]int, []int64
float64, []float64
string, []string
map[string]string, map[string]int, map[string]bool
map[int]string, map[int]int, map[int]bool
map[string][]string, map[string]struct{}, map[int]struct{}
time.Duration

除以上 go 语言类型外，还持将 json 字符串到自定义类型的映射，配置类型为 json。

此外，为了兼容其它语言，gokeeper 还支持使用 gRPC 协议，目前其它语言的 SDK 仍在开发测试中。

接入

引入 go get -u github.com/huajiao-tv/gokeeper

使用自定义的 ini 格式定义配置

ini 文件使用 <key> [type] = [value] 的格式，如果不指定类型，默认为 string

生成配置对象

go get -u github.com/huajiao-tv/gokeeper/cmd/gokeeper-cli
$GOPATH/bin/gokeeper-cli -in ./ini_file_path -out data

gokeeper client

//your ps to use
ps := []string{"test.conf/DEFAULT"}


//gokeeper.WithGrpc() will use grpc to connect gokeeper server,otherwise use gorpc
client := gokeeper.New(keeperAddr, domain, nodeID, component, ps, nil, gokeeper.WithGrpc())
client.LoadData(data.ObjectsContainer).RegisterCallback(run)
if err := client.Work(); err != nil {
    panic(err)
}

服务发现

原理

特性

client 端服务注册与发现的接口只与 gokeeper 交互，不关心 gokeeper discovery 后端存储

服务的订阅者只订阅自己感兴趣的服务，没有订阅的服务不会得到信息变动的推送
gokeeper discovery 与后端存储建连，监听服务的节点信息变化，如果有增删节点，discovery实时将信息推送给服务的订阅者
在 client consumer 与 gokeeper discovery 不通的情况下，原有的节点可用
负载均衡策略由后台配置，通过 gokeeper 写到存储中，各个 gokeeper discovery 节点同步更新，然后通过 gokeeper 同步给各个 Service Consumer

接入

引入 go get -u github.com/huajiao-tv/gokeeper/client/discovery

Service Provider

instance := discovery.NewInstance(discovery.GenRandomId(), "demo.test.com", map[string]string{discoverry.SchemaHttp: "127.0.0.1:17000"})
instance.Id = "test_id_1"


client := discovery.New(
    // gokeeper server address（grpc address）
    "127.0.0.1:7001",
    // registry service
    discovery.WithRegistry(instance),
    discovery.WithRegistryTTL(60*time.Second),
    // schedule strategy，default：random
    discovery.WithScheduler(map[string]schedule.Scheduler{
        "demo.test.com": schedule.NewRoundRobinScheduler(),
    }),
)

Service Consumer

// start gokeeper client
client := discoverry.New(
    // gokeeper server address（grpc address）
    "127.0.0.1:7001",
    // subscribe a group of service
    discovery.WithDiscovery("example_client1", []string{"demo.test.com"}),
)


// TODO


// get service address
addr, err := client.GetServiceAddr("demo.test.com", discovery.SchemaHttp)
if err != nil{
    // TODO
}

pepperbus