LogCollector07: LogTransfer

最新推荐文章于 2024-09-12 08:05:07 发布

21秋招拒做分母

最新推荐文章于 2024-09-12 08:05:07 发布

阅读量134

点赞数

分类专栏： golang 文章标签： golang

本文链接：https://blog.csdn.net/qq_43378019/article/details/114736715

版权

golang 专栏收录该内容

11 篇文章 0 订阅

订阅专栏

在这里插入图片描述
需要完成什么？
程序启动加载配置文件：左边连接哪个kafka，连的kafka的topic是什么。右边连哪个es，es哪个索引，按照什么样的频率去写？

[kafka]
address=127.0.0.1:9092
topic=web_log

[es]
address=192.168.0.106:9200
index=web
max_chan_size=10000
goroutine_num=16

在model包中，建立config的struct。

在main中：
1.加载配置文件。
2.连接es。（封装一个init方法）
3.连接kafka。（封装一个init方法）

func main(){
	// 1. 加载配置文件
	//得到config结构体对应的一个指针。
	var cfg = new(model.Config)
	//拿到指针后，在加载的时候直接传cfg即可。
	err := ini.MapTo(cfg, "./config/logtransfer.ini")
	if err != nil {
		fmt.Printf("load config failed,err:%v\n", err)
		panic(err)
	}
	fmt.Printf("%#v\n", *cfg)
	fmt.Println("load config success")
	// 2. 连接ES
	err = es.Init(cfg.ESConf.Address, cfg.ESConf.Index, cfg.ESConf.GoNum, cfg.ESConf.MaxSize)
	if err != nil {
		fmt.Printf("Init es failed,err:%v\n", err)
		panic(err)
	}
	fmt.Println("Init ES success")
	// 3. 连接kafka
	err = kafka.Init([]string{cfg.KafkaConf.Address}, cfg.KafkaConf.Topic)
	if err != nil {
		fmt.Printf("connect to kafka failed,err:%v\n", err)
		panic(err)
	}
	fmt.Println("Init kafka success")
	// 在这儿停顿!
	select {}
}

es中该有什么？
1.

type ESClient struct {
	client *elastic.Client
	index string
	logDataChan chan interface{}
}

var (
	esClient *ESClient
)


func Init(addr, index string, goroutineNum, maxSize int)(err error){
	client, err := elastic.NewClient(elastic.SetURL("http://"+addr))
	if err != nil {
		// Handle error
		panic(err)
	}
	fmt.Printf("%#v\n", client)
	esClient = &ESClient{
		client:client,
		index:index,
		logDataChan:make(chan interface{}, maxSize),
	}
	fmt.Println("connect to es success")
	// 从通道中取出数据,写入到kafka中去
	for i:=0;i<goroutineNum;i++{
		go sendToES()
	}
	return
}


func sendToES(){
	for m1 := range esClient.logDataChan{
		//b, err := json.Marshal(m1)
		//if err != nil {
		//	fmt.Printf("marshal m1 failed, err:%v\n", err)
		//	continue
		//}
		put1, err := esClient.client.Index().
			Index(esClient.index).
			BodyJson(m1).
			Do(context.Background())
		if err != nil {
			// Handle error
			panic(err)
		}
		fmt.Printf("Indexed user %s to index %s, type %s\n", put1.Id, put1.Index, put1.Type)
	}
}

// 通过一个首字母大写的函数从包外接收msg,发送到chan中
func PutLogData(msg interface{}){
	esClient.logDataChan<-msg
}