go语言收集nginx容器日志（五、写入模块实现）

写入模块需要将数据写入时序性数据库influxdb，首先我们部署influxdb，本次采用docker部署，
这是influxdb的官方地址：https://hub.docker.com/_/influxdb
使用docker拉取镜像然后启动，进入容器执行可连接数据库（influxdb的语句类似sql语句）
基本概念
database 数据库，
measurement 类似mysql的数据表，
tag 类似mysql的索引，
field 值，

$ influx -precision rfc3339
Connected to http://localhost:8086 version 1.7.x
InfluxDB shell 1.7.x
//创建数据库
>CREATE DATABASE nginxlog
//创建用户
>create user huhongbin with password '****'
//为用户授权
>grant all privileges on nginxlog to huhongbin

现在数据库已经建好，如果使用代码操作数据库呢，别担心，官方提供了呢，
官方地址：https://github.com/influxdata/influxdb1-client
我们只需要导入官方的连接包，调用函数及方法就行了，下面看代码
init()函数是初始化函数,定义了两个全局变量，会在main函数前调用

var (
	con client.Client
	err error
)
func init(){
	con, err = client.NewHTTPClient(client.HTTPConfig{
		Addr:               "http://*********",
		Username:           "huhongbin",
		Password:           "123456",
	})
	if err != nil {
		log.Fatal(err)
	}
}

写入模块代码

func (l *LogProcess) Write() {

	for {
		//从写入管道取值
		res := <-l.wc
		//设置tag也就是数据库的索引
		tages := map[string]string{"method":res.Method, "url":res.Url,"ip":res.Ip,"device":res.Device}
		//设置field
		filds := map[string]interface{}{"status":res.Status,"requestime":res.RequestTime}
		//新建一个point 这个name为influxdb的measurement
		p, err := client.NewPoint("docker", tages, filds, res.Time)
		if err != nil {
			log.Fatal(err)
		}
		bp, err := client.NewBatchPoints(client.BatchPointsConfig{
			Precision:        "s",
			Database:         "nginxlog",
			RetentionPolicy:  "",
			WriteConsistency: "",
		})
		if err != nil {
			log.Fatal(err)
		}
		bp.AddPoint(p)
		//写入数据库
		err = con.Write(bp)
		if err != nil {
			log.Fatal(err)
		}
	}
}

现在读取、处理、写入模块都已完成，我们来看下完整代码！

package main

import (
	"bufio"
	"encoding/json"
	"fmt"
	"io"
	"log"
	"os"
	"regexp"
	"strconv"
	"time"
	_ "github.com/influxdata/influxdb1-client"
	"github.com/influxdata/influxdb1-client/v2"
)
var (
	con client.Client
	err error
)
func init(){
	con, err = client.NewHTTPClient(client.HTTPConfig{
		Addr:               "http://192.168.1.152:8086",
		Username:           "huhongbin",
		Password:           "123456",
	})
	if err != nil {
		log.Fatal(err)
	}
}
type LogProcess struct {
	//定义了两个管道，一个读取，一个写入
	rc chan *NginxLog
	wc chan *Repose

	//文件路径
	path string
}

func (l *LogProcess) ReadFromFile() {
	//打开文件返回一个reader
	file, err := os.Open(l.path)
	if err != nil {
		log.Fatal(err)
	}
	//(0,2)是指向文件最后一样
	file.Seek(0, 2)
	//新建一个reader，读取打开的文件
	read := bufio.NewReader(file)
	nginxlog := &NginxLog{}
	for {
		//循环读取文件返回一个bute的一个切片参数意思为换行
		bytes, err := read.ReadBytes('\n')
		//如果错误为io.EOF代表这是文件末尾，休眠500毫秒跳过本次读取
		if err == io.EOF {
			time.Sleep(500 * time.Millisecond)
			continue
		} else if err != nil {
			log.Fatal(err)
		}
		//把读取的数据反序列化为结构体
		err = json.Unmarshal(bytes, nginxlog)
		if err != nil {
			log.Fatal(err)
		}
		//我们还需要修改读取管道的值类型为NginxLog类型
		l.rc <- nginxlog
	}

}
func (l *LogProcess) Process() {
	/*
	需要匹配的正则规则，每个人跟每个人写的正则都不一样，只要能提取到自己需要的数据即可，其中（...）中包含的是我们需要提取的数据,
	 */
	str := `([\d\.]+)\s+([^\[]+)\s+\[([\d\s\S]+?)\]\s+\"([A-Z]+)\s+([\/\S]+)\s+([[A-Z]+\/\d\.\d]?)\"\s+([\d]+)\s+([\d]+)\s+\"([\S]+)\"\s+\"([\S]+)\s+\(([\S]+)\s+`
	//函数MustCompile类似Compile但会在解析失败时panic，主要用于全局正则表达式变量的安全初始化。详情请看regexp包的官方文档
	reg := regexp.MustCompile(str)
	//定义一个location准备时间的格式化
	location, _ := time.LoadLocation("Asia/Shanghai")
	for {
		//从读取管道中取值，值类型为NginxLog类型
		t := <-l.rc
		/*
		这里需要用到连个方法一个为FindAllStringSubmatch，一个为FindStringSubmatch，前一个方法返回的是一个二维的string切片，后一个方法返回的是一个string切片[]string
		其中索引0为全部数据索引1为你正则表达式中第一个()重的数据
		 */
		result := reg.FindStringSubmatch(t.Log)
		if len(result) < 12 {
			log.Printf("log err: %v", result[0])
			continue
		}
		//字符串改为时间格式
		timeN, err := time.ParseInLocation("02/Jan/2006:15:04:05 +0800", result[3], location)
		if err != nil {
			log.Printf("time.ParseInLocation err:%v",err)
			continue
		}
		fmt.Println(result[8])
		//字符串改为数字
		i, err := strconv.Atoi(result[8])
		if err != nil {
			log.Println(err)
			continue
		}
		res := &Repose{
			//访问ip
			Ip: result[1],
			//访问时间
			Time:  timeN,
			//请求方法
			Method: result[4],
			//请求路径
			Url: result[5],
			//请求状态吗
			Status: result[7] ,
			//请求设备类型
			Device: result[11],
			//请求时间
			RequestTime: i,
		}
		l.wc <- res
	}
}
func (l *LogProcess) Write() {

	for {
		//从写入管道取值
		res := <-l.wc
		//设置tag也就是数据库的索引
		tages := map[string]string{"method":res.Method, "url":res.Url,"ip":res.Ip,"device":res.Device}
		//设置field
		filds := map[string]interface{}{"status":res.Status,"requestime":res.RequestTime}
		//新建一个point 这个name为influxdb的measurement
		p, err := client.NewPoint("docker", tages, filds, res.Time)
		if err != nil {
			log.Fatal(err)
		}
		bp, err := client.NewBatchPoints(client.BatchPointsConfig{
			Precision:        "s",
			Database:         "nginxlog",
			RetentionPolicy:  "",
			WriteConsistency: "",
		})
		if err != nil {
			log.Fatal(err)
		}
		bp.AddPoint(p)
		//写入数据库
		err = con.Write(bp)
		if err != nil {
			log.Fatal(err)
		}
	}
}
//nginxlog结构体
type NginxLog struct {
	//我们需要的日志部分
	Log string
	Stream string
	Time string
}
//处理模块返回结构体
type Repose struct {
	//访问ip
	Ip string
	//访问时间
	Time time.Time
	//请求方法
	Method string
	//请求路径
	Url string
	//请求状态吗
	Status string
	//请求设备类型
	Device string
	//请求时间
	RequestTime int
}

func main() {
	//这里我们实现结构体的时候新增了文件路径为当前目录下的log文件
	l := &LogProcess{
		rc:   make(chan *NginxLog),
		wc:   make(chan *Repose),
		path: "log",
	}
	go l.ReadFromFile()
	go l.Process()
	go l.Write()

	time.Sleep(30 * time.Second)
}

以上为3个功能模块的全部代码，当然我们还可以进行后期的优化。