日志埋点的实现(本地生成txt文件，异步读取上传)

最近工作过程中需要实现一个日志埋点的功能，采集用户行为及相关行为Log以便后续的报表分析。

首先整理下实现日志埋点必须具备的功能：

1.行为采集注册-

2.行为采集实时写入

3.行为采集异步上传

实现过程中可能会出现的问题:文本文件追加和读取的并发问题。

具体实现：

private static object loker = new object();

private static System.Timers.Timer aTimer = new System.Timers.Timer();

static ReaderWriterLockSlim LogWriteLock = new ReaderWriterLockSlim();

 private static string file = System.Environment.CurrentDirectory + "Log";

 

 1.注册获取登陆用户的信息，开启异步线程，定时读取本地生成的txt文件上传到数据库，我采用mongoDB存储埋点信息。

        public bool RegisterCollect()
        {
            var response = Register(注册的参数); //读取采集配置信息（是否采集，是否上传，上传频率）
            if (response.Sucess)
            {
                AddActionRecord();
                //根据读取到的配置信息 开启异步线程定时读取本地文件
                AddActionRecord();
            }

//注册成功后判断文件夹路径是否存在，不存在则创建

        private CheckDirctory()
        {
            if (!Directory.Exists(file))
            {
                Directory.CreateDirectory(file);
            }
        }

        public void AddActionRecord()
        {
            CheckDirctory()
            aTimer.Interval = 60000 * 上传频率;

            aTimer.Elapsed += new System.Timers.ElapsedEventHandler(OnTimedEvent);

            aTimer.Enabled = true;

        }

        private void OnTimedEvent(Object source, ElapsedEventArgs e)
        {
            lock (loker)
            {
                UploadTxtRecord();
            }
        }

        private void UploadTxtRecord()
        {
            var query = (from f in Directory.GetFiles(file, "*.txt")

                         let fi = new FileInfo(f)

                         orderby fi.CreationTime descending

                         select fi.FullName).ToList();

            var logFilePath = query.FirstOrDefault();

            if (query.Count == 0 || FileStatusHelper.IsFileOccupied(logFilePath))
            {
                return;
            }

            try
            {
                LogWriteLock.EnterWriteLock();

                FileStream fileStream = new FileStream(logFilePath, FileMode.Open, FileAccess.ReadWrite);

                StreamReader reader = new StreamReader(fileStream, Encoding.GetEncoding("UTF-8"));

                string line = "";

                while ((line = reader.ReadLine()) != null)

                {
                    //调用服务接口，写入埋点信息到数据库中

                }
                reader.Close();

                fileStream.Close();

                File.Delete(logFilePath);
            }
            catch (Exception ex)
            {
            }
            finally
            {
                LogWriteLock.ExitWriteLock();
            }
        }

2.实时上传直接调用采集上传的方法，我这里直接调用服务端API方法实现。

   public void ActionRecordCollectAsync()
        {
            //调用服务接口，写入埋点信息到数据库中
        }

3.异步上传在需埋点的位置调用埋点的方法，将埋点数据写入本地文本文件中，以便后续的采集上传

    public void WriteMessage(string actionRecordJson)
        {
            try
            {
                LogWriteLock.EnterWriteLock();

                var query = (from f in Directory.GetFiles(file, "*.txt")

                             let fi = new FileInfo(f)

                             orderby fi.CreationTime descending

                             select fi.FullName).ToList();

                var logFilePath = query.FirstOrDefault();

                if (query.Count == 0)
                {
                    logFilePath = file + "\\" + DateTime.Now.ToString("yyyyMMdd-hhmm") + ".txt";
                }

                //判断文件是否被占用

                if (query.Count > 0 && FileStatusHelper.IsFileOccupied(logFilePath))
                {
                    logFilePath = file + "\\" + DateTime.Now.ToString("yyyyMMdd-hhmm") + ".txt";
                }

                using (FileStream fs = new FileStream(logFilePath, FileMode.OpenOrCreate, FileAccess.Write))
                {
                    using (StreamWriter sw = new StreamWriter(fs))
                    {
                        sw.BaseStream.Seek(0, SeekOrigin.End);
                        sw.WriteLine(actionRecordJson);
                        sw.Flush();
                    }
                }
            }
            catch (Exception ex)
            {
                Console.WriteLine(ex.Message);
            }
            finally
            {
                //退出写入模式，释放资源占用

                //注意：一次请求对应一次释放

                //      若释放次数大于请求次数将会触发异常[写入锁定未经保持即被释放]

                //      若请求处理完成后未释放将会触发异常[此模式不下允许以递归方式获取写入锁定]

                LogWriteLock.ExitWriteLock();
            }
        }

并发问题的解决(解决思路)：

1.写入的时候，判断文件是否被占用，若被占用，重新创建一个文件写入

2.读取的时候，获取文件夹下所有文件，根据时间进行倒叙排序，读取之后上传数据库删除文件。

            public class FileStatusHelper{

            [DllImport("kernel32.dll")]

            public static extern IntPtr _lopen(string lpPathName, int iReadWrite);

            [DllImport("kernel32.dll")]

            public static extern bool CloseHandle(IntPtr hObject);

            public const int OF_READWRITE = 2;

            public const int OF_SHARE_DENY_NONE = 0x40;

            public static readonly IntPtr HFILE_ERROR = new IntPtr(-1);

            /// <summary>

            /// 查看文件是否被占用

            /// </summary>

            /// <param name="filePath"></param>

            /// <returns></returns>

            public static bool IsFileOccupied(string filePath)
            {
                IntPtr vHandle = _lopen(filePath, OF_READWRITE | OF_SHARE_DENY_NONE);

                CloseHandle(vHandle);

                return vHandle == HFILE_ERROR ? true : false;
            }

        }

        总结：暂时实现了自己所需的功能，但是因为自己对多线程的薄弱，所以实际并没有经过大量数据和并发情况的考验。大家有时间可以自己拿下来测试一下，欢迎大家反馈改进