使用文件缓存减少对数据库的操作

最近我们的主数据库当前连接数超过 400, 客户端连接经常超时 ,Cpu 波动较大，四台MemCached (每台32G) 已经不够用,命中率也较低。该数据库服务器是每天4亿PV的核心。我们优化数据库后。开发了文件缓存系统。

某个页面第一次接受用户访问时将数据库中获取到的内容转化成字符串文件的形式，并且存储在服务器硬盘当中，当后面的人再来访问时先读取本地 Cache, 如果获取不到只需要直接读取物理文件的内容即可，从而达到减少数据库操作的目的 .

 

先看一下流程图 :

 

 

 

使用文件缓存肯定一个读 / 写冲突，并发的问题 , 特别像我们这么大访问的频道

 

1.       解决读写冲突方法  
Get 获取物理时
1 à 判断文件锁 .Lock 是否存在 à 如果存在表示该文件正在被写中 . 不获取 . 否则就获取
2 à 读取时中间已加上 HttpCache. 防止不停地在读 . 造成 I/O 过高 .

 

Set 写入物理文件

1 à 使用读取锁 ReaderWriterLock _locker = new ReaderWriterLock (); // 读取锁
2 à _locker.AcquireWriterLock(TimeSpan .FromSeconds(3));
        // 写锁定（写入时间最大允许在3 秒内完成，超时立即退出）
3 à 创建一个.lock 的物理文件, 表示该文件正在被创建
4 à 创建缓存物理文件
5 à 删除.lock 物理文件
6 à _locker.ReleaseWriterLock(); // 释放写锁定

 

源代码：
FileCache.cs

 /****************************************************** * author : 段小勇 * function: 文件缓存类 * history: created by 段小勇 2010-6-4 ******************************************************/ using System; using System.Configuration; using System.IO; using System.Text; using System.Threading; namespace FileCacheCL { /// <summary> /// 文件缓存类 /// </summary> public class FileCache { /// <summary> /// 默认缓存保存路径 /// </summary> private const string DefaultFilePath = "E://FileCache//"; /// <summary> /// 文件扩展名 /// </summary> private const string FileExt = ".fc"; /// <summary> /// 文件锁名称 /// </summary> private const string FileLock = "fc.lock"; //文件锁 private readonly ReaderWriterLock _locker = new ReaderWriterLock(); //读取锁 /// <summary> /// 构函方法,默认缓存保存路径E:/FileCache/ /// </summary> public FileCache() { } /// <summary> /// 构函方法 /// </summary> /// <param name="cachefilepath">缓存文件保存路径</param> public FileCache(string cachefilepath) { SaveFilePath = cachefilepath; } #region 获取缓存 /// <summary> /// 获取缓存 /// </summary> /// <param name="key">主键</param> /// <param name="tmspan">多少时间之内的缓存</param> /// <returns></returns> public string Get(string key, TimeSpan tmspan) { string resultValue=HttpCache.Get(key);//获取本地Web Cache if (!string.IsNullOrEmpty(resultValue) && resultValue != "") { return resultValue; } string strFileName = GetFileName(key); //获取文件路径 if (File.Exists(strFileName.Replace(FileExt, FileLock))) //缓存文件是否正在被写入中 { return ""; } bool isExpiry = IsExpiry(strFileName, tmspan); //缓存文件是否已过期 if (isExpiry) //已过期 { return ""; } try { var sr = new StreamReader(strFileName, Encoding.UTF8); //缓存文件内容 resultValue = sr.ReadToEnd(); sr.Close(); HttpCache.Insert(key, resultValue, TimeSpan.FromMinutes(10)); } catch (Exception ex) { resultValue = ""; } return resultValue; } #endregion #region 创建缓存 /// <summary> /// 创建缓存 /// </summary> /// <returns></returns> public bool Set(string key, string value) { return Set(key, value, TimeSpan.FromMinutes(10)); } /// <summary> /// 创建缓存 /// </summary> /// <param name="key">主键</param> /// <param name="value">值</param> /// <param name="tmspan">HttpCache的缓存时间</param> /// <returns></returns> public bool Set(string key, string value,TimeSpan tmspan) { bool bflag = false; string strFileName = GetFileName(key); string strFilePath = GetFilePath(key); try { if (!Directory.Exists(strFilePath)) { Directory.CreateDirectory(strFilePath); } _locker.AcquireWriterLock(TimeSpan.FromSeconds(3)); //写锁定（写入时间最大允许在3秒内完成，超时立即退出） bflag = WriteFile(strFileName.Replace(FileExt, FileLock), "LOCK"); //写入文件锁，表示缓存文件正在写入中 if (!bflag) { return false; } bflag = WriteFile(strFileName, value); //写入缓存文件 if (!bflag) { return false; } File.Delete(strFileName.Replace(FileExt, FileLock)); //删除文件锁 HttpCache.Insert(key, value, tmspan); } catch (Exception ex) { bflag = false; } _locker.ReleaseWriterLock(); //释放写锁定 return bflag; } #endregion #region 删除缓存 /// <summary> /// 删除缓存 /// </summary> /// <returns></returns> public bool Delete(string key) { bool bflag = false; HttpCache.Remove(key); string strFileName = GetFileName(key); if (File.Exists(strFileName)) { try { File.Delete(strFileName); bflag = true; } catch (Exception ex) { bflag = false; } } if (File.Exists(strFileName.Replace(FileExt, FileLock))) { try { File.Delete(strFileName.Replace(FileExt, FileLock)); bflag = true; } catch (Exception ex) { bflag = false; } } return bflag; } #endregion #region 文件操作 /// <summary> /// 判断文件缓存是否已经过期 /// </summary> /// <param name="filename">文件名，不带路径，不带扩展名</param> /// <param name="tmspan">缓存时间</param> /// <returns></returns> private bool IsExpiry(string filename, TimeSpan tmspan) { bool resultValue = true; if (File.Exists(filename)) { try { DateTime tmFile = File.GetLastWriteTime(filename); //最后一次被写入的时间 DateTime tmNow = DateTime.Now; TimeSpan ts = tmNow - tmFile; if (ts.TotalMinutes < tmspan.TotalMinutes) { resultValue = false; } } catch (Exception ex) { //throw new Exception(ex.ToString()); resultValue = true; } } return resultValue; } /// <summary> /// 格式化文件名,替换非法字符 /// </summary> /// <param name="fileName">需要格式化的文件名</param> /// <returns>格式化后的文件名</returns> private string FormatFilename(string fileName) { fileName = fileName.Replace("//", "_"); fileName = fileName.Replace("/", "_"); fileName = fileName.Replace(":", "_"); fileName = fileName.Replace("*", "_"); fileName = fileName.Replace("?", "_"); fileName = fileName.Replace("/"", "_"); fileName = fileName.Replace("<", "_"); fileName = fileName.Replace(">", "_"); fileName = fileName.Replace("|", "_"); fileName = fileName.Replace("+", "_"); return fileName.ToLower(); } /// <summary> /// 获取文件路径 /// </summary> /// <param name="key"></param> /// <returns></returns> private string GetFileName(string key) { string strFileName = GetFilePath(key) + FormatFilename(key) + FileExt; return strFileName; } /// <summary> /// 获取文件夹路径 /// </summary> /// <returns></returns> private string GetFilePath(string key) { if ((string.IsNullOrEmpty(SaveFilePath) || SaveFilePath == "") && ConfigurationManager.AppSettings["FileCachePath"] != null) { SaveFilePath = ConfigurationManager.AppSettings["FileCachePath"]; } if (string.IsNullOrEmpty(SaveFilePath) || SaveFilePath == "") { SaveFilePath = DefaultFilePath; } if (SaveFilePath.Substring(SaveFilePath.Length - 1, 1) != "//") { SaveFilePath += "//"; } string keyfolder = key.Substring(0, 1); if(key.Length>=2) { keyfolder = key.Substring(0, 2); } string strPath = SaveFilePath + DateTime.Now.Day + "//" + keyfolder + "//"; return strPath; } /// <summary> /// 写入文件 /// </summary> /// <param name="filename">文件名</param> /// <param name="value">文件内容</param> /// <returns></returns> private bool WriteFile(string filename, string value) { bool bfalg = false; try { var sw = new StreamWriter(filename, false, Encoding.UTF8); sw.Write(value); sw.Close(); bfalg = true; } catch (Exception ex) { } return bfalg; } #endregion /// <summary> /// 文件缓存保存路径 /// </summary> public string SaveFilePath { get; set; } } }  

 

HttpCache.cs

 

using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Web; using System.Web.Caching; namespace FileCacheCL { /// <summary> /// HttpCache类 /// </summary> public class HttpCache { /// <summary> /// 获取Cache /// </summary> /// <param name="key"></param> /// <returns></returns> public static string Get(string key) { object value = HttpContext.Current.Cache[key]; if (value != null) { return value.ToString(); } else { return ""; } } /// <summary> /// 新增Cache /// </summary> /// <param name="key"></param> /// <param name="value"></param> /// <param name="ts"></param> /// <returns></returns> public static bool Insert(string key, object value, TimeSpan ts) { if (value == null) { return false; } HttpContext.Current.Cache.Insert(key, value, null, DateTime.Now.Add(ts), TimeSpan.Zero, CacheItemPriority.Default, null); return true; } /// <summary> /// 删除Cache /// </summary> /// <param name="key"></param> /// <returns></returns> public static bool Remove(string key) { HttpContext.Current.Cache.Remove(key); return true; } } }

 

demo.aspxusing System; using System.Configuration; using System.Data; using System.Linq; using System.Web; using System.Web.Security; using System.Web.UI; using System.Web.UI.HtmlControls; using System.Web.UI.WebControls; using System.Web.UI.WebControls.WebParts; using System.Xml.Linq; using Newtonsoft.Json; public partial class _Default : System.Web.UI.Page { protected void Page_Load(object sender, EventArgs e) { FileCacheCL.FileCache filecache = new FileCacheCL.FileCache(); bool bflag = filecache.Set("test1", "字符串测试"); if (bflag) { Response.Write("写入缓存文件成功!"+"<br/>"); } else { Response.Write("写入缓存文件失败!" + "<br/>"); } for (int i = 0; i < 2; i++) { string cacheValue = filecache.Get("test1", TimeSpan.FromMinutes(1)); Response.Write("i=" + i + ":" + cacheValue + "<br/>"); } System.Data.DataTable dt = new DataTable(); dt.Columns.Add("Id", System.Type.GetType("System.Int32")); dt.Columns.Add("Name", System.Type.GetType("System.String")); DataRow dr1 = dt.NewRow(); dr1["Id"] = 1; dr1["Name"] = "atao"; dt.Rows.Add(dr1); DataRow dr2 = dt.NewRow(); dr2["Id"] = 2; dr2["Name"] = "tommy"; dt.Rows.Add(dr2); string cachevalue = JsonConvert.SerializeObject(dt); filecache.Set("dt", cachevalue); cachevalue = filecache.Get("dt", TimeSpan.FromMinutes(3)); DataTable dt2 = Newtonsoft.Json.JsonConvert.DeserializeObject<DataTable>(cachevalue); Response.Write("获取DataTable" + "<br/>"); for (int i = 0; i < dt2.Rows.Count; i++) { Response.Write(dt2.Rows[i]["Name"].ToString() + "<br/>"); } Response.Write("执行完毕" + "<br/>"); } } 

 
另外需要Newtonsoft.Json.Net20.dll 类库。这时上传不了。如果需要，请发邮件联系我:duanxiaoyong@3g.net.cn
或Msn:web718@hotmail.com