数据采集与网站统计实现全过程

最新推荐文章于 2024-07-05 16:44:12 发布
最新推荐文章于 2024-07-05 16:44:12 发布
阅读量349 收藏
点赞数
文章标签： 人工智能 javascript 数据库 ViewUI
原文链接：https://juejin.im/post/5d07440d6fb9a07f0a2de0a9
版权

网站统计需要数据的支持，那么数据从哪里来？这里就需要网站记录客户所浏览过的痕迹，记录用户访问每个页面的流向，就要给该页面加百度统计和cnzz的统计代码，将用户的访问数据记录下来

进而生成统计数据。现在就来自己实现一个这样的数据采集与统计功能，具体步骤与相关代码如下

一、设计表结构

先考虑数据的记录方式与保存位置，用户这些数据后期要用，因此考虑将数据存储到数据库中，根据需要创建了三个表，Visitor用于记录来访用户的相关数据，VisitorRecord用于记录来访用户访问时间，着陆页面与跳出页面，表ViewRecord是访问记录，用于记录访问的基础数据。表结构如下：

二、插入数据

创建表好了，如何向其中插入数据？既然ViewRecord是记录基础数据，毫无疑问当用户每访问一次一个页面，就要向该表中插入一条数据；一个访问者就向Visitor表中插入一条数据，现在问题来了，我们如何来判断该用户是否来过呢，这里我们定义一台PC端为一个用户，如果表Vistor中已存在该用户的数据，只需更新表中访问次数visitingNum，而不需要再向Visitor表中添加数据。至于应该如何判断，这里采用的是用一插件fingerprint2.js来帮助识别是否为同一用户，这种文件类似于指纹识别，插件请移步至下载频道下载（下载地址：指纹识别插件 fingerprint2.js）。另外表VisitorRecord用来存储用户的来访时间、跳出时间及访问时长。

至于各个表插入数据的方法这里就不再赘述了，相信看到此文的读者都不在话下，这里只阐述具体的调用与实现，功能是放到一般处理程序中实现的，读者可自由变通。费话不多说，上代码： Stat.ashx public class Stat : IHttpHandler {

public void ProcessRequest(HttpContext context)
{
    string url = context.Request.PathInfo;
    string IP = Labbase.Common.Utils.GetIP();
    Labbase.BLL.TJ_LocalIP bllIP = new Labbase.BLL.TJ_LocalIP();
    Labbase.Model.TJ_Visitor mdTJVisitor = new Labbase.Model.TJ_Visitor();
    Labbase.BLL.TJ_Visitor bllTJVisitor = new Labbase.BLL.TJ_Visitor();
    Labbase.Model.TJ_VisitorRecord mdTJVisitorRecord = new Labbase.Model.TJ_VisitorRecord();
    Labbase.BLL.MVisitorRecord bllMVisitorRecord = new Labbase.BLL.MVisitorRecord();
    if (bllIP.Exists("LIP= '" + IP + "'"))
        return;
    if (isEngine(IP, context.Request.ServerVariables["HTTP_USER_AGENT"]))
        return;

    if (!string.IsNullOrEmpty(context.Request["InPage"]))
    {
        if (context.Request.Cookies["lbGUID"] == null)
        {
            HttpCookie cooklbGUID = new HttpCookie("lbGUID");
            cooklbGUID.Value = Guid.NewGuid().ToString();
            cooklbGUID.Expires = DateTime.MaxValue;
            context.Response.Cookies.Add(cooklbGUID);
        }

        else
        {
            Guid lbGUID;
            try
            {
                lbGUID = new Guid(context.Request.Cookies["lbGUID"].Value.ToString());
            }
            catch
            {
                return;
            }

            int lbGUIDCount = bllTJVisitor.Exists(new Guid(context.Request.Cookies["lbGUID"].Value)) == false ? 0 : 1;
            if (lbGUIDCount == 0)
            {
                mdTJVisitor.visitingNum = 1;
                mdTJVisitor.VisitorID = lbGUID;
                mdTJVisitor.Bfingerprinting = context.Request["fingerprint"];
                mdTJVisitor.LastVisitingTime = DateTime.Now;
                mdTJVisitor.VIp = IP;
                mdTJVisitor.Loction = IPShowAddress(IP);//查询IP库
                bllTJVisitor.Add(mdTJVisitor);

                mdTJVisitorRecord.VRID = Guid.NewGuid();
                mdTJVisitorRecord.VisitorID = mdTJVisitor.VisitorID;
                mdTJVisitorRecord.InTime = DateTime.Now;
                mdTJVisitorRecord.outTime = DateTime.Now.AddSeconds(1);
                mdTJVisitorRecord.Entrance = context.Request.UrlReferrer.ToString();
                mdTJVisitorRecord.ExitPage = context.Request.UrlReferrer.ToString();
                bllMVisitorRecord.Add(mdTJVisitorRecord);
            }
            else
            {
                mdTJVisitor = bllTJVisitor.GetModel(lbGUID);
                if ((DateTime.Now - (DateTime)mdTJVisitor.LastVisitingTime).Minutes > 5)
                {
                    mdTJVisitorRecord.VRID = Guid.NewGuid();
                    mdTJVisitorRecord.VisitorID = lbGUID;
                    mdTJVisitorRecord.InTime = DateTime.Now;
                    mdTJVisitorRecord.outTime = DateTime.Now.AddSeconds(1);
                    mdTJVisitorRecord.Entrance = context.Request.UrlReferrer.ToString();
                    mdTJVisitorRecord.ExitPage = context.Request.UrlReferrer.ToString();
                    bllMVisitorRecord.Add(mdTJVisitorRecord);
                    mdTJVisitor.LastVisitingTime = DateTime.Now;
                    bllTJVisitor.Update(mdTJVisitor);
                }
                else
                {
                    string vrid = bllMVisitorRecord.GetVRIDByGUID(lbGUID);
                    if (vrid != "")
                    {
                        mdTJVisitor = bllTJVisitor.GetModel(lbGUID);
                        mdTJVisitor.LastVisitingTime = DateTime.Now;
                        bllTJVisitor.Update(mdTJVisitor);
                        mdTJVisitorRecord.VRID = new Guid(vrid);
                    }
                }
            }
            Labbase.Model.ViewRecord mdViewRecord = new Labbase.Model.ViewRecord();
            Labbase.BLL.MViewRecord bllMViewRecord = new Labbase.BLL.MViewRecord();
            mdViewRecord.VRID = mdTJVisitorRecord.VRID;
            mdViewRecord.ViewID = Guid.NewGuid();
            mdViewRecord.referenceUrl = System.Web.HttpUtility.UrlDecode(context.Request["referrer"]);
            if (Utils.IsNullOrEmpty(mdViewRecord.referenceUrl))
                mdViewRecord.referenceUrl = "";
            mdViewRecord.FullPagePath = System.Web.HttpUtility.UrlDecode(context.Request["InPage"]);
            mdViewRecord.ViewIP = IP;
            mdViewRecord.Localarea = IPShowAddress(IP);//查询IP库
            mdViewRecord.Vtitle = System.Web.HttpUtility.UrlDecode(context.Request["title"]);
            mdViewRecord.ViewTime = DateTime.Now;

            if (!Utils.IsNullOrEmpty(mdViewRecord.referenceUrl))
                mdViewRecord.SId = Enginer(new Uri(mdViewRecord.referenceUrl).DnsSafeHost);
            else
                mdViewRecord.SId = 0;
            string AbsolutePath = context.Request.UrlReferrer.AbsolutePath.TrimStart(new char[] { '/' });
            if (AbsolutePath.Contains('-'))
            {
                AbsolutePath = AbsolutePath.Substring(0, AbsolutePath.IndexOf('-'));
            }
            if (AbsolutePath.Contains('.'))
            {
                AbsolutePath = AbsolutePath.Substring(0, AbsolutePath.IndexOf('.'));
            }
            int parID = 0;
            string[] pars;
            object objCompany;
            Labbase.BLL.supply bllsupply = new Labbase.BLL.supply();
            Labbase.BLL.product_category bllcategory = new Labbase.BLL.product_category();
            Labbase.Model.supplyInfo mdSupply = new Labbase.Model.supplyInfo();
            int companyID = 0;
            switch (AbsolutePath)
            {
                case "IndustryNewsDetial":
                    parID = int.Parse(context.Request.UrlReferrer.PathAndQuery.Split('-').Last().TrimEnd(".html".ToCharArray()));
                    Labbase.BLL.News bllNews = new Labbase.BLL.News();
                    objCompany = bllNews.GetCompanyID("NewsID=" + parID);
                    if (objCompany != null && !string.IsNullOrEmpty(objCompany.ToString()) && objCompany.ToString() != "0")
                    {
                        mdViewRecord.Querypar1 = int.Parse(objCompany.ToString());
                    }
                    else
                    {
                        mdViewRecord.Querypar1 = 0;
                    }
                    mdViewRecord.channel = "技术资料";
                    break;
                case "SupplyDetial"://供应详情
                    parID = int.Parse(context.Request.UrlReferrer.PathAndQuery.Split('-').Last().TrimEnd(".html".ToCharArray()));
                    string supplyID = parID.ToString();
                    mdSupply = bllsupply.GetModel(Int32.Parse(supplyID));
                    DataTable dtclass = bllcategory.GetProductClassInfo(" ClassXXID=" + mdSupply.ClassXXID);

                    mdViewRecord.Querypar1 = mdSupply.CompanyID;
                    companyID = int.Parse(mdSupply.CompanyID.ToString());
                    if (dtclass.Rows.Count > 0)
                    {
                        mdViewRecord.QueryPar2 = Int32.Parse(dtclass.Rows[0]["ClassID"].ToString());
                        mdViewRecord.QueryPar3 = Int32.Parse(dtclass.Rows[0]["ClassXID"].ToString());
                    }
                    mdViewRecord.QueryPar4 = mdSupply.ClassXXID;
                    mdViewRecord.channel = "供求信息";
                    break;
                case "ProductLDetail"://产品详情
                    parID = int.Parse(context.Request.UrlReferrer.PathAndQuery.Split('-').Last().TrimEnd(".html".ToCharArray()));
                    companyID =  new Labbase.BLL.product().GetCompanyIDByProductID(parID);
                    mdViewRecord.Querypar1 = companyID;
                    mdViewRecord.channel = "产品信息";
                    break;
                case "CompanyIndex"://公司库首页
                case "CompanyNewsList"://公司技术资料
                case "CompanyContact":
                case "CompanyInfo":
                    parID = int.Parse(context.Request.UrlReferrer.PathAndQuery.Split('-').Last().TrimEnd(".html".ToCharArray()));
                    mdViewRecord.Querypar1 = parID;
                    companyID = parID;
                    mdViewRecord.channel = "公司主页";
                    break;
                case "CompanyProduct"://公司供应
                case "CompanyProdutDetail"://公司供应详情
                case "CompanyNews"://公司技术资料详情
                    pars = context.Request.UrlReferrer.PathAndQuery.TrimEnd(".html".ToCharArray()).Split('-');
                    mdViewRecord.Querypar1 = int.Parse(pars[1]);
                    companyID = int.Parse(pars[1]);
                    mdViewRecord.channel = "公司主页";
                    break;
                case "NewsLDetails":
                case "PrimeList":
                    mdViewRecord.Querypar1 = 0;
                    mdViewRecord.channel = "资讯";
                    break;
                case "IndustryNewsList":
                    mdViewRecord.Querypar1 = 0;
                    mdViewRecord.channel = "技术资料";
                    break;
                case "SupplyList":
                case "ProClass":
                    mdViewRecord.Querypar1 = 0;
                    mdViewRecord.channel = "供求信息";
                    break;
                case "ProductBList":
                    mdViewRecord.Querypar1 = 0;
                    mdViewRecord.channel = "产品信息";
                    break;
                case "BrandsList":
                    mdViewRecord.Querypar1 = 0;
                    mdViewRecord.channel = "品牌专区";
                    break;
                case "CompanyList":
                    mdViewRecord.Querypar1 = 0;
                    mdViewRecord.channel = "公司库";
                    break;
                case "Exhibition":
                case "Exhibition/Detail":
                    mdViewRecord.Querypar1 = 0;
                    mdViewRecord.channel = "展会信息";
                    break;
                case "ProductSearch":
                case "SupplySearch":
                case "NewsSearch":
                case "CompanySearch":
                case "BrandSearch":
                    mdViewRecord.Querypar1 = 0;
                    mdViewRecord.channel = "搜索";
                    break;
                case "purchase":
                case "AboutmUs":
                case "ContactmUs":
                default:
                    mdViewRecord.Querypar1 = 0;
                    mdViewRecord.channel = "其它";
                    break;
            }
            if (!Utils.IsNullOrEmpty(mdViewRecord.referenceUrl))
            {
                //Engine_wrod EW = EngineWord(WebRequest.Create(mdViewRecord.referenceUrl));
                string keyws = GetKeyWord(mdViewRecord.referenceUrl);
                if (!string.IsNullOrEmpty(keyws))
                {
                    Labbase.BLL.SearchWord bllSearchWord = new Labbase.BLL.SearchWord();
                    Labbase.Model.SearchWord mdSearchWord = new Labbase.Model.SearchWord();

                    object obj = bllSearchWord.GetSearchWordId("Word='" + keyws + "'");
                    if (obj == null)
                    {
                        mdSearchWord.SWID = Guid.NewGuid();
                        mdSearchWord.LastDate = DateTime.Now;
                        mdSearchWord.SumNum = 1;
                        mdSearchWord.UserIP = IP;
                        mdSearchWord.Word = keyws;
                        mdSearchWord.CompanyID = companyID;
                        bllSearchWord.Add(mdSearchWord);
                        mdViewRecord.SWId = mdSearchWord.SWID;
                    }
                    else
                    {
                        mdViewRecord.SWId = new Guid(obj.ToString());
                        mdSearchWord = bllSearchWord.GetModel(new Guid(obj.ToString()));
                        mdSearchWord.SumNum = mdSearchWord.SumNum + 1;
                        mdSearchWord.LastDate = DateTime.Now;
                        mdSearchWord.CompanyID = companyID;
                        bllSearchWord.Update(mdSearchWord);
                    }
                }
            }
            bllMViewRecord.Add(mdViewRecord);

        }
    }
    if (!string.IsNullOrEmpty(context.Request["OutPage"]))
    {
        Guid lbGUID;
        try
        {
            lbGUID = new Guid(context.Request.Cookies["lbGUID"].Value.ToString());
        }
        catch
        {
            return;
        }
        int lbGUIDCount = bllTJVisitor.Exists(new Guid(context.Request.Cookies["lbGUID"].Value)) == false ? 0 : 1;
        if (lbGUIDCount < 1) return;
        string vrid = bllMVisitorRecord.GetVRIDByGUID(lbGUID);
        if (vrid != "")
        {
            mdTJVisitorRecord = bllMVisitorRecord.GetModel(new Guid(vrid));
            mdTJVisitorRecord.outTime = Convert.ToDateTime(DateTime.Now);
            mdTJVisitorRecord.ExitPage = context.Request.UrlReferrer.ToString();
            bllMVisitorRecord.Update(mdTJVisitorRecord);
        }
    }
    context.Response.ContentType = "text/plain";
    context.Response.Write("");
}
private class Engine_wrod
{
    public bool isEngine { get; set; }
    public string keyWord { get; set; }
}

/// <summary>
/// 获取全部的搜索引擎
/// </summary>
/// <param name="input"></param>
/// <returns></returns>
private int Enginer(string input)
{
    Labbase.BLL.SearchEngine bll = new Labbase.BLL.SearchEngine();

    foreach (DataRow dr in bll.GetList("").Tables[0].Rows)
    {
        if (input.Contains(dr["SDomin"].ToString()))
        {
            return int.Parse(dr["SID"].ToString());
        }
    }
    return 0;
}

/// <summary>
/// 判定是否是搜索引擎
/// </summary>
/// <param name="IP"></param>
/// <param name="useragent"></param>
/// <returns></returns>
private bool isEngine(string IP, string useragent)
{
    Labbase.BLL.SerchEngineMark bllSerchEngineMark = new Labbase.BLL.SerchEngineMark();
    Labbase.BLL.SearchEngineIP bllSearchEngineIP = new Labbase.BLL.SearchEngineIP();

    if (string.IsNullOrEmpty(useragent)) return true;//如果没有useragent 设定为搜索引擎,不再继续统计.

    foreach (DataRow dr in bllSerchEngineMark.GetList("").Tables[0].Rows)
    {
        if (useragent.Contains(dr["SEMString"].ToString()))
        {
            return true;
        }
    }
    return bllSearchEngineIP.Exists("SEIP='" + IP + "'");
}

/// <summary>
/// 获取搜索关键词
/// </summary>
/// <param name="url">来源地址</param>
/// <returns></returns>
private string GetKeyWord(string url)
{
    string keyword = "";
    string[] _uOsr = { "google", "yahoo", "baidu", "soso", "bing", "sogou", "so.com" };   //将几个搜索引擎与对应的搜索关系词写入对应的数组中
    string[] _uOkw = { "q", "q", "wd|word|kw|keyword", "w", "q", "query", "q" };
    for (int i = 0; i < _uOsr.Length; i++)
    {
        if (url.Contains(_uOsr[i]))                                             //如果URL中包含这几个搜索引擎则进入处理
        {
            if (_uOsr[i] == "baidu")
            {
                string[] temp = _uOkw[i].Split('|');                            //来自百度的关系词 有WD和WORD，分开处理
                #region 现在的代码
                keyword = GetQuerystring(temp[0], url);                      //当以WD取不到的时候，则用WORD取词
                if (string.IsNullOrEmpty(keyword))                                  //指定对应的编码来消除乱码 
                {
                    keyword = GetQuerystring(temp[1], url);                     //从URL中取得关键词的方法
                }
                if (string.IsNullOrEmpty(keyword))
                {
                    keyword = GetQuerystring(temp[2], url);
                }
                if (string.IsNullOrEmpty(keyword))
                {
                    keyword = GetQuerystring(temp[3], url);
                }
                #endregion
            }

            else
            {
                keyword = GetQuerystring(_uOkw[i], url);
            }
            break;
        }
    }

    string ecode = GBorUTF(keyword, url);                                //获得文字的编码格式

    keyword = HttpUtility.UrlDecode(keyword, Encoding.GetEncoding(ecode));
    keyword = HttpUtility.UrlEncode(keyword, Encoding.GetEncoding("UTF-8"));
    keyword = HttpUtility.UrlDecode(keyword, Encoding.GetEncoding("UTF-8"));
    return keyword;
}


/// <summary>
/// 获取文字的编码
/// </summary>
/// <param name="input"></param>
/// <returns></returns>
private string GBorUTF(string input, string url)
{
    string en_code = "UTF-8";
    if (url.Contains("baidu"))
    {
        if (url.Contains("ie="))
        {
            if (url.Contains("ie=gb2312"))
            {
                en_code = "GB2312";
            }
        }
        else
        {
            string R_TO_U = HttpUtility.UrlDecode(input, Encoding.GetEncoding("UTF-8"));
            string U_TO_R = HttpUtility.UrlEncode(R_TO_U, Encoding.GetEncoding("UTF-8"));
            if (input.ToLower() != U_TO_R.ToLower())
            {
                en_code = "GB2312";
            }
            else
            {
                en_code = "UTF-8";
            }
        }
    }
    else if (url.Contains("sogou"))
    {
        if (url.Contains("ie="))
        {
            if (url.Contains("ie=gb2312"))
            {
                en_code = "GB2312";
            }
        }
        else
        {
            string R_TO_U = HttpUtility.UrlDecode(input, Encoding.GetEncoding("UTF-8"));
            string U_TO_R = HttpUtility.UrlEncode(R_TO_U, Encoding.GetEncoding("UTF-8"));
            if (input.ToLower() != U_TO_R.Replace("(", "%28").Replace(")", "%29").ToLower())
            {
                en_code = "GB2312";
            }
        }
    }
    else if (url.Contains("so.com"))
    {
        if (url.Contains("ie="))
        {
            if (url.Contains("ie=gb2312"))
            {
                en_code = "GB2312";
            }
        }
        else
        {
            string R_TO_U = HttpUtility.UrlDecode(input, Encoding.GetEncoding("UTF-8"));
            string U_TO_R = HttpUtility.UrlEncode(R_TO_U, Encoding.GetEncoding("UTF-8"));
            if (input.ToLower() != U_TO_R.ToLower())
            {
                en_code = "GB2312";
            }
        }

    }


    return en_code;

}


/// <summary>
/// 从URL地址中通过queryname提取关键词
/// </summary>
/// <param name="queryname">wd,word,q,query,w...</param>
/// <param name="url">URL地址</param>
/// <returns></returns>
private string GetQuerystring(string queryname, string url)
{
    string keyword = string.Empty;
    Dictionary<string, string> dic = new Dictionary<string, string>();
    string re = "[?&]([^=]+)(?:=([^&]*))?";                                 //通进正则将URL中参数分拆 放入字典中
    MatchCollection mc = Regex.Matches(url, re);
    foreach (Match item in mc)
    {
        if (item.Success)
        {
            dic.Add(item.Groups[1].Value, item.Groups[2].Value);
        }
    }
    if (dic.ContainsKey(queryname))                                         //如果字典中有传入的匹配关键词的键，则取其值返回
    {
        keyword = dic[queryname];
    }
    return keyword;

}

/// <summary>
/// 获取链接的参数
/// </summary>
/// <param name="strQuery"></param>
/// <param name="strSplit"></param>
/// <returns></returns>
protected string wordFromUrlQuery(string strQuery, string strSplit)
{
    strQuery = strQuery.TrimStart('?');
    strSplit += "=";
    foreach (string str in strQuery.Split('&'))
    {
        if (str.StartsWith(strSplit))
        {
            string[] qValue = str.Split('=');
            if (qValue.Length > 1)
                return qValue[1];
        }
    }
    return "";
}

/// <summary>
///根据IP获取地址
/// </summary>
/// <param name="strChar"></param>
/// <returns></returns>
protected string IPShowAddress(string strChar)
{
    string ip = strChar;
    IPScaner objScan = new IPScaner();
    objScan.DataPath = System.Web.HttpContext.Current.Server.MapPath(@"/js/QQWry.Dat");
    objScan.IP = ip;
    string addre = objScan.IPLocation();
    return addre;
}
public bool IsReusable
{
    get
    {
        return false;
    }
}
复制代码

} 三、数据采集 具体功能得以实现之后，这个时候我们需要一个js脚本来控制该一般处理程序Stat.aspx的运行，具体脚本如下： statistics.js： $(function () {

var urlreferrer = escape(document.referrer);

var locationurl = escape(document.location);
var ffreashed = getCookie("freash");
if (ffreashed == document.location) {
    return;
}

if (getCookie("lbGUID") == null) {
    $.ajax({
        url: "/js/fingerprint2.js",
        dataType: "script",
        cache: true
    }).done(function (data, status, jqxhr) {
        var fp = new Fingerprint2();
        fp.get(function (result) {
            $.ajax({
                type: "POST",
                url: "/tools/Stat.ashx",
                data: { InPage: locationurl, referrer: urlreferrer, title: escape(document.title) },
                async: false,
                success: function () {
                    $.ajax({
                        type: "POST",
                        url: "/tools/Stat.ashx",
                        data: { InPage: locationurl, fingerprint: result, referrer: urlreferrer, title: escape(document.title) },
                        async: false
                    });
                },
                error: function (XMLHttpRequest, textStatus, errorThrown) {
                    alert(XMLHttpRequest.status)
                }
            });
        });
    });
}
else {
    $.ajax({
        type: "POST",
        url: "/tools/Stat.ashx",
        data: { InPage: locationurl, referrer: urlreferrer, title: escape(document.title) },
        async: false,
        error: function (XMLHttpRequest, textStatus, errorThrown) {
            alert(XMLHttpRequest.status)
        }
    });
}
复制代码

}); //给重新刷新设置一个cookie $(window).unload(function () { $.ajax({ type: "POST", url: "/tools/Stat.ashx", data: { OutPage: escape(document.location) }, async: false }); setCookie("freash", document.location); }); function setCookie(name, value) { var exp = new Date(); exp.setTime(exp.getTime() + 2.5 * 1000); document.cookie = name + "=" + escape(value) + ";expires=" + exp.toGMTString(); } function getCookie(name) { var arr, reg = new RegExp("(^| )" + name + "=([^;]*)(;|$)"); if (arr = document.cookie.match(reg)) return unescape(arr[2]); else return null; } function delCookie(name) { var exp = new Date(); exp.setTime(exp.getTime() - 1); var cval = getCookie(name); if (cval != null) document.cookie = name + "=" + cval + ";expires=" + exp.toGMTString(); } 到了该步骤，基本的工作已经完成了，剩下的工作就是直接将脚本引用到页面中，用户点击相应的页面自然也就可以实现数据采集与数据统计了。为了避免重复动作，最好将脚本引用到页面共用的用户控件中，下面是经过规范化处理的引用示例：

<script type="text/javascript"> (function () { //网站内部统计 var oHead = document.getElementsByTagName('HEAD').item(0); var oScript = document.createElement("script"); oScript.type = "text/javascript"; oScript.async = true; oScript.src = "/js/statistics.js"; oHead.appendChild(oScript); })(); </script> 总的来说，数据采集无非就是记录下用户在本网站各页面的具体浏览轨迹，从而用于对用户的需求进行分析，采集就是统计的数据来源


转载于:https://juejin.im/post/5d07440d6fb9a07f0a2de0a9

weixin_33775572
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
cnzz统计工具
11-26
这是一款cnzz统计工具，能够更好的管理应用，很实用！
基于LabVIEW的的USB实时数据采集处理系统的实现实时数据采集处理.rar
03-27
在“基于LabVIEW的USB实时数据采集处理系统的实现实时数据采集处理.pdf”文档中，读者可以找到详细的设计步骤、实例代码和操作指南，涵盖从设备选择、配置，到程序编写、调试的全过程。无论是初学者还是经验丰富的...
网站统计中的数据收集原理及实现
YiRong
08-15 3447
2010-06-24 14:16 精华       【世界杯】美味小点“蛋挞、蓝莓酥挞”   这几天，除了工作就是看世界杯。鱼与熊掌不可兼得，因此，耽误了和网友们的切磋！ 今天抽空，把看世界杯时做的两道宵夜小点，拿出来与网友们共享！由于心不在焉，做的显得粗糙了些，望朋友们见谅！ 因为没去购物，家里有什么就做什么，所以，做了两款比较简单的点心“蛋挞、蓝莓酥挞”
开源网站分析软件Piwik的数据库表结构
freewebsys的专栏
10-18 3020
文章引用：【http://www.biaodianfu.com/piwik-database-schema.html】 Piwik是一套基于Php+MySQL技术构建，能够与Google Analytics相媲美的开源网站访问统计系统，前身是phpMyVisites。Piwik可以给你详细的统计信息，比如网页浏览人数, 访问最多的页面, 搜索引擎关键词等等，并且采用了大量的AJA
数据流向示例(获取、分发、存储、分析、入库)
weixin_33826268的博客
09-11 1263
2019独角兽企业重金招聘Python工程师标准>>> ...
移动用户行为统计系统，服务器端的数据采集分析.zip
01-04
综上所述，"apple-ums-server-master"项目涉及了从数据采集到分析的全过程，涵盖了iOS应用的用户行为统计、数据处理和展示等多个环节。这个系统的设计和实现需要深入理解移动应用开发、数据处理技术、数据分析方法...
美业邦数据采集系统.zip
01-03
总结来说，"美业邦数据采集系统"是一个全面的数据管理解决方案，涵盖了从数据获取到价值提取的全过程。掌握并运用好这个系统，美业企业能够更好地挖掘数据潜力，实现精细化运营，提升竞争力。对于开发者而言，深入...
analytics 网页埋点数据采集.zip
01-04
总的来说，"analytics 网页埋点数据采集.zip"这个压缩包提供了一个全面的数据采集解决方案，涉及了从前端埋点到后端处理的全过程，同时也包含了数据集和源码，对学习和实践网页数据采集技术非常有帮助。通过深入研究...
园林大数据平台数据采集.zip
01-04
园林大数据平台数据采集 在当前数字化时代，园林管理和生态保护领域也开始广泛应用大数据技术。"园林大数据平台数据采集"项目，旨在...它涵盖了从数据采集到分析应用的全过程，体现了大数据在生态保护领域的应用潜力。
百度CNZZ统计留痕引流工具 日引流过万ip
昔明日
11-21 1804
百度CNZZ统计引流工具 相信大家在使用百度统计，CNZZ友盟统计网站数据流量的时候总会遇到一些打广告的还附带网站，这样的广告我们都会好奇的点击进去看看是何方神圣，借此也能够给对方网站带来流量。如下图： 下载地址： 链接：https://pan.baidu.com/s/1uU75Ykt2qMOUqXddjoTP6Q 提取码：ys4m 有些广告网址点进去就是卖这种引流软件的 收费特别贵，因此，我们也特别开发了一款这样的软件，支持自动采集网址，自动识别统计id，根据设置好的网站id...
使用python登录CNZZ访问量统计网站，然后获取相应的数据
weixin_30908103的博客
12-25 647
思路： 第一步：使用pypeteer.launcher打开浏览器， 第二步：向CNZZ的登录（通过使用iframe嵌入的阿里巴巴单点登录页面），向iframe页面中自动输入用户名和密码，然后点击登录按钮； 第三点：打开CNZZ的相关页面，然后取cookie信息。 第四步：拿到cookie信息之后，就可以使用python调用页面上的各种接口地址（通过network查看相关的接口地址）取到你想...
如何实现网站事件统计与事件分析
优啦云的博客
09-23 1060
事件，指的是用户在您网站上的行为，事件统计用于定位和追踪用户在产品（网站/APP等）上的各类行为。以电商网站为例，用户的“加入购物车”“收藏商品”“提交订单”“支付订单”“支付成功”等行为都可以定义为事件。 获取用户行为数据后就能更了解自己的用户，如：更喜欢的产品类型，更喜欢的展现方式。在推广方面，能轻松了解到影响转化率的关键节点。 51LA统计的事件分析功能可以轻松帮我们获取到事件的统计数并进行分析。下面具体讲一下如何使用事件分析功能。 1. 事件分析功能是什么2. 事件分析适用的场景3. 如何对事件进
curl自动登录CNZZ获得数据(数据采集)
wlm131127的专栏
05-18 1879
/**  * @author Leiming Wang  */ /*  * curl请求  * @param string $url  * @param array $option  * @return mixed $return;  */ function CurlRequest($url,$options){     $return = false;
CNZZ友盟访问明细的采集办法
weixin_30878501的博客
01-14 2396
www.cnzz.com是中文网站统计分析平台，很多站长需要获取网站提供的访问明细，以做分析。 直接采集这个网站的数据相当麻烦，通过浏览器或者fiddlercore就简单多了。 2.0新版，通过浏览器实现登录，然后可以通过HttpWebRequest获取数据了，避免了翻页的麻烦。 1.0老版（通过Fiddlercore实现)： 下面是采集访问明细到Excel的截图，附操作说明。...
php网页统计图实现,WEB前端数据统计图实现教程及代码
weixin_35756373的博客
03-21 952
这几天要做数据统计，听louis介绍了一个jquery框架，现在也介绍给大家。外国，真是一个神奇的地方。不多说。数据报表折线图然后这个jquery插件内置大量dome,看都能看会。细节在后台PHP处理数据，然后返回给前端JS，一般是用JSON传值，但这个jquery插件处理数据都是用字符串，所以要特别注意一下这样，我就把我写的PHP处理类也共享出来class TotalAction extends...
开思通智网-科技快报20240704：全球首个，人工智能之城，AI填报志愿
最新发布
opensnn的博客
07-05 769
【本周新进展】【本周国外资讯】【其他】

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值