C#采集网页代码

最新推荐文章于 2019-08-13 01:23:07 发布
最新推荐文章于 2019-08-13 01:23:07 发布
阅读量566 收藏
点赞数
文章标签： c# string url html regex null
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sscsgss/article/details/6160244
版权

/**//**********************************
             * 函数名称:ReplaceEnter
             * 功能说明:替换网页中的换行和引号
             * 参    数:HtmlCode:html源代码
             * 调用示例:
             *          GetRemoteObj o = new GetRemoteObj(); 
             *          string Url = @"http://www.baidu.com";
             *          string HtmlCode = o.GetRemoteHtmlCode(Url);
             *          string s = o.ReplaceEnter(HtmlCode);
             *          Response.Write(s);
             *          o.Dispose();
             * ********************************/
            /** <summary>
            /// 替换网页中的换行和引号

            /// </summary>
            /// <param name="HtmlCode">HTML源代码</param>
            /// <returns></returns>
            public string ReplaceEnter(string HtmlCode)
            {
                string s = "";
                if (HtmlCode == null || HtmlCode == "")
                    s = "";
                else
                    s = HtmlCode.Replace("/"", "");

                s = s.Replace("/r", "");
                s = s.Replace("/n", "");
                return s;
            }


            #endregion

            执行正则提取出值#region 执行正则提取出值
            /**//**********************************
             * 函数名称:GetRegValue
             * 功能说明:执行正则提取出值
             * 参    数:HtmlCode:html源代码
             * 调用示例:
             *          GetRemoteObj o = new GetRemoteObj();
             *          string Url = @"http://www.baidu.com";
             *          string HtmlCode = o.GetRemoteHtmlCode(Url);


             *          string s = o.ReplaceEnter(HtmlCode);
             *          string Reg="<title>.+?</title>";
             *          string GetValue=o.GetRegValue(Reg,HtmlCode)
             *          Response.Write(GetValue);
             *          o.Dispose();
             * ********************************/
            /** <summary>


            /// 执行正则提取出值
            /// </summary>
            /// <param name="RegexString">正则表达式</param>
            /// <param name="RemoteStr">HtmlCode源代码</param>
            /// <returns></returns>
            public string  GetRegValue(string RegexString, string RemoteStr)


             {
                string MatchVale = "";
                Regex r = new Regex(RegexString);
                Match m = r.Match(RemoteStr);
                if (m.Success)
                {
                    MatchVale = m.Value;
                }
                return MatchVale;
            }

            #endregion

            替换HTML源代码#region 替换HTML源代码
            /**//**********************************
             * 函数名称:RemoveHTML
             * 功能说明:替换HTML源代码
             * 参    数:HtmlCode:html源代码
             * 调用示例:
             *          GetRemoteObj o = new GetRemoteObj();
             *          string Url = @"http://www.baidu.com";
             *          string HtmlCode = o.GetRemoteHtmlCode(Url); 中国网管联盟bitsCN.com
             *          string s = o.ReplaceEnter(HtmlCode);
             *          string Reg="<title>.+?</title>";
             *          string GetValue=o.GetRegValue(Reg,HtmlCode) 

             *          Response.Write(GetValue);
             *          o.Dispose();
             * ********************************/
            /** <summary>
            /// 替换HTML源代码
            /// </summary>
            /// <param name="HtmlCode">html源代码</param>
            /// <returns></returns>
            public string RemoveHTML(string HtmlCode)

            {
                string MatchVale = HtmlCode;
                foreach (Match s in Regex.Matches(HtmlCode, "<.+?>"))
                {
                    MatchVale = MatchVale.Replace(s.Value, "");
                }
                return MatchVale;
            } 
            #endregion 

            匹配页面的链接#region 匹配页面的链接
            /**//**********************************
             * 函数名称:GetHref
             * 功能说明:匹配页面的链接
             * 参    数:HtmlCode:html源代码
             * 调用示例:
             *          GetRemoteObj o = new GetRemoteObj();
             *          string Url = @"http://www.baidu.com";
             *          string HtmlCode = o.GetRemoteHtmlCode(Url);
             *          string s = o.GetHref(HtmlCode);
             *          Response.Write(s);
             *          o.Dispose();
             * ********************************/


#region 获取远程文件源代码
            /**//**********************************
             * 函数名称:GetRemoteHtmlCode
             * 功能说明:获取远程文件源代码
             * 参    数:Url:远程url
             * 调用示例:
             *          GetRemoteObj o = new GetRemoteObj();
             *          string url = @"http://www.baidu.com";
             *          string s = o.GetRemoteHtmlCode(url);
             *          Response.Write(s);
             *          o.Dispose();
             * ********************************/
            /** <summary>
            /// 获取远程文件源代码


            /// </summary>
            /// <param name="url">远程url</param>
            /// <returns></returns>
            public string GetRemoteHtmlCode(string Url)
            {
                string s = "";
                MSXML2.XMLHTTP _xmlhttp = new MSXML2.XMLHTTPClass();
                _xmlhttp.open("GET", Url, false, null, null);
                _xmlhttp.send("");
                if (_xmlhttp.readyState == 4)


                {
                    s = System.Text.Encoding.Default.GetString((byte[])_xmlhttp.responseBody);
                }
                return s;
            }


            #endregion 

            保存远程文件#region 保存远程文件
            /**//**********************************
             * 函数名称：RemoteSave
             * 功能说明：保存远程文件
             * 参    数：Url:远程url;Path:保存到的路径
             * 调用示例:
             *          GetRemoteObj o = new GetRemoteObj();
             *          string s = "";
             *          string url = @"


             *          string path =Server.MapPath("Html/");
             *          s = o.RemoteSave(url,path);
             *          Response.Write(s);
             *          o.Dispose();
             * ******************************/
            /** <summary>
            /// 保存远程文件
            /// </summary>
            /// <param name="Url">远程url</param>


            /// <param name="Path">保存到的路径</param>
            /// <returns></returns>
            public string RemoteSave(string Url, string Path)
            {

                Random ra = new Random();
                string newfilename = string.Empty;
                string StringFileName = DateRndName(ra) + "." + GetFileExtends(Url);
                if (GetFileExtends(Url).Trim().ToLower() != "jpg")
                    newfilename = StringFileName;
                else
                    newfilename = DateRndName(ra) + "Addpic." + GetFileExtends(Url);
                string StringFilePath = Path + StringFileName; 网管网www_bitscn_com

            string newfilepath = Path + newfilename;
                string retname = string.Empty;
                try
                {
                    MSXML2.XMLHTTP _xmlhttp = new MSXML2.XMLHTTPClass();
                    _xmlhttp.open("GET", Url, false, null, null);
                    _xmlhttp.send("");
                    if (_xmlhttp.readyState == 4)


                    {
                        if (System.IO.File.Exists(StringFilePath))
                            System.IO.File.Delete(StringFilePath);
                        System.IO.FileStream fs = new System.IO.FileStream(StringFilePath, System.IO.FileMode.CreateNew);
                        System.IO.BinaryWriter w = new System.IO.BinaryWriter(fs);
                        w.Write((byte[])_xmlhttp.responseBody);
                        w.Close();
                        fs.Close();
                        if (GetFileExtends(Url).Trim().ToLower() == "jpg")
                        {


                         function myfunction = new function();
                            //myfunction.AddShuiYinWord(StringFilePath, newfilepath);
                            service myserver=new service();
                            myfunction.AddShuiYinPic(StringFilePath, newfilepath, HttpContext.Current.Server.MapPath(myserver.myweblogo));
                        } 

                    }
                    else
                        throw new Exception(_xmlhttp.statusText);
                }
                catch (Exception ex)
                { 网管u家www.bitscn.net

                }
                return newfilename;
            }
            #endregion

            替换网页中的换行和引号#region 替换网页中的换行和引号
/**//**********************************
             * 函数名称:ReplaceEnter
             * 功能说明:替换网页中的换行和引号
             * 参    数:HtmlCode:html源代码
             * 调用示例:
             *          GetRemoteObj o = new GetRemoteObj(); 网管联盟bitsCN@com
             *          string Url = @"http://www.baidu.com";
             *          string HtmlCode = o.GetRemoteHtmlCode(Url);
             *          string s = o.ReplaceEnter(HtmlCode);
             *          Response.Write(s);
             *          o.Dispose();
             * ********************************/
            /** <summary>
            /// 替换网页中的换行和引号

            /// </summary>
            /// <param name="HtmlCode">HTML源代码</param>
            /// <returns></returns>
            public string ReplaceEnter(string HtmlCode)
            {
                string s = "";
                if (HtmlCode == null || HtmlCode == "")
                    s = "";
                else
                    s = HtmlCode.Replace("/"", "");

                s = s.Replace("/r", "");
                s = s.Replace("/n", "");
                return s;
            }


            #endregion

            执行正则提取出值#region 执行正则提取出值
            /**//**********************************
             * 函数名称:GetRegValue
             * 功能说明:执行正则提取出值
             * 参    数:HtmlCode:html源代码
             * 调用示例:
             *          GetRemoteObj o = new GetRemoteObj();
             *          string Url = @"http://www.baidu.com";
             *          string HtmlCode = o.GetRemoteHtmlCode(Url);


             *          string s = o.ReplaceEnter(HtmlCode);
             *          string Reg="<title>.+?</title>";
             *          string GetValue=o.GetRegValue(Reg,HtmlCode)
             *          Response.Write(GetValue);
             *          o.Dispose();
             * ********************************/
            /** <summary>


            /// 执行正则提取出值
            /// </summary>
            /// <param name="RegexString">正则表达式</param>
            /// <param name="RemoteStr">HtmlCode源代码</param>
            /// <returns></returns>
            public string  GetRegValue(string RegexString, string RemoteStr)


             {
                string MatchVale = "";
                Regex r = new Regex(RegexString);
                Match m = r.Match(RemoteStr);
                if (m.Success)
                {
                    MatchVale = m.Value;
                }
                return MatchVale;
            }

            #endregion

            替换HTML源代码#region 替换HTML源代码
            /**//**********************************
             * 函数名称:RemoveHTML
             * 功能说明:替换HTML源代码
             * 参    数:HtmlCode:html源代码
             * 调用示例:
             *          GetRemoteObj o = new GetRemoteObj();
             *          string Url = @"http://www.baidu.com";
             *          string HtmlCode = o.GetRemoteHtmlCode(Url); 中国网管联盟bitsCN.com
             *          string s = o.ReplaceEnter(HtmlCode);
             *          string Reg="<title>.+?</title>";
             *          string GetValue=o.GetRegValue(Reg,HtmlCode) 

             *          Response.Write(GetValue);
             *          o.Dispose();
             * ********************************/
            /** <summary>
            /// 替换HTML源代码
            /// </summary>
            /// <param name="HtmlCode">html源代码</param>
            /// <returns></returns>
            public string RemoveHTML(string HtmlCode)

            {
                string MatchVale = HtmlCode;
                foreach (Match s in Regex.Matches(HtmlCode, "<.+?>"))
                {
                    MatchVale = MatchVale.Replace(s.Value, "");
                }
                return MatchVale;
            } 
            #endregion 

            #region 匹配页面的链接
            /**//**********************************
             * 函数名称:GetHref
             * 功能说明:匹配页面的链接
             * 参    数:HtmlCode:html源代码
             * 调用示例:
             *          GetRemoteObj o = new GetRemoteObj();
             *          string Url = @"http://www.baidu.com";
             *          string HtmlCode = o.GetRemoteHtmlCode(Url);
             *          string s = o.GetHref(HtmlCode);
             *          Response.Write(s);
             *          o.Dispose();
             * ********************************/

/** <summary>
            /// 获取页面的链接正则
            /// </summary>
            /// <param name="HtmlCode"></param>
            /// <returns></returns>
            public string GetHref(string HtmlCode)
            {
                string MatchVale = "";
                string Reg = @"(h|H)(r|R)(e|E)(f|F) *= *(’|"")?((/w|//|//|/.|:|-|_)+)[/S]*";
                foreach(Match m in Regex.Matches(HtmlCode,Reg)) 网管下载dl.bitscn.com
                {
                    MatchVale += (m.Value).ToLower().Replace("href=", "").Trim() + "|";
                }
                return MatchVale;
            }
            #endregion


            匹配页面的图片地址#region 匹配页面的图片地址

            /**//**********************************
             * 函数名称:GetImgSrc
             * 功能说明:匹配页面的图片地址
             * 参    数:HtmlCode:html源代码;imgHttp:要补充的http.当比如:<img src="bb/x.gif">则要补充http://www.baidu.com/,当包含http信息时,则可以为空
             * 调用示例:
             *          GetRemoteObj o = new GetRemoteObj();
             *          string Url = @"http://www.baidu.com";
             *          string HtmlCode = o.GetRemoteHtmlCode(Url);


             *          string s = o.GetImgSrc(HtmlCode,"http://www.baidu.com/");
             *          Response.Write(s);
             *          o.Dispose();
             * ********************************/
            /** <summary>
            /// 匹配页面的图片地址
            /// </summary>
            /// <param name="HtmlCode"></param>
            /// <param name="imgHttp">要补充的http://路径信息</param>


            /// <returns></returns>
            public string GetImgSrc(string HtmlCode, string imgHttp)
            {
                string MatchVale = "";
                string Reg = @"<img.+?>"; 
                 foreach (Match m in Regex.Matches(HtmlCode.ToLower(), Reg))
                {
                    MatchVale += GetImg((m.Value).ToLower().Trim(), imgHttp) + "|";
                }

                return MatchVale;
            }
            /** <summary>
            /// 匹配<img src="" />中的图片路径实际链接
            /// </summary>
            /// <param name="ImgString"><img src="" />字符串</param>
            /// <returns></returns>
            public string GetImg(string ImgString, string imgHttp)
            {
                string MatchVale = "";

                string Reg = @"src=.+/.(bmp|jpg|gif|png|)";
                foreach (Match m in Regex.Matches(ImgString.ToLower(), Reg))
                {
                    MatchVale += (m.Value).ToLower().Trim().Replace("src=","");
                }
                if (MatchVale.IndexOf(".net") != -1 || MatchVale.IndexOf(".com") != -1 || MatchVale.IndexOf(".org") != -1 || MatchVale.IndexOf(".cn") != -1 || MatchVale.IndexOf(".cc") != -1 || MatchVale.IndexOf(".info") != -1 || MatchVale.IndexOf(".biz") != -1 || MatchVale.IndexOf(".tv") != -1)


              return (MatchVale);
                else
                return (imgHttp+MatchVale);
            } 

            #endregion

            替换通过正则获取字符串所带的正则首尾匹配字符串#region 替换通过正则获取字符串所带的正则首尾匹配字符串
            /**//**********************************
             * 函数名称:GetHref
             * 功能说明:匹配页面的链接
             * 参    数:HtmlCode:html源代码
             * 调用示例:
             *          GetRemoteObj o = new GetRemoteObj();
             *          string Url = @"http://www.baidu.com";

             *          string HtmlCode = o.GetRemoteHtmlCode(Url);
             *          string s = o.RegReplace(HtmlCode,"<title>","</title>");
             *          Response.Write(s);
             *          o.Dispose();
             * ********************************/
            /** <summary>
            /// 替换通过正则获取字符串所带的正则首尾匹配字符串
            /// </summary>


            /// <param name="RegValue">要替换的值</param>
            /// <param name="regStart">正则匹配的首字符串</param>

            /// <param name="regEnd">正则匹配的尾字符串</param>
            /// <returns></returns>
            public string RegReplace(string RegValue, string regStart,string regEnd)
            {
                string s = RegValue;
                if (RegValue != "" && RegValue != null)
                {
                    if (regStart != "" && regStart != null)
                    {

                        s = s.Replace(regStart, "");
                    }
                    if (regEnd != "" && regEnd != null)
                    {
                        s = s.Replace(regEnd, "");
                    }
                }
                return s;


            }
            #endregion 网管朋友网www_bitscn_net
    } 

    }

超人
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
C#采集网页数据小工具
04-09
C#采集网页数据小工具，根据xpath，自定义采集数据，生成列表数据C#采集网页数据小工具，方便好用
简单的网页内容采集器(C#)
03-31
预览图片见：http://www.cnblogs.com/xxpyeippx/archive/2008/03/31/1131211.html运行环境windows nt/xp/2003 or above.net Framework 1.1SqlServer 2000 开发环境 VS 2003目的学习了网络编程，总要做点什么东西才好。于是想到要做一个网页内容采集器。作者主页： http://www.fltek.com.cn使用方式测试数据采用自cnBlog。见下图用户首先填写“起始网页”，即从哪一页开始采集。然后填写数据库连接字符串，这里是定义了采集到的数据插入到哪个数据库，后面选择表名，不必说了。网页编码，不出意外的话，中国大陆都可以采用UTF-8爬取文件名的正则：呵呵 这个工具明显是给编程人员用的。正则都要直接填写啦。比如说cnblogs的都是数字的，所以写了\d建表帮助：用户指定要建立几个varchar型的，几个text型的，主要是放短数据和长数据啊。如果你的表里本来就有列，那就免啦。程序里面没有做验证哦。网页设置里面：采集内容前后标记：比如说都有 xxx，如果我要采集xxx就写“到”，意思，当然就是到之间的内容啦。后面的几个文本框是显示内容的。点击“获取URL”可以查看它捕获的Url对不对的。点击“采集”，可以把采集内容放到数据库，然后就用 Insert xx （） （select xx） 可以直接插入目标数据了。程序代码量非常小（也非常简陋），需要的改动一下啦。不足 应用到了正则表达式、网络编程由于是最简单的东西，所以没有用多线程，没有用其他的优化方法，不支持分页。测试了一下，获取38条数据，用了700M内存啊。。。。如果有用的人 ，可以改一下使用啦。方便程序员用，免写很多代码。Surance Yin@ Surance Center 转载请注明出处
经典采集代码之C#
Steven Lei的博客
02-02 1049
using System;using System.Data;using System.Configuration;using System.Web;using System.Web.Security;using System.Web.UI;using System.Web.UI.WebControls;using System.Web.UI.WebControls.WebParts;using
C#信息采集工具实现
wangxiaohigh
06-01 393
简单C#信息采集工具实现 最近想整只爬虫玩玩，顺便熟悉下正则表达式。 开发环境 vs2008 sql2000 实现方法如下 1.先抓取网页代码 2.通过正则匹配出你需要的内容 比如http://www.soso.com/q?w=%C4%E3%BA%C3&amp;pg=1 页面中 搜索结果的标题跟连接地址。具体可以根据你的需要填写合适的地址跟正则。 3.把匹配出的内容保存到数据...
C#采集软件源码
12-01
本主题涉及的是一个名为"C#采集软件源码"的项目，这是一套用C#编写的软件源代码，专门用于数据采集。源码的可用性表明它已经过测试，具备实际功能，因此对于学习C#编程、数据采集技术，或者想要自定义数据采集工具的...
C#多线程文章采集程序源代码
03-16
C#多线程新闻采集源代码，通过程序，可实现几乎所有网页的新闻抓龋根据DataSourceID，获取Gather_DataSourceConfig实体类，根据实体类中的网页采集地址url，获取网页源代码str开始进行处理： 　第一步：根据...
C#网页信息采集方法汇总
09-04
在C#中，网页信息采集是一项常见的任务，用于获取网页上的数据，如新闻、产品信息或用户评论。本文将详细讲解三种常用的方法，帮助开发者掌握C#中的网页抓取技术。 1. **利用HttpWebRequest和HttpWebResponse进行...
ASP.NET(C#)经典采集代码
编程资料大全
11-02 122
usingSystem;usingSystem.Data;usingSystem.Configuration;usingSystem.Web;usingSystem.Web.Security;usingSystem.Web.UI;usingSystem.Web.UI.WebControls;usingSystem.Web.UI.WebControls.WebParts;usingSystem.We...
C# 根据Url获取页面所有内容
willgon的专栏
08-04 7661
using System.Net; using System.IO; /// /// 根据Url获取页面所有内容 /// /// 请求的url /// 返回页面的内容 public string GetContentFromUrl(string URL) { try { string strBuff = ""; int byteRead = 0;
C#收集网页中的EMail实现源码
大海的专栏
12-07 1264
当当全新正版图书，9周年店庆，特价销售，全场免运费！ C#收集网页中的EMail实现源码：      //CAll        private void GetAllURL(string urlStr)        {            new Thread(new ParameterizedThreadStart(GetEmailAddress)).Start(urlStr)
【C#】C#实现对网站数据的采集和抓取
weixin_30896763的博客
06-17 515
首先大家需要清楚一点的是：任何网站的页面，无论是php、jsp、aspx这些动态页面还是用后台程序生成的静态页面都是可以在浏览器中查看其HTML源文件的。 所以当你要开发数据采集程序的时候，你必须先对你试图采集的网站的前台页面结构（HTML）要有所了解。 当你对要采集数据的网站里的HTML源文件内容十分熟悉之后，剩下程序上的事情就很好办了。因为C#对Web站点进行数据采集其原...
C#网页采集
weixin_30430169的博客
08-13 293
//提取产品列表页中产品最终页的网页 private void button1_Click(object sender, EventArgs e) { 　　if (textBox1.Text.Trim() == "" || textBox2.Text.Trim() == "") 　　{ 　　　　MessageBox.Show("网址和域名不能为空！", "信息提示", MessageBo...
帮我写一段文本采集的C#程序
最新发布
09-26
以下是一个简单的示例代码，展示了如何使用C语言进行文本采集： ```c #include #include #include #include // 回调函数，用于处理从网页获取的数据 size_t write_callback(void *content, size_t size, size_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值