网页抓取数据并分析，特别包括分页数据的抓取

最新推荐文章于 2019-09-15 11:15:25 发布
最新推荐文章于 2019-09-15 11:15:25 发布
阅读量3.9k 收藏 4
点赞数 1
分类专栏： C#
[csharp] 
包括8个按钮，每个按钮下的代码都可运行（第5、6个可能需要调试一下）。  
[csharp] 
有基本的页面抓取，不含分页数据的；  
[csharp 
有含分页数据，且【下一页】的链接是网址的；  
[csharp] 
有含分页数据，且【下一页】的链接是<span style="font-size:12px;color:#000000;">__doPostBack；</span>  
[csharp] 
<span style="font-size:12px;">有含分页数据，且【下一页】的属性是.gif，可通过F12找到href的。</span>  
[csharp] 
   
[csharp]  
参考网址：<a href="http://www.cnblogs.com/ceachy/articles/CSharp_Retrive_Page_Document.html">http://www.cnblogs.com/ceachy/articles/CSharp_Retrive_Page_Document.html</a>  
[csharp] 
   
[csharp]  
<a href="http://www.cnblogs.com/ghfsusan/archive/2010/05/26/1744820.html">http://www.cnblogs.com/ghfsusan/archive/2010/05/26/1744820.html</a>  
[csharp]  
   
[csharp]  
   
[csharp]  
using System;  
using System.Collections.Generic;  
using System.ComponentModel;  
using System.Data;  
using System.Drawing;  
using System.Linq;  
using System.Text;  
using System.Windows.Forms;  
  
using System.IO;  
using  System.Net;  
  
namespace WindowsFormsApplication1  
{  
    public partial class Form1 : Form  
    {  
        public Form1()  
        {  
            InitializeComponent();  
        }  
  
        //private void button1_Click(object sender, EventArgs e)  
        //{  
        //    MessageBox.Show("hello world.");  
        //}  
  
        //WebBrowser web1 = new WebBrowser();   
        //web1.Navigate("http://www.xjflcp.com/ssc/");   
        //web.DocumentCompleted += new WebBrowserDocumentCompletedEventHandler(web_DocumentCompleted);   
        //void web_DocumentCompleted(object sender, WebBrowserDocumentCompletedEventArgs e)   
        //{   
        //    WebBrowser web = (WebBrowser)sender;   
        //    HtmlElementCollection ElementCollection = web.Document.GetElementsByTagName("Table");   
        //    foreach (HtmlElement item in ElementCollection)   
        //    {   
        //         File.AppendAllText("Kaijiang_xj.txt", item.InnerText);   
        //    }   
        //}  
  
          
        //根据Url地址得到网页的html源码   
        private string GetWebContent(string Url)   
        {   
            string strResult="";   
            try   
            {   
                HttpWebRequest request = (HttpWebRequest)WebRequest.Create(Url); //声明一个HttpWebRequest请求   
                request.Timeout = 30000; //设置连接超时时间   
                request.Headers.Set("Pragma", "no-cache");   
                HttpWebResponse response = (HttpWebResponse)request.GetResponse();   
                Stream streamReceive = response.GetResponseStream();   
                Encoding encoding = Encoding.GetEncoding("GB2312");   
                StreamReader streamReader = new StreamReader(streamReceive, encoding);   
                strResult = streamReader.ReadToEnd();   
            }   
            catch   
            {   
                MessageBox.Show("出错");   
            }   
            return strResult;   
        }   
        //为了使用HttpWebRequest和HttpWebResponse，需填名字空间引用 using System.Net;   
        //以下是程序具体实现过程：   
        private void button1_Click(object sender, EventArgs e)   
        {  
            //要抓取的URL地址  
            string Url = "http://list.mp3.baidu.com/topso/mp3topsong.html?id=1#top2";  
            //得到指定Url的源码  
            string strWebContent = GetWebContent(Url);  
            richTextBox1.Text = strWebContent;  
            //取出和数据有关的那段源码  
            int iBodyStart = strWebContent.IndexOf("<body", 0);  
            int iStart = strWebContent.IndexOf("歌曲TOP500", iBodyStart);  
            int iTableStart = strWebContent.IndexOf("<table", iStart);  
            int iTableEnd = strWebContent.IndexOf("</table>", iTableStart);  
            string strWeb = strWebContent.Substring(iTableStart, iTableEnd - iTableStart + 8);  
            //生成HtmlDocument  
            WebBrowser webb = new WebBrowser();  
            webb.Navigate("about:blank");  
            HtmlDocument htmldoc = webb.Document.OpenNew(true);  
            htmldoc.Write(strWeb);  
            HtmlElementCollection htmlTR = htmldoc.GetElementsByTagName("TR");  
            foreach (HtmlElement tr in htmlTR)  
            {  
                string strID = tr.GetElementsByTagName("TD")[0].InnerText;  
                string strName = tr.GetElementsByTagName("TD")[1].InnerText;  
                string strSinger = tr.GetElementsByTagName("TD")[1].InnerText;  
                //插入DataTable  
                strID = strID.Replace(".", "");  
                //AddLine(strID, strName, strSinger, "0");  
  
                //string strID = tr.GetElementsByTagName("TD")[0].InnerText;  
                //string strName = SplitName(tr.GetElementsByTagName("TD")[1].InnerText, "MusicName");  
                //string strSinger = SplitName(tr.GetElementsByTagName("TD")[1].InnerText, "Singer");  
                插入DataTable  
                //strID = strID.Replace(".", "");  
                //AddLine(strID, strName, strSinger, "0");  
  
                //string strID1 = tr.GetElementsByTagName("TD")[2].InnerText;  
                //string strName1 = SplitName(tr.GetElementsByTagName("TD")[3].InnerText, "MusicName");  
                //string strSinger1 = SplitName(tr.GetElementsByTagName("TD")[3].InnerText, "Singer");  
                插入DataTable  
                //strID1 = strID1.Replace(".", "");  
                //AddLine(strID1, strName1, strSinger1, "0");  
  
                //string strID2 = tr.GetElementsByTagName("TD")[4].InnerText;  
                //string strName2 = SplitName(tr.GetElementsByTagName("TD")[5].InnerText, "MusicName");  
                //string strSinger2 = SplitName(tr.GetElementsByTagName("TD")[5].InnerText, "Singer");  
                插入DataTable  
                //strID2 = strID2.Replace(".", "");  
                //AddLine(strID2, strName2, strSinger2, "0");  
            }  
            //插入数据库  
            //InsertData(dt);  
  
            //dataGridView1.DataSource = dt.DefaultView;  
        }  
  
        private void button2_Click(object sender, EventArgs e)  
        {  
            try {  
                WebClient MyWebClient = new WebClient();  
                MyWebClient.Credentials = CredentialCache.DefaultCredentials;//获取或设置用于向Internet资源的请求进行身份验证的网络凭据  
                Byte[] pageData = MyWebClient.DownloadData("http://bbs.cup.edu.cn/cupbbs/ThreadList.aspx?fid=51"); //从指定网站 下载数据  
                //string pageHtml = Encoding.Default.GetString(pageData);  //如果获取网站页面采用的是GB2312，则使用这句              
                string pageHtml = Encoding.UTF8.GetString(pageData); //如果获取网站页面采用的是UTF-8，则使用这句  
                Console.WriteLine(pageHtml);//在控制台输入获取的内容  
                using (StreamWriter sw = new StreamWriter("C:\\Users\\yuan\\Desktop\\ouput.html"))//将获取的内容写入文本  
                {  
                    sw.Write(pageHtml);  
                }  
                Console.ReadLine(); //让控制台暂停,否则一闪而过了               
            }  
            catch(WebException webEx) {  
                Console.WriteLine(webEx.Message.ToString());  
            }  
        }  
  
        void web_DocumentCompleted(object sender, WebBrowserDocumentCompletedEventArgs e)  
        {  
            WebBrowser web = (WebBrowser)sender;  
            HtmlElementCollection ElementCollection = web.Document.GetElementsByTagName("Table");  
            foreach (HtmlElement item in ElementCollection)  
            {  
                File.AppendAllText("C:\\Users\\yuan\\Desktop\\ouputbutton3.txt", item.InnerText);  
            }  
        }  
        private void button3_Click(object sender, EventArgs e)  
        {  
            WebBrowser web = new WebBrowser();  
            web.Navigate("http://www.chinahighway.gov.cn/html/staticHtml/front/index_lkcx.html");   
            web.DocumentCompleted += new WebBrowserDocumentCompletedEventHandler(web_DocumentCompleted);   
        }  
  
        private void button4_Click(object sender, EventArgs e)  
        {  
            string _StrResponse = "";  
            HttpWebRequest _WebRequest = (HttpWebRequest)WebRequest.Create("http://bbs.cup.edu.cn/cupbbs/ThreadList.aspx?fid=51");  
            _WebRequest.UserAgent = "MOZILLA/4.0 (COMPATIBLE; MSIE 7.0; WINDOWS NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.04506.648; .NET CLR 3.5.21022; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)";  
            _WebRequest.Method = "Get";  
            WebResponse _WebResponse = _WebRequest.GetResponse();  
            StreamReader _ResponseStream = new StreamReader(_WebResponse.GetResponseStream(), System.Text.Encoding.GetEncoding("gb2312"));  
            _StrResponse = _ResponseStream.ReadToEnd();  
            _WebResponse.Close();  
            _ResponseStream.Close();  
            File.AppendAllText("C:\\Users\\yuan\\Desktop\\ouputbutton4.txt", _StrResponse);  
        }  
  
        private void button5_Click(object sender, EventArgs e)  
        {  
            System.Net.WebClient WebClientObj = new System.Net.WebClient();  
            System.Collections.Specialized.NameValueCollection PostVars = new System.Collections.Specialized.NameValueCollection();  
            PostVars.Add("__VIEWSTATE", "dDwxNDMyMjQ3NTY4O3Q8O2w8aTwxPjs+O2w8dDw7bDxpPDM+O2k8Nz47PjtsPHQ8O2w8aTwwPjtpPDE+O2k8Mj47aTwzPjtpP........省略了，太长了.......");  
            //PostVars.Add("__EVENTVALIDATION", "此处是您需要提前得到的信息");  
            PostVars.Add("__EVENTTARGET", "grdThreadList:_ctl27:_ctl3");  
            //PostVars.Add("__EVENTARGUMENT", "");  
            //string s = "23$74$56";  
            //string[] str=new string[5];  
            //str=s.Split('$');  
            WebClientObj.Headers.Add("ContentType", "application/x-www-form-urlencoded");  
            try  
            {  
                byte[] byte1 = WebClientObj.UploadValues("http://bbs.cup.edu.cn/cupbbs/ThreadList.aspx?fid=51", "POST", PostVars);  
                string ResponseStr = Encoding.UTF8.GetString(byte1); //得到当前页面对应的html 文本字符串  
                //GetPostValue(ResponseStr);//得到当前页面对应的 __VIEWSTATE 等上面需要的信息，为抓取下一页面使用  
                //SaveMessage(ResponseStr);//保存自己关心的内容到 数据库中  
                File.AppendAllText("C:\\Users\\yuan\\Desktop\\ouputbutton5.txt", ResponseStr);  
            }  
            catch (Exception ex)  
            {  
                Console.WriteLine(ex.Message);  
            }  
        }  
  
        private static string current__viewstate="";//保存当前页面对应的 __VIEWSTATE 等上面需要的信息，为再次点击按钮（抓取下一页面）使用  
        private string GetPostValue(string ResponseStr)  
        {  
            //......  
            return "";//略//解析ResponseStr，得到__VIEWSTATE的值  
        }  
        private void button6_Click(object sender, EventArgs e)  
        {  
            System.Net.WebClient WebClientObj = new System.Net.WebClient();  
            System.Collections.Specialized.NameValueCollection PostVars = new System.Collections.Specialized.NameValueCollection();  
            PostVars.Add("__VIEWSTATE", current__viewstate);  
            PostVars.Add("__EVENTVALIDATION", "此处是您需要提前得到的信息");  
            PostVars.Add("__EVENTTARGET", "grdThreadList:_ctl27:_ctl3");//通过for,改变其值，ctl1,ctl2,ctl3....  
            PostVars.Add("__EVENTARGUMENT", "");  
            string s = "23$74$56";  
            string[] str=new string[5];  
            str=s.Split('$');  
            WebClientObj.Headers.Add("ContentType", "application/x-www-form-urlencoded");  
            try  
            {  
                byte[] byte1 = WebClientObj.UploadValues("http://www.chinahighway.gov.cn/ html/staticHtml/front/index_lkcx.html", "POST", PostVars);  
                string ResponseStr = Encoding.UTF8.GetString(byte1); //得到当前页面对应的html 文本字符串  
                current__viewstate=GetPostValue(ResponseStr);//得到当前页面对应的 __VIEWSTATE 等上面需要的信息，为抓取下一页面使用  
                //SaveMessage(ResponseStr);//保存自己关心的内容到数据库中  
                File.AppendAllText("C:\\Users\\yuan\\Desktop\\ouputbutton6.txt", ResponseStr);  
            }  
            catch (Exception ex)  
            {  
                Console.WriteLine(ex.Message);  
            }  
        }  
  
        private void button7_Click(object sender, EventArgs e)  
        {  
            try  
            {  
                WebClient MyWebClient = new WebClient();  
                MyWebClient.Credentials = CredentialCache.DefaultCredentials;//获取或设置用于向Internet资源的请求进行身份验证的网络凭据  
                Byte[] pageData = MyWebClient.DownloadData("http://gb.cri.cn/42071/2013/03/05/3245s4038640_2.htm"); //从指定网站下载数据  
                string pageHtml = Encoding.Default.GetString(pageData);  //如果获取网站页面采用的是GB2312，则使用这句              
                //string pageHtml = Encoding.UTF8.GetString(pageData); //如果获取网站页面采用的是UTF-8，则使用这句  
                Console.WriteLine(pageHtml);//在控制台输入获取的内容  
                using (StreamWriter sw = new StreamWriter("C:\\Users\\yuan\\Desktop\\ouput7.html"))//将获取的内容写入文本  
                {  
                    sw.Write(pageHtml);  
                }  
                Console.ReadLine(); //让控制台暂停,否则一闪而过了               
            }  
            catch (WebException webEx)  
            {  
                Console.WriteLine(webEx.Message.ToString());  
            }  
        }  
  
        //对分页数据抓取，当网页上【下一页】的属性是.gif格式的时候，而且鼠标停在【下一页】上面，页面下面显示的网址不完整（网址太长，只能看到部分），  
        //可以通过在网页上点击右键【查看源文件】,或F12【脚本】，找到对应的href，即可得到网址。  
        private void button8_Click(object sender, EventArgs e)  
        {  
            try  
            {  
                WebClient MyWebClient = new WebClient();  
                MyWebClient.Credentials = CredentialCache.DefaultCredentials;//获取或设置用于向Internet资源的请求进行身份验证的网络凭据  
                Byte[] pageData = MyWebClient.DownloadData("http://www.chinahighway.gov.cn/roadInfo/queryRoadInfo.do?queryType=map&startDate=&cantonName=&cantonCode=&infoType=3&endDate=&startPlanDate=&_page_size=50&roadName=&mapList=-1&endRealDate=&roadCode=&provinceList=-1&endPlanDate=&startRealDate=&page=3"); //从指定网站下载数据  
                string pageHtml = Encoding.Default.GetString(pageData);  //如果获取网站页面采用的是GB2312，则使用这句              
                //string pageHtml = Encoding.UTF8.GetString(pageData); //如果获取网站页面采用的是UTF-8，则使用这句  
                Console.WriteLine(pageHtml);//在控制台输入获取的内容  
                using (StreamWriter sw = new StreamWriter("C:\\Users\\yuan\\Desktop\\ouput8.txt"))//将获取的内容写入文本  www.2cto.com
                {  
                    sw.Write(pageHtml);  
                }  
                Console.ReadLine(); //让控制台暂停,否则一闪而过了               
            }  
            catch (WebException webEx)  
            {  
                Console.WriteLine(webEx.Message.ToString());  
            }  
        }  
  
  
    }  
}  
 
wilsonke
关注
专栏目录
java分页抓取数据_网页分页数据抓取的几种方式
weixin_35024589的博客
02-21 1239
相信所有个人网站的站长都有抓取别人数据的经历吧，目前抓取别人网站数据的方式无非两种方式：一、使用第三方工具，其中最著名的是火车头采集器，在此不做介绍。二、自己写程序抓取，这种方式要求站长自己写程序，可能对对站长的开发能力有所要求了。本人起初也曾试着用第三方的工具抓取我所需要的数据，由于网上的流行的第三方工具不是不符合我的要求，就是过于复杂，我一时没有搞明白怎么用，后来索性决定自己写吧，现在本人基本...
python爬取分页数据_爬虫抓取分页数据的简单实现
weixin_39894473的博客
12-03 3078
昨天，我们已经利用Jsoup技术实现了一个简单的爬虫，原理很简单，主要是要先分析页面，拿到条件，然后就去匹配url，采用dome解析的方式循环抓取我们需要的数据，从而即可轻松实现一个简单的爬虫。那么，昨天我们说了，我们昨天只是爬取了一页的数据也就是第一页的数据，若想获取分页的全部数据该怎么写呢？正好，今天朋友托我帮忙买一种药，说是她那边没有，于是，我就查询了一下佛山的各大药店，利用我们刚学的爬虫技...
对DataTable分页获取数据
10-11
对DataTable分页获取数据
网页抓取数据并分析，特别包括分页数据的抓取。
sl159的专栏
03-05 4459
包括8个按钮，每个按钮下的代码都可运行（第5、6个可能需要调试一下）。有基本的页面抓取，不含分页数据的；有含分页数据，且【下一页】的链接是网址的；有含分页数据，且【下一页】的链接是__doPostBack；有含分页数据，且【下一页】的属性是.gif，可通过F12找到href的。 参考网址：http://www.cnblogs.com/ceachy/articles/CSharp_Retrive_P
C#使用HttpHelper类抓取html网页内容
这里将承载一段最初的记忆
09-13 943
C#使用HttpHelper类抓取html网页内容 HttpHelper类(苏飞版)下载地址: http://www.sufeinet.com/thread-3-1-1.html 使用方法及说明（摘自：http://blog.csdn.net/smartsmile2012/article/details/41819725）: HttpHel...
爬取拉勾热门城市“数据分析”岗位，并进行可视化分析
qq_34369025的博客
03-14 2102
首先，写一个爬取岗位的爬虫，如下：# -*- coding:utf-8 -*- from json import JSONDecodeError import requests import time import pandas as pd # 获取存储职位信息的json对象，遍历获得公司名、福利待遇、工作地点、学历要求、工作类型、发布时间、职位名称、薪资、工作年限 companyFullN...
jsoup分页爬取网页
12-26
jsoup分页爬取网页，jsoup分页爬取网页jsoup分页爬取网页内置jsoup所需要的jar包
PHP网页抓取之抓取百度贴吧邮箱数据代码分享
09-21
【描述】提到，该程序具备一键抓取帖子所有邮箱以及分页抓取的功能，适合对网页抓取感兴趣的开发者学习。 首先，我们要明白网页抓取（Web Scraping）的基本概念，它是通过自动化的方式从互联网上获取大量数据的过程...
python抓取网页中图片并保存到本地
09-21
Python是一种强大的编程语言，特别适合于网络数据抓取任务，包括从网页中抓取图片并保存到本地。本文将详细讲解如何使用Python实现这一功能。 首先，我们需要导入一些必要的库，如`os`用于文件操作，`uuid`用于生成...
java+jsoup抓取网页数据
12-21
在IT行业中，网络数据抓取是一项重要的技能，它允许开发者获取和分析大量互联网上的信息。本教程将聚焦于使用Java和Jsoup库来实现这一目标。Jsoup是Java的一个库，设计用于处理真实世界的HTML，提供了强大的解析、...
C#从指定的网站提取网页内容
11-10
本程序使用多线程从特定网页中提取textarea块中的内容。 具体从http://www.veryhuo.com提取中间演示textarea内的html文本，从(网页特效代码)->(详细分类)->html网页中textarea内容，程序内使用了1.多线程 2.正则表达式 3.web文件读取 4.本地文件保存及编码问题。线程挂起没实现 好像用ThreadPool可以暂停纯种线程。
成都链家数据爬取分析<初稿>
qhn614的博客
09-30 1640
链家成都数据分析数据准备部分链家成都数据爬取 2017年4月 全部待售房屋数据 数据清洗 将数据保存为json格式的文件 将数据读取为pds的DataFrame格式，用于分析 清洗后数据格式为 eg: id age area decoration elev face2 floor focus hall housename release room
【Java爬虫】使用Jsoup爬取网页<table>表格的分页信息
小七的博客
09-15 3035
爬取网站：https://flights.ctrip.com/actualtime/arrive-sha.p1/ 爬取上海浦东机场的航班信息 技术：使用Jsoup技术 jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。参考Jsoup官方文档 Jsoup_Do...
网页分页数据的三种抓取方式亲测
dingding5205205200的博客
08-22 562
http://blog.csdn.net/lyflcear/article/details/6268372 转载于:https://www.cnblogs.com/learningJAVA/p/7411590.html
利用C#爬取网页HTML数据
刘康康的博客
11-03 8304
//方法一 using System.Text.RegularExpressions; public static void webClientMethod1() { WebClient wc = new WebClient(); wc.Encoding = Encoding.UTF8; //以字符串的形式...
c#怎样抓取html网页数据
RinSing
12-09 2541
//方法一 using System.Text.RegularExpressions;public static void webClientMethod1() { WebClient wc = new WebClient(); wc.Encoding = Encoding.UTF8; //以字符串的形式返回数据
c#抓取浏览器网页代码数据(winform)
weixin_33851177的博客
07-18 305
昨天主管突然找我,说月底有个游戏要发新补丁,但是没有新增部分的资料,找到一个网站却不知道怎么下载到我们的数据库中.我看了一下,网页为了防抓取,都是用js来生成内容,不过还是让我找到具体位置,所有物品有3万多,需要的还要过滤,有用的只有3千多,人工来做几乎不太现实的,于是写了一个winform来抓它的信息来写到数据库中动作在DocumentCompleted事件中完成.         priva...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值