超级简单的抓取网页中动态内容的方法

最新推荐文章于 2024-09-25 10:36:42 发布

weixin_33947521

最新推荐文章于 2024-09-25 10:36:42 发布

阅读量1.5k

点赞数

文章标签： c/c++ matlab javascript ViewUI

原文链接：https://my.oschina.net/loveyj/blog/202461

版权

为什么80%的码农都做不了架构师？>>>

有时候，我们想要获取网页中的动态内容，也就是网页后台数据库中的内容，但是我们又没有权限直接访问数据库。我们只能用程序去抓取网页中的动态内容。一般网页中的动态内容都有一定的规律性。有相似的id名字前缀，有相同或者相似的className，有相似的父元素，有相似的子元素。只有有规律性，我们就能获得到它们的内容。

一、找到要抓取网页的HTML标签的规律性。

二、将规律写成算法。

三、现在任何成熟的编程语言都有一个浏览器控件，用浏览器控件把那些算法实现。

下面以糗事百科的网页内容为例。

前台代码：
<div class="block untagged mb15 bs2" id='qiushi_tag_61939100'>
<div class="author">
<img src="http://pic.qiushibaike.com/system/avtnew/980/9802917/thumb/20140223154951.jpg" alt="卖美瞳的小姑娘" />
<a href="/users/9802917" >卖美瞳的小姑娘 </a>
</div>

我是女汉子体重说明一切点多少赞我就减多少斤

</div>

</div>

由HTML代码可以发现，每一条糗事百科的记录均是className为'block untagged mb15 bs2'的，id前缀为'qiushi_tag_' 的DIV。

这个DIV中ClassName为author的是作者的相关信息。DIV为content的是糗事百科记录的文本信息。DIV为thumb的是糗事百科记录的图片信息。DIV为qiushi_counts是分享个评论信息。

后台代码：

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Windows.Forms;
using System.Net;

namespace SaveWebPageToLocal
{
    public partial class MainForm : Form
    {
        /// <summary>
        ///
        /// </summary>
        public MainForm()
        {
            InitializeComponent();
            init_page();
        }
        /// <summary>
        /// 初始化页面
        /// </summary>
        private void init_page()
        {
            this.WebBrower.Navigate("http://www.qiushibaike.com");
        }
        /// <summary>
        /// 加载完成事件
        /// </summary>
        /// <param name="sender"></param>
        /// <param name="e"></param>
        private void WebBrower_DocumentCompleted(object sender, WebBrowserDocumentCompletedEventArgs e)
        {
           HtmlElementCollection heList=this.WebBrower.Document.GetElementsByTagName("div");
           foreach (HtmlElement currHe in heList)
           {
               if (currHe.GetAttribute("id").ToLower().Contains("qiushi_tag_"))
               {
                   HtmlElementCollection heContentList=currHe.GetElementsByTagName("div");
                   string strId = "";
                   string strContrntText = "";
                   string strImgUrl = "";
                   foreach (HtmlElement currContent in heContentList)
                   {
                       if (currContent.GetAttribute("classname") == "content")
                       {
                           strContrntText = currContent.InnerText;
                           //获得糗事百科记录的文本信息
                       }

                       if (currContent.GetAttribute("classname") == "thumb")
                       {
                           strImgUrl = currContent.GetElementsByTagName("img")[0].GetAttribute("href");
                           if (strId != "")
                           {

                               (new WebClient()).DownloadFile(strImgUrl,"Images/"+(new Random()).Next(10000)+".jpg");
                               //获得糗事百科记录的图片链接地址，并插入到本地
                           }
                       }

                   }
               }
           }
           MessageBox.Show("OK");
        }
    }
}

转载于:https://my.oschina.net/loveyj/blog/202461