.NET Core玩转爬虫系列之借助正则表达式入门篇

接下来一段时间，我会花些时间研究C#玩转爬虫的方法及其实践。

话不多说，开始吧~

一般来说:

设计并实现一个爬虫的步骤是:

模拟登录 -> 模拟发送request请求 -> 取回response数据 -> 提取所需信息并将其进行重新组织 -> 存入DB或文件中 -> 后期处理或展示

流程图

当然，有时还需要适当地应对所抓取目标站点的反爬虫策略，也就是大家常说的反反爬！

下文以抓取豆瓣音乐为例来具体说明:

比如，我们在豆瓣音乐中搜索"摇滚"后爬取相关内容，然后写入csv文件中。

目标网址是：

https://music.douban.com/tag/摇滚?start=0&type=T

抓取大概分为如下几个步骤:

获取页数

• 发请求

每一页中都可以看到总的页数，直接取第1页的就好。

    byte[] buffer = webclient.DownloadData("https://music.douban.com/tag/%E6%91%87%E6%BB%9A?start=0&type=T");
    // utf-8, gb2312, gbk, utf-1......
    string html = System.Text.Encoding.GetEncoding("utf-8").GetString(buffer);

借助以上两行代码，就可以看到该网址Response的HTML字符串(debug时上面一行代码中html的值)为:

• 使用正则表达式匹配到页数

我们选用模式串 ">[0-9][0-9]{0,}</a>" 进行匹配，由于下面的页码是从第一页算起的，选最大页数就是总页数。

相应的函数GetTotalCount如下:

        private static int GetTotalCount(System.Net.WebClient webclient, int startIdx)
        {
            //html下载
            /* https://music.douban.com/tag/%E6%91%87%E6%BB%9A?start=0&type=T  */

            byte[] buffer = webclient.DownloadData("https://music.douban.com/tag/%E6%91%87%E6%BB%9A?start=" + startIdx + "&type=T");
            // utf-8, gb2312, gbk, utf-1......
            string html = System.Text.Encoding.GetEncoding("utf-8").GetString(buffer);

            MatchCollection pageCount_matches = new Regex(">[0-9][0-9]{0,}</a>").Matches(html);

            if (pageCount_matches.Count == 0)
                return 0;

            string tempPageNum = pageCount_matches[pageCount_matches.Count - 1].Value;
            int.TryParse(tempPageNum.Replace("</a>", string.Empty).Substring(1), out int lastPageNum);

            return lastPageNum;
        }

获取当前页的数据

• 发请求

用与上一步相同的方法

byte[] buffer = webclient.DownloadData("https://music.douban.com/tag/%E6%91%87%E6%BB%9A?start=0&type=T");
    // utf-8, gb2312, gbk, utf-1......
string html = System.Text.Encoding.GetEncoding("utf-8").GetString(buffer);

debug时可得到当前页对应的HTML字符串:

• 使用正则表达式匹配到每一天记录

我们选用模式串 "<p class=\"pl\">([\\s\\S]*?)</p>" 进行匹配，可得到如下格式的内容:

刺猬 / 2018-01-08 / 单曲 / 数字(Digital) / 摇滚，

接着进行split可得到一个记录的各个属性。

具体的函数GetCurrentPageRecords如下:

    private static void GetCurrentPageRecords(System.Net.WebClient webclient, int startIdx)
    {
        byte[] buffer = webclient.DownloadData("https://music.douban.com/tag/%E6%91%87%E6%BB%9A?start=" + startIdx + "&type=T");
        // utf-8, gb2312, gbk, utf-1......
        string html = System.Text.Encoding.GetEncoding("utf-8").GetString(buffer);

        // Console.WriteLine(html);

        // html分析
        // 通过正则获取到需要的数据
        // <p class="pl">刺猬 / 2018-01-08 / 单曲 / 数字(Digital) / 摇滚</p>
        MatchCollection musicItem_matches = new Regex("<p class=\"pl\">([\\s\\S]*?)</p>").Matches(html);

        int count = musicItem_matches.Count;

        for (int i = 0; i < count; i++)
        {
            string item = musicItem_matches[i].Result("$1");
            string[] strArr = item.Trim().Split('/');

            Record record = new Record
            {
                SongName = strArr[0],
                Date = strArr.ElementAtOrDefault(1),
                Album = strArr.ElementAtOrDefault(2),
                Type = strArr.ElementAtOrDefault(3),
                Topic = strArr.ElementAtOrDefault(4)
            };

            _records.Add(record);
        }
    }

获取所有页的数据

• 循环修改url中start的值

https://music.douban.com/tag/摇滚?start=0&type=T

第一页的start=0，每页20条，于是后面每一页的start是前一页start的值+20

• 发请求

• 将每页的数据加入到Array或List中

写入csv

• 在VS的NuGet包管理器中为当前项目引入CSVHelper.

• 将一条记录封装成一个类Record

Record.cs

using System;
using System.Collections.Generic;
using System.Text;

namespace CsSpider
{
    public class Record
    {
        public string SongName { get; set; }
        public string Date { get; set; }
        public string Album { get; set; }
        public string Type { get; set; }
        public string Topic { get; set; }
    }
}

// 举例: 万能青年旅店 / 2010-11-12 / 专辑 / CD / 摇滚

• 使用CSVHelper把获得的所有数据写入到csv中

    if (_records.Count > 0)
    {
        var writer = new StreamWriter(_filename);

        using (var csv = new CsvWriter(writer))
        {
            csv.WriteRecords(_records);
            Console.WriteLine("导出完成.");
        }
    }

解决乱码问题

只需要给上述writer设置Encoding即可~

        if (_records.Count > 0)
        {
            var writer = new StreamWriter(_filename, false, System.Text.Encoding.UTF8);  // 设置Encoding，防止乱码

            using (var csv = new CsvWriter(writer))
            {
                csv.WriteRecords(_records);
                Console.WriteLine("导出完成.");
            }
        }

运行结果

最后得到的CSV文件如下:

接下来，会发现一个问题:

如果多执行几次，前面的HTML字符串会变成下面这种内容:

<script>var d=[navigator.platform,navigator.userAgent,navigator.vendor].join("|");window.location.href="https://sec.douban.com/a?c=3d001f&d="+d+"&r=https%3A%2F%2Fmovie.douban.com%2Fsubject%2F26590960%2F";</script>

说明此时，你触发了豆瓣的反作弊功能。如果再多执行几次，会出现 403 Error.

解决办法是模拟登录，这个留在下一篇文章再说，敬请关注！

CsSpider · yanglr/csharp_spiderhttps://github.com/yanglr/csharp_spider/tree/master/spider-test/CsSpider

欢迎star、fork或拉取使用和研究!!!

你点的每一个"在看"，

                                           我都当成了喜欢！