C# 爬虫 知识引导

获取网页数据的方法

1. HttpWebRequest
2. HttpClient
3. WebClient
4. WebBrowser

筛选页面数据的方法

1. HtmlAgilityPack
2. 自己用正则表达式来筛选

抓包方法（或者说获取Request请求头、获取HTTP报文）

1. 浏览器打开网页后按照这个步骤来：
   按键F12 → Network → 选择name列表中的数据（如果没有数据就刷新网页）→ Headers → Request Headers。
2. 用工具Fiddler。