C#-采集百度贴吧内容

http://icuit.cn/bak/Release.rar

基本原理是通过Request到html源码然后解析HTML标签。

首先用System.Net.WebResponse，System.Net.WebRequest两个方法通过url获取到html的string.

然后解析html标签，都说用正则是最合适的做法。

但由于学疏才浅，用了第三方的库HtmlAgilityPack.可以像XML那样获取结点。

HtmlAgilityPack有GetElementbyId，SelectSingleNode，SelectNodes，GetAttributeValue等方法，

InnerHtml，InnerText等主要属性，再加上一些复杂的字符串分析，基本上可以满足要求了。

数据存储依然用的是SQLite。但是这东西似乎并发时表现一般，而且经常会锁住。
所以开了50个线程取数据的同时还得lock住insert的过程。