所谓的爬虫,无非就是通过一些特定的程序访问一些想要访问的网页,并网页上面的内容通过自定义的方式保存下来。
这里我们将通过一个小小的C#程序,实现爬取同花顺中上证50指的实时信息,程序很简单,大神勿喷,不喜勿喷。
所谓爬虫,就是要解决三个问题:一个是爬什么,第二个是怎么爬,第三个是爬下来的数据如何保存,方法很多,根据个人需要和能力水平仁者见仁、智者见智。
下面我们将通过具体实例讲解一下具体如何解决上述三个问题。
一、爬什么
想要什么数据就爬什么数据,但是这些数据在网页中是如何表示和存储的呢?这个时候我们就需要分析我们所要爬取得页面结构。
在这个例子中我们要爬取网页中的表格,如下图所示:
下面通过具体代码来说明:
HtmlDocument doc = web.Document;
HtmlElementCollection tbs = doc.GetElementsByTagName("TABLE");//找到table标签
foreach (HtmlElement tb in tbs)//遍历
{
HtmlElementCollection trs = tb.GetElementsByTagName("TR");//每行
foreach (HtmlElement tr