SVM学习笔记

1.学习收获

    ①：                 网络爬虫

       网络爬虫可以爬取网站上我们需要的内容，不过不是所有数据都可以爬取，要了解什么数据可以爬取什么数据不可以爬取我们可以访问该网站根目录下的robots协议来了解，列如浏览器输入www.baidu.com\robots.txt就可以查看到百度的robots协议了，协议规定了什么资源你可以爬取，什么东西不可以爬取，具体的看一看就知道了，有一些网站没有robots协议，说明对你的爬取没有约束。我们通过以下代码实现与网站的通信。

                 req=request.Request(self.url_source+str(self.citycode[i-1])+".shtml",headers=self.headers)

         responce=request.urlopen(req)

         page=responce.read().decode("utf-8")

    通过简单的三步就可以从网站上获取网页内容，其中self.url_source="http://www.weather.com.cn/weather1d/"，它是我们要爬取网页的基网址，后续的不同页面通过不同的关键字来进行区分，通过比较不同的网页之间的不同点和相同点既可以发现其中的区别，列如：