puython爬虫基础（一）

首先我们先学会urllib2的类库的使用

 下面是代码

返回的数据就是网站的源码，下面是一部分

看到百度一下我就只知道我们成功了

这样虽然能直接获得网页源码可是也暴露除了我们的ip，对于我们以后的开发不利

我们都知道用户每一次访问网页的时候都会先上代理服务器发送然后在由代理服务器向网站服务器发送，然后依次传到用户端上，这时就有了怎区别服务器返回的数据一定是你的呢，这时候就出现了userAgent的概念，学javaee的都知道，我们每一次访问网站客户端都会想服务端发送一个请求头，把一些必要的信息交给服务器，这个useragent就在这请求头中，

详细信息请参考这篇文章

这里我用了一个工具叫做

<