Python | 8个常用的爬虫技巧总结

Python应用最多的场景还是Web快速开发、爬虫、自动化运维：可以做简单网站、自动发帖脚本、收发邮件脚本、简单验证码识别脚本。

 

爬虫在开发过程中也有很多复用的过程，这里总结一下，以后也能省些事情。

 

1

基本抓取网页

当然在学习Python的道路上肯定会困难，没有好的学习资料，怎么去学习呢？

学习Python中有不明白推荐加入交流Q群号：701698587

群里有志同道合的小伙伴，互帮互助， 群里有不错的视频学习教程和PDF！

get方法

import urllib2
url = "http://www.baidu.com"response = urllib2.urlopen(url)print response.read()

 

post方法

import urllibimport urllib2
url = "http://abcde.com"form = {'name':'abc','password':'1234'}form_data = urllib.urlencode(form)request = urllib2.Request(url,form_data)response = urllib2.urlopen(request)print response.read()

 

2

使用代理IP

 

在开发爬虫过程中经常会遇到IP被封掉的情况，这时就需要用到代理IP；在urllib2包中有ProxyHandler类，通过此类可以设置代理访问网页，如下代码片段：

import urllib2
proxy = urllib2.ProxyHandler({'http': '127.0.0.1:8087'