python模块学习---mechanize(模拟浏览器)

mechanize是非常合适的模拟浏览器的模块。

它的特点主要有：

1 http,https协议等。
2 简单的HTML表单填写。
3 浏览器历史记录和重载。
4 Referer的HTTP头的正确添加（可选）。
5 自动遵守robots.txt的。
6 自动处理HTTP-EQUIV和刷新。

所以你可以用mechanize来完成一些自动化浏览器想要做的事情，比如自动登录表单，自动填写表单等。
首先你在 mechanize download页面 里面下载并且安装好
然后可以看下文档： http://wwwsearch.sourceforge.net/mechanize/

下面是我写的简单代码：

[python]  view plain  copy

 

1. #导入模块##  
2. import mechanize  
3. import cookielib  
4. from BeautifulSoup import BeautifulSoup  
5.   
6.   
7. br = mechanize.Browser()  
8. cj = cookielib.LWPCookieJar()  
9. br.set_cookiejar(cj)##关联cookies  
10.   
11. ###设置一些参数，因为是模拟客户端请求，所以要支持客户端的一些常用功能，比如gzip,referer等  
12. br.set_handle_equiv(True)  
13. br.set_handle_gzip(True)  
14. br.set_handle_redirect(True)  
15. br.set_handle_referer(True)  
16. br.set_handle_robots(False)  
17.   
18. br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)  
19.   
20. ###这个是degbug##你可以看到他中间的执行过程，对你调试代码有帮助  
21. br.set_debug_http(True)  
22. #br.set_debug_redirects(True)  
23. #br.set_debug_responses(True)  
24.   
25. br.addheaders = [('User-agent', 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.1.11) Gecko/20100701 Firefox/3.5.11')]##模拟浏览器头  
26. response = br.open('http://xxx..com/')##自己设定一个url  
27.   
28. for f in br.forms():##有的页面有很多表单，你可以通过来查看  
29. print f  
30.   
31. br.select_form(nr=1)##选择表单1，  
32.   
33. br.form['username'] = '用户账户'  
34. br.form['password'] = '密码'  
35.   
36. br.submit()##提交表单  
37.   
38. print 'success login'