简明python爬虫

爬虫主要包括两步骤

1. 爬取网页html
2. 正则表达式抓取网页的你想要的信息
   ## 爬取网页html ##

import urllib2

request = urllib2.Request("http://www.baidu.com")#构造请求，可传入（url,data,headers）
response = urllib2.urlopen(request)#回复
print response.read()#打印回复的读取

其中最主要的语法

urlopen(url,data,timeout)

url:为网页的网址
data:访问url时要传送的数据,访问时需要密码可用该参数
timeout:设置超时时间，例timeout=10

---

1. 传密码的post方式与get方式

data=urllib.urlencode(values)#传入值

post方式：

values={"username":"用户名","password":"密码"}

get方式：

values={}
values['username']="xxxx"
values['password']="xxx"

---

1. 设置headers(模拟浏览器)

headers={'User_Agent':user_agent}

其中uer_agent='xxx浏览器'
如：user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'

---

1. proxy(代理)换IP访问

import urllib2
enable_proxy = True#使可能的代理为TRUE
proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})#代理交易
null_proxy_handler = urllib2.ProxyHandler({})#空的代理交易
if enable_proxy:#如果代理交易为TRUE
    opener = urllib2.build_opener(proxy_handler)#打开（proxy_handle）
else:
    opener = urllib2.build_opener(null_proxy_handler)#否则打开（null_proxy_handler）
urllib2.install_opener(opener)

4.正则的写法

1）.*?
是一个固定的搭配，.和*代表可以匹配任意无限多个字符，加上？表示使用非贪婪模式进行匹配，也就是我们会尽可能短地做匹配，以后我们还会大量用到
.*? 的搭配。

2）(.?)代表一个分组，在这个正则表达式中我们匹配了五个分组，在后面的遍历item中，item[0]就代表第一个(.?)所指代的内容，item[1]就代表第二个(.*?)所指代的内容，以此类推。

3）re.S 标志代表在匹配时为点任意匹配模式，点 . 也可以代表换行符。

例如：
原网页的：
html码：

<div class="content">

有没有和我一样的，平时挺懒的，但却有间接性收拾东西综合征，突然心血来潮把东西收拾的干干净净整整齐齐，而且整理起来有一种很爽的感觉，越整越兴奋。。。然后又要过好久才再发作。。。
<!--1442419892-->

</div>

正则提提取：

# -*- coding:utf-8 -*-
import re
s='<div class="content">有没有和我一样的，平时挺懒的，但却有间接性收拾东西综合征，突然心血来潮把东西收拾的干干净净整整齐齐，而且整理起来有一种很爽的感觉，越整越兴奋。。。然后又要过好久才再发作。。。<!--1442419892--></div>'
cotent=s.dencode('utf-8').encode('utf-8')
pattern=re.compile('<div class="content">(.*?)<!--(.*?)--></div>',re.S)
print re.findall(pattern,cotent)[0][0]