[python] spider 01

入門：

爬蟲分為三步；1.抓取網頁html 

    2.分析語義，各取所需

    3.儲存數據 / 展示成果

1. 網頁抓取

import re
import urllib

def getHtml(url):
    page = urllib.urlopen(url)
    return page.read()

2. 分析語義

def getImg(html):
    reg = r'<img src="(.*?\.png)">'
    imgre = re.compile(reg)
    imglist = re.findall(imgre,html)
    x=0
    for imgurl in imglist:
        urllib.urlretrieve(imgurl,'%s.png' % x)
        print '%s.png' % x
        x+=1

這裡面涉及很多問題，正則表達式是一環，解析網頁還有BeautifulSoup這類工具。

3. 儲存數據 / 展示應用

//上述代碼已完成//

簡單的調用就可以了。

html = getHtml("http://www.ifeng.com")
getImg(html)

當然有些網頁會做一些保護措施，不讓別人爬，可惡，那我們要在代碼裡做一些改動吧？！！

有個哥們的連接 看看

http://blog.csdn.net/column/details/why-bug.html