爬虫实例——爬取煎蛋网OOXX频道（反反爬虫——伪装成浏览器）

煎蛋网在反爬虫方面做了不少工作，无法通过正常的方式爬取，比如用下面这段代码爬取无法得到我们想要的源代码。

import requests

url = 'http://jandan.net/ooxx'
print requests.get(url).text

执行上述代码，你得到的结果应该跟我一样：

煎蛋网应该是通过检测headers来判断是否爬虫，要想获取正常的源代码，需要伪装成浏览器。

# -*- coding: utf-8 -*-
import re
import requests
from bs4 import BeautifulSoup

import sys
reload(sys)
sys.setdefaultencoding('utf8')

def get_bs(url):
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.82 Safari/537.36'}
    text = requests.post(url, headers=headers).text
    return BeautifulSoup(text)

def download(url):
    fn = re.search(r'.*/(.*)', url).group(1)
    content = requests.get(url).content
    with open(fn, 'wb') as f:
        f.write(content)

if __name__ == '__main__':
    url = 'http://jandan.net/ooxx'
    bs = get_bs(url)
    for code in bs('li', id=re.compile(r'comment-\d+')):
        url = code.find('img')['src']
        download(url)

当然，这个爬虫脚本也不是永久有效，说不定哪天煎蛋就出新招了，所以只能见招拆招。

转载于:https://www.cnblogs.com/yestreenstars/p/5501028.html