python 爬虫 爬取动态链接_Python 爬虫 | 爬取动态加载的网站

上篇说了如何爬取静态网站https://www.jianshu.com/p/bbf4386f7527，我们可能在爬取的过程中发现有的网站并没有把内容放到html里面，而是通过ajax动态加载的方式放进来的。

比如http://tu.duowan.com/gallery/138916.html#p1

我们访问发现很容易找到图片的原图地址，于是我们兴冲冲的用爬虫请求一下发现根本没有地址，根本是个空的，一脸懵逼，可以比较下下面的两幅图。

浏览器的F12

爬虫请求的html

很明显我们请求的并没有地址，而浏览器是有的。

这是因为网站用了AJAX，也就是XMLHttpRequest，那我们怎么找到真正的地址呢？

XHR

我们可以从这里找到XHR请求的地址，也就是http://tu.duowan.com/index.php?r=show/getByGallery/&gid=138916&_=1558600256687，我们请求这个链接发现是个json：

地址真正的所在地

那这就好办了，既然找到了真正的地址，我们就按照我们之前的经验搞一搞。

#!/usr/bin/python

# -*- coding: UTF-8 -*-

import urllib2, urllib, os, time, json

class Pic:

def __init__(self, url, desc, path):

self.url = url

self.desc = desc

self.path = path

locol = "/Users/y/PythonWorkSpace/DUOWAN/"

def test():

# 20000-20700

start_index = 137882

end_index = 138930

for i in range(start_index, end_index):

download_pic(i)

return

def download_pic(index):

curr_time = str(time.time()).replace(".", "0")

url = "http://tu.duowan.com/index.php?r=show/getByGallery/&gid=%d&_=%s" % (index, curr_time)

print "开始执行Task %s" % url

request = urllib2.Request(url) # Request参数有三个，url,data,headers,如果没有data参数，那就得按我这样的写法

request.add_header("User-Agent",

"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36")

request.add_header("Accept-Language", "zh-CN,zh;q=0.9,en;q=0.8,zh-TW;q=0.7,fr;q=0.6")

request.add_header("Accept",

"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3")

response = urllib2.urlopen(request)

# print response.code

if response.code != 200:

return

html = response.read()

if html.strip() == '':

return

dict = json.loads(html, encoding="GBK")

# print raw.keys()

# print dict[u'picInfo']

pic_list = []

pic_info = dict[u'picInfo']

current_dir = locol + "" + str(index) + "/"

for info in pic_info:

source = info[u'source']

desc = info[u'add_intro']

suffix = '.gif'

if source.endswith("gif"):

suffix = '.gif'

elif source.endswith("jpg"):

suffix = '.jpg'

else:

return

path = current_dir + desc + suffix

pic = Pic(source, desc, path)

pic_list.append(pic)

for pic in pic_list:

if not os.path.exists(current_dir):

os.mkdir(current_dir)

print "-------------开始下载---------------", pic.url, pic.path

urllib.urlretrieve(pic.url, pic.path)

print '休息一下，休息3s'

time.sleep(3)

return

打完收工~~~