python 今日头条推荐数据_python 分析Ajax来抓取今日头条街拍美图

本文是学习 天善学院 Python3爬虫三大案例实战分享 / 分析Ajax抓取今日头条街拍美图 后所写，感谢崔庆才崔老师。

天善学院 Python爬虫三大案例实战分享

抓取的是街拍中的图集标签下的内容

image.png

流程：

1. 抓取索引页

2. 抓取详情页内容

3. 保存信息到数据库

4. 下载图片

索引页

索引页就是这个页面

image.png

这个页面就是用ajax来生成的。往下拉动页面，达到边界的时候，Ajax就会自动加载下一页。

image.png

鼠标选定的那个就是其中一页索引页，一共加载了四页。

我们可以看到 四个索引页之间的区别只有 offset参数有区别，其他都是一模一样的。

如此来说我们就可以通过修改offset参数来获取任意索引页了。

第一页索引页 offset = 0

第二页索引页 offset = 20

第三页索引页 offset = 40

第四页索引页 offset = 60

由此可以看出 offset的规律是 跨步20递增。

def get_page_index(offset=0):

"""获得索引页内容

:return 返回json格式数据"""

url = 'http://www.toutiao.com/search_content/?format=json&keyword=街拍&autoload=true&count=20&cur_tab=3'

headers = {

'Host':"www.toutiao.com",

'Referer':"http://www.toutiao.com/search/?keyword=%E8%A1%97%E6%8B%8D"

}

params = {'offset': offset}

html = downloader(url,headers,params)

return html

视频里 用的是 urllib.urlencode()对url参数进行编码，因为我们使用的是requests库，requests可以自动对参数进行编码，所以没必要在使用urllib.urlencode()

downloader()是抽象出来的下载功能函数。

def downloader(url,headers=None,params=None,again_num=3,isBinary=False):

"""根据url下载html

requests 并不会主动抛出http 状态码异常，

我们只处理服务器异常也就是状态码为500与600之间。服务器异常则重试3次下载

服务器异常的情况下主动抛出requs状态码异常

对超时异常，同样进行重试3次下载

:param again_num 下载异常时，重复下载次数

:param isBinary：是否下载二进制数据，例如图片 True表示下载二进制数据，Flase表示 下载普通html页面

:return 返回html源码页面"""

html = None

try:

response = requests.get(url, headers=headers, params=params)

code = response.status_code

if code == 200:

html = response.content if isBinary else response.text

elif 500 <= code < 600:

response.raise_for_status()

except requests.HTTPError as e :

if again_num > 0:

print ' >>> 服务器异常，下载重试 '

return downloader(url,headers=headers,params=params,again_num=again_num-1)

except requests.Timeout as e:

if again_num > 0:

print ' >>> 超时异常，下载重试 '

return downloader(url,headers=headers,params=params,again_num=again_num-1)

except requests.ConnectionError as e:

print ' >>> 网咯问题，下载失败 --- ',url

return html```

解析索引页，从索引页中提取出来详情页url

Ajax返回的索引页是一个json格式数据。详情页url就包含在json中


data字段值就是 详情页url集合


acticle_url字段值 就是 详情页url。

其实 url字段值也是 详情页url 两个是一样的 提取那个都行


def parse_page_index(html):

"""解析索引页内容，获得新闻url

:raise KeyError 当没有数据时候抛出KeyError异常

:return 新闻url"""

data = json.loads(html)

#这个地方要加一个 data['data']

# 因为data['data']为空，表示索引页已经到底，没有下一页了。

# 其实下一页还可以继续访问，只是返回的全部是重复数据。

if data and ('data' in data) and data['data']:

for item in data['data']:

yield item['url']

else:

raise KeyError(u'没有数据了')

我发现当索引页到底的时候也就是最后一页，在网下一页的时候返回的json数据中 data字段值是一个空数据，表示已经到底了。其实还可以在往下一页继续访问，但是返回的json中的data字段值是前面也已经出现过的重复详情页数据。所以我以 data字段值为空数组表示已经到最后一页，不在进行下一页访问，避免获得重复数据。

视频中用 data.keys()来获得字典的键，其实不用使用data.keys()直接使用 for item in data即可，直接获取的就是 字典的键

2. 抓取详情页

根据详情页url获得详情页html

def get_page_detail(url):

"""获得详情页I新闻页)html源码

:return 详情页html源码"""

headers = {

'Host': "www.toutiao.com",

'Referer': "http://www.toutiao.com/search/?keyword=%E8%A1%97%E6%8B%8D"

}

html = downloader(url,headers=headers)

return html

解析详情页，抽取标题，图片urls

图片的urls是页面中用JavaScript写在html页面中的。这个gallery变量中的 sub_images标签的值就是图片集合。

所以我们需要从页面中提取出来gallery


def parse_page_detail(html,url):

"""解析详情页，抽取标题，图片url

:return {url,title,urls} 详情页信息 字典集合"""

soup = BeautifulSoup(html,'lxml')

title = soup.title.string

images_pattern = re.compile('var gallery =.?(.?);',re.S)

result = re.search(images_pattern, html)

if result:

data = json.loads(result.group(1))

if data and ('sub_images' in data):

sub_images = data['sub_images']

images = [item['url'] for item in sub_images]

# 放到这里回导致重复下载图片，所以 移动到parse_detail中

# 只有插入数据库成功，才会下载图片，避免因重新运行程序导致对已下载过的图片进行重复的下载。

# for image_url in images:

# download_image(image_url)

return {

'url':url,

'title':title,

'images':images

}

使用正则表达式从页面中提取出gallery的值，并转化为json格式数据，从而提取出图片集合sub_images的值。

在视频中 下载图片是写在这里的。我个人觉得逻辑上有些不合理。

因为：假如，我们一小时前运行完程序下载图片。一小时后我们再次运行程序下载图片，然而网站数据没有变化仍然是一小时前的数据，或者混杂的有一小时前的数据，那么程序任然会重复的对图片进行下载，并不管图片是否已经下载过，这样就造成了没必要的重复下载。我个人认为，只有详情页信息插入数据库成功，才进行图片下载。因为插入成功表示当前详情页url并未访问过，没访问过就表示图片没下载过。

3. 保存到数据库

我们将数据保存到 mongodb数据库

def save_db(result):

"""保存数据到mongodb中

:return 插入数据库成功返回True，否则返回Flase"""

status = False

try:

if db_table.insert(result):

print '保存数据库成功 ',result

status = True

except pymongo.errors.DuplicateKeyError:

# 对唯一字段进行重复插入，pymongo则会抛出这个错误，并且插入失败

print '重复插入'

pass

return status

对已插入过的mongodb文档，进行重复插入会抛出 DuplicateKeyError异常，并插入失败。所有我们捕获这个异常，避免因重复数据的插入导致程序崩溃。

4. 下载图片

下载图片并保存到当前目录下的 images文件夹内

下载图片

def download_image(url):

"""下载图片并保存到当前文件夹"""

image = downloader(url,isBinary=True)

save_image(image)

print '下载图片成功 ---- ',url

保存图片

def save_image(image):

"""保存图片到当前目录下的images文件夹内"""

image_file = 'images'

image_name = hashlib.md5(image).hexdigest()

# 文件后缀

# imghdr.what(f)返回图片文件的格式

# 只接受文件对象，所以用StringIO包装一下

f = StringIO.StringIO(image)

image_suffix = imghdr.what(f)

try:

if not os.path.exists('images'):

os.mkdir('images')

file_path = '{0}{1}{2}.{3}'.format(image_file, os.path.sep, image_name, image_suffix)

with open(file_path,'wb') as f:

f.write(image)

except IOError as e:

print '文件操作失败 --- ',e

使用imghdr.what(file)来获得图片的格式(jpg，gif等)

imghdr.what(file)接受的是 文件对象，所以我们用StringIO包装下载的图片二进制数据，在内存中生成一个文件对象。

4. 主程序

def parse_index(html):

"""解析索引页"""

for url in parse_page_index(html):

page_html = get_page_detail(url)

if page_html:

parse_detail(page_html,url)

def parse_detail(html,url):

"""解析详情页"""

result = parse_page_detail(html, url)

stauts = save_db(result)

# 当数据库插入成功的情况下 进行图片下载，避免重复访问导致的重复图片下载

if stauts:

for image_url in result['images']:

download_image(image_url)

def main(offset):

#parse_index 与 parse_detail 是因为main嵌套层次太多(5层)所以拆分的。

try:

html = get_page_index(offset)

if html:

parse_index(html)

except KeyError as e:

print e.message

print '结束'

多进程

def process_main():

"""多进程,获取前五页数据"""

p = Pool()

offsets = [offset for offset in range(0,100,20)]

p.map_async(main,offsets)

p.close()

p.join()```

完整代码如下：

#coding=utf-8

"""测试模块"""

import os

import re

import json

import imghdr

import StringIO

import hashlib

import pymongo

import requests

import pymongo.errors

from multiprocessing import Pool

from bs4 import BeautifulSoup

import config

client = pymongo.MongoClient(config.MONGO_URL)

db = client[config.MONGO_DB]

db_table = db[config.MONGO_TABLE]

#创建唯一索引 url

db_table.create_index([('url',pymongo.DESCENDING)],unique=True)

def get_page_index(offset=0):

"""获得索引页内容

:return 返回json格式数据"""

url = 'http://www.toutiao.com/search_content/?format=json&keyword=街拍&autoload=true&count=20&cur_tab=3'

headers = {

'Host':"www.toutiao.com",

'Referer':"http://www.toutiao.com/search/?keyword=%E8%A1%97%E6%8B%8D"

}

params = {'offset': offset}

html = downloader(url,headers,params)

return html

def get_page_detail(url):

"""获得详情页I新闻页)html源码

:return 详情页html源码"""

print '下载------',url

headers = {

'Host': "www.toutiao.com",

'Referer': "http://www.toutiao.com/search/?keyword=%E8%A1%97%E6%8B%8D"

}

html = downloader(url,headers=headers)

return html

def parse_page_index(html):

"""解析索引页内容，获得新闻url

:raise KeyError 当没有数据时候抛出KeyError异常

:return 新闻url"""

data = json.loads(html)

#这个地方要加一个 data['data']

# 因为data['data']为空，表示索引页已经到底，没有下一页了。

# 其实下一页还可以继续访问，只是返回的全部是重复数据。

if data and ('data' in data) and data['data']:

for item in data['data']:

yield item['url']

else:

raise KeyError(u'没有数据了')

def parse_page_detail(html,url):

"""解析详情页，抽取标题，图片url

:return {url,title,urls} 详情页信息 字典集合"""

soup = BeautifulSoup(html,'lxml')

title = soup.title.string

images_pattern = re.compile('var gallery =.*?(.*?);',re.S)

result = re.search(images_pattern, html)

if result:

data = json.loads(result.group(1))

if data and ('sub_images' in data):

sub_images = data['sub_images']

images = [item['url'] for item in sub_images]

# 放到这里回导致重复下载图片，所以 移动到parse_detail中

# 只有插入数据库成功，才会下载图片，避免因重新运行程序导致对已下载过的图片进行重复的下载。

# for image_url in images:

# download_image(image_url)

return {

'url':url,

'title':title,

'images':images

}

def download_image(url):

"""下载图片并保存到当前文件夹"""

image = downloader(url,isBinary=True)

save_image(image)

print '下载图片成功 ---- ',url

def save_image(image):

"""保存图片到当前目录下的images文件夹内"""

image_file = 'images'

image_name = hashlib.md5(image).hexdigest()

# 文件后缀

# imghdr.what(f)返回图片文件的格式

# 只接受文件对象，所以用StringIO包装一下

f = StringIO.StringIO(image)

image_suffix = imghdr.what(f)

try:

if not os.path.exists('images'):

os.mkdir('images')

file_path = '{0}{1}{2}.{3}'.format(image_file, os.path.sep, image_name, image_suffix)

with open(file_path,'wb') as f:

f.write(image)

except IOError as e:

print '文件操作失败 --- ',e

def save_db(result):

"""保存数据到mongodb中

:return 插入数据库成功返回True，否则返回Flase"""

status = False

try:

if db_table.insert(result):

print '保存数据库成功 ',result

status = True

except pymongo.errors.DuplicateKeyError:

# 对唯一字段进行重复插入，pymongo则会抛出这个错误，并且插入失败

print '重复插入'

pass

return status

def downloader(url,headers=None,params=None,again_num=3,isBinary=False):

"""根据url下载html

requests 并不会主动抛出http 状态码异常，

我们只处理服务器异常也就是状态码为500与600之间。服务器异常则重试3次下载

服务器异常的情况下主动抛出requs状态码异常

对超时异常，同样进行重试3次下载

:param again_num 下载异常时，重复下载次数

:param isBinary：是否下载二进制数据，例如图片 True表示下载二进制数据，Flase表示 下载普通html页面

:return 返回html源码页面"""

html = None

try:

response = requests.get(url, headers=headers, params=params)

code = response.status_code

if code == 200:

html = response.content if isBinary else response.text

elif 500 <= code < 600:

response.raise_for_status()

except requests.HTTPError as e :

if again_num > 0:

print ' >>> 服务器异常，下载重试 '

return downloader(url,headers=headers,params=params,again_num=again_num-1)

except requests.Timeout as e:

if again_num > 0:

print ' >>> 超时异常，下载重试 '

return downloader(url,headers=headers,params=params,again_num=again_num-1)

except requests.ConnectionError as e:

print ' >>> 网咯问题，下载失败 --- ',url

return html

def parse_index(html):

"""解析索引页"""

for url in parse_page_index(html):

page_html = get_page_detail(url)

if page_html:

parse_detail(page_html,url)

def parse_detail(html,url):

"""解析详情页"""

result = parse_page_detail(html, url)

stauts = save_db(result)

# 当数据库插入成功的情况下 进行图片下载，避免重复访问导致的重复图片下载

if stauts:

for image_url in result['images']:

download_image(image_url)

def main(offset):

#parse_index 与 parse_detail 是因为main嵌套层次太多(5层)所以拆分的。

try:

html = get_page_index(offset)

if html:

parse_index(html)

except KeyError as e:

print e.message

print '结束'

def process_main():

"""多进程,获取前五页数据"""

p = Pool()

offsets = [offset for offset in range(0,100,20)]

p.map_async(main,offsets)

p.close()

p.join()

if __name__ == '__main__':

process_main()