Json 渲染 的爬取实例

Web crawler with Python - 04.另一种抓取方式

xlzd

2 年前

（P.S.你也可以在我的博客阅读这篇文章）

好了，到上一篇博客，我们已经能够顺利从网站上抓取一些简单的数据，并将其存储到文件中。但是在抓取网页的时候，有时候会发现HTML中没有我们需要的数据，这时候如何是好呢？

-------------------------------------

我们的目的是抓取拉勾网Python分类下全国到目前为止展示出来的所有招聘信息，首先在浏览器点击进去看看吧。如果你足够小心或者网速比较慢，那么你会发现，在点击Python分类之后跳到的新页面上，招聘信息出现时间是晚于页面框架出现时间的。到这里，我们几乎可以肯定，招聘信息并不在页面HTML源码中，我们可以通过按下"command+option+u"(在Windows和Linux上的快捷键是"ctrl+u")来查看网页源码，果然在源码中没有出现页面展示的招聘信息。

到这一步，我看到的大多数教程都会教，使用什么什么库，如何如何模拟浏览器环境，通过怎样怎样的方式完成网页的渲染，然后得到里面的信息......永远记住，对于爬虫程序，模拟浏览器往往是下下策，只有实在没有办法了，才去考虑模拟浏览器环境，因为那样的内存开销实在是很大，而且效率非常低。

那么我们怎么处理呢？经验是，这样的情况，大多是是浏览器会在请求和解析HTML之后，根据js的“指示”再发送一次请求，得到页面展示的内容，然后通过js渲染之后展示到界面。好消息是，这样的请求往往得到的内容是json格式的，所以我们非但不会加重爬虫的任务，反而可能会省去解析HTML的功夫。

那个，继续打开Chrome的开发者工具，当我们点击“下一页”之后，浏览器发送了如下请求：

注意观察"positionAjax.json"这个请求，它的Type是"xhr"，全称叫做"XMLHttpRequest"，XMLHttpRequest对象可以在不向服务器提交整个页面的情况下，实现局部更新网页。那么，现在它的可能性最大了，我们单击它之后好好观察观察吧：

点击之后我们在右下角发现了如上详情，其中几个tab的内容表示：

• Headers：请求和响应的详细信息
• Preview：响应体格式化之后的显示
• Response：响应体原始内容
• Cookies：Cookies
• Timing：时间开销

通过对内容的观察，返回的确实是一个json字符串，内容包括本页每一个招聘信息，到这里至少我们已经清楚了，确实不需要解析HTML就可以拿到拉钩招聘的信息了。那么，请求该如何模拟呢？我们切换到Headers这一栏，留意三个地方：

上面的截图展示了这次请求的请求方式、请求地址等信息。

上面的截图展示了这次请求的请求头，一般来讲，其中我们需要关注的是Cookie / Host / Origin / Referer / User-Agent / X-Requested-With等参数。

上面这张截图展示了这次请求的提交数据，根据观察，kd表示我们查询的关键字，pn表示当前页码。

那么，我们的爬虫需要做的事情，就是按照页码不断向这个接口发送请求，并解析其中的json内容，将我们需要的值存储下来就好了。这里有两个问题：什么时候结束，以及如何的到json中有价值的内容。

我们回过头重新观察一下返回的json，格式化之后的层级关系如下：

很容易发现，content下的hasNextPage即为是否存在下一页，而content下的result是一个list，其中的每项则是一条招聘信息。在Python中，json字符串到对象的映射可以通过json这个库完成：

import json

json_obj = json.loads("{'key': 'value'}")  # 字符串到对象
json_str = json.dumps(json_obj)            # 对象到字符串

json字符串的"[ ]"映射到Python的类型是list，"{ }"映射到Python则是dict。到这里，分析过程已经完全结束，可以愉快的写代码啦。具体代码这里不再给出，希望你可以自己独立完成，如果在编写过程中存在问题，可以联系我获取帮助。

小结

这篇博客介绍了有些数据不在HTML源码中的情况下的抓取方法，适用于一部分情况。对于数据的存储暂时还是在使用文件。到下一篇，我们将使用MongoDB存储数据，所以在这之间，希望你可以先在本机安装并配置好MongoDB。

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
import requests
import json
import csv

def get_json(url):
    headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0'}
    job_json=requests.post(url,headers=headers)
    return job_json.text

def parse_json(job_json):
    job=json.loads(job_json)
    page_size=len(job.get('content').get('result'))
    total_page_count=job.get('content').get('totalPageCount')
    company_list=[]
    for i in range(page_size):
        company_name=job.get('content').get('result')[i].get('companyShortName')
        position_name=job.get('content').get('result')[i].get('positionName')
        salary=job.get('content').get('result')[i].get('salary')
        company_list.append(company_name)
        company_list.append(position_name)
        company_list.append(salary)
    return company_list,total_page_count

init_url='http://www.lagou.com/jobs/positionAjax.json?px=new&city=广州&kd=python'
company_all_list=[]
url=init_url+'&pn='+str(1)
job_json=get_json(url)
company_list,total_page_count=parse_json(job_json)
company_all_list.extend(company_list)
page_no=total_page_count
for i in range(2,page_no+1):
    url = init_url + '&pn=' + str(i)
    job_json = get_json(url)
    company_list, total_page_count = parse_json(job_json)
    company_all_list.extend(company_list)

with open('../lagou/lagou.csv','w+') as csvfile:
    csvwriter=csv.writer(csvfile)
    for i in range(0,len(company_all_list)+1,3):
        csvwriter.writerow(company_all_list[i:i+3])