python爬取今日头条后台数据_爬虫爬取今日头条数据代码实现

课程链接

讲师的公众号文章：今日头条数据抓取及持久化(完整代码版,含IP和用户代理)​mp.weixin.qq.com

课程代码

抓取并持久化user-agent工具utils.py

对于爬虫工具，需要设置发起请求的user-agent，import fake-useragent可以实现，但是每次更换user-agent都要发起网络请求，并不是好办法，所以比较好的做法是：抓取文件，本地json存储备用。

怎么找到fake-useragent到哪里取数的，截图如下：

utils.py代码如下：

"""

这个工具的目的是把fake_useragent的user_agent下载下来，存储文件使用

from fake_useragent import UserAgent

https://fake-useragent.herokuapp.com/browsers/0.1.11

"""

import requests

import json

import random

"""

json的方法中 dump,dumps,load,loads的区别

dump/load，是操作文件的

dumps/loads，是处理j