Python爬虫 urllib中使用ajax请求的get请求爬取数据

以下是详细代码：

# get请求
# 获取网站的的数据，并且保存起来

import urllib.request
url = '目标数据文件的Request Url'

headers = {
    'User-Agent': '你的UA'
}

# 请求对象的定制
request = urllib.request.Request(url=url, headers=headers)

# 获取相应的数据
response = urllib.request.urlopen(request)

content = response.read().decode('utf-8')

print(content)

# 将数据下载到本地
# encoding='utf-8' 这句，使得json支持中文数据
# open方法默认情况下使用的是gbk编码，如果需要保存汉字
# 那么需要在open方法中指定编码格式为utf-8
# fp = open('XXX.json', 'w', encoding='utf-8')
# fp.write(content)

"""
以下是第二种下载数据到json文件写法
效果与上面一样
"""
with open('XXX.json','w',encoding='utf-8') as fp:
    fp.write(content)

运行后，工程目录下会生成jason文件，即为爬取的数据：

双击打开json文件，快捷键Ctrl+Alt+L，就可以对文件中的数据进行排版（必要时可以关闭其它软件来防止热键冲突）

注：由于版权原因，不能放置详细的实例与步骤，请见谅！