爬虫练习csv录入
发现应用程序是ajax动态加载,可以用selenuim或者分析页面来源,可以在network找XHR或者在ALL找
打开第一个url
普通(非多线程下的爬虫案例+csv保存)
# 发现应用程序是ajax动态加载,可以用selenuim或者分析页面来源
# 可以再network找XHR或者在ALL找
# 点开一个,url https://app.mi.com/details?id=com.kuaiyin.live
# XHR 里的packageName是这个 com.kuaiyin.live
# 所以url为‘https://app.mi.com/details?id=’ 拼接+ packageName
# 通过 XHR找到的url为
# 第一页 https://app.mi.com/categotyAllListApi?page=0
# 第二页 https://app.mi.com/categotyAllListApi?page=1
import requests
import time
import random
from fake_useragent import UserAgent
import csv
class XiaomiSpider():
def __init__(self):
# {}为占位 在后面的来一个format占位