爬虫练习csv录入

爬虫练习csv录入

发现应用程序是ajax动态加载，可以用selenuim或者分析页面来源，可以在network找XHR或者在ALL找

打开第一个url

普通（非多线程下的爬虫案例+csv保存）

# 发现应用程序是ajax动态加载，可以用selenuim或者分析页面来源
# 可以再network找XHR或者在ALL找

# 点开一个，url https://app.mi.com/details?id=com.kuaiyin.live
# XHR 里的packageName是这个                   com.kuaiyin.live
# 所以url为‘https://app.mi.com/details?id=’ 拼接+ packageName
# 通过 XHR找到的url为
# 第一页 https://app.mi.com/categotyAllListApi?page=0
# 第二页 https://app.mi.com/categotyAllListApi?page=1

import requests
import time
import random
from fake_useragent import UserAgent
import csv
class XiaomiSpider():
    def __init__(self):
        # {}为占位 在后面的来一个format占位