![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫
文章平均质量分 92
课余学习爬虫的经过
何必一分高下
这个作者很懒,什么都没留下…
展开
-
爬取淘宝 一类商品及其评论
估计也爬不完 数据比较少 有个方法应该能拿几十页 不过不好透露 自己想滑块 我也没得办法 pyppeteer 也没法 没辙了 # -*- coding: utf-8 -*- import scrapy import json import re import requests import re import time import random from pl.settings import...原创 2020-04-10 21:24:42 · 1124 阅读 · 1 评论 -
爬虫爬取一本完整的小说 《斗罗大陆》
# -*- coding: utf-8 -*- import scrapy from douluodalu.items import DouluodaluItem class DlSpider(scrapy.Spider): name = 'dl' start_urls = ['https://m.lread.net/read/401/'] def parse(self,...原创 2020-03-20 15:15:23 · 1094 阅读 · 0 评论 -
爬取b站存mongdb入数据库(接口已改变)
方法一(只提供思路) 因为初次加载页面的时候已经都加载完毕了,直接去BILIBILI这个页面的数据就好了,在这个页面的JS里,你用正则取出来,都是JS的对象,想办法转成字典就OK了。 方法二 -- coding: utf-8 -- import scrapy import json from pabz.items import PabzItem import re import time impo...原创 2020-02-25 16:47:21 · 427 阅读 · 0 评论