![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Scrapy
初学者_小铭
这个作者很懒,什么都没留下…
展开
-
对习乐app的某课程的所有题目爬取
这学期就想把习乐题库刷空,一直没时间弄,期末来了,课少了,搞起来~习乐好像是一个一个学长写的app,但是对不住了,增加了点垃圾数据,23333思路: 1、手机或模拟器抓包,分析提交自测数据包、查看试卷数据包。 2、模拟上面的数据包。 3、清洗数据,得到想要的信息入库。Fiddler抓手机/模拟器数据包,分析数据包基本数据包Fidd...原创 2019-12-20 23:58:12 · 923 阅读 · 3 评论 -
python 爬虫框架Scrapy 异步存储数据到数据库中(入门)
一、前言 因为本人比较菜,在学习Scrapy 框架之前都是自己手写爬虫,最多也只是开线程解决,最多的数据量也只有2W+, 先说下我以前怎么解决多线程数据库存储到本地(受到倍增启发),因为数据量比较小,没使用数据库,而是生成的excel表格 解决办法 一:写个全局锁,如果有人在写入,那么他就暂停,等待一下,然后再次访问.(后来学了计网,...原创 2019-12-10 12:26:02 · 457 阅读 · 0 评论 -
python 爬虫框架Scrapy 初步学习
一、初步使用scrapy网上教程很多,不重复介绍了;Scrapy官方网站可以看下这篇一些基本的scrapy命令scrapy startproject preoject_name // 创造一个scrapy 项目然后进入目录preoject_name(你刚创建的项目):scrapy genspider Lushan "www.ym94.cn"// 如果没有修改模板 就...原创 2019-12-10 11:55:20 · 218 阅读 · 0 评论