爬虫
文章平均质量分 88
哈哈哈哈我去
记录一下学习吧
展开
-
Scrapy实践-爬取当当网书籍信息
Python Scrapy库爬虫——爬取当当网书籍 实现爬虫获得豆瓣书籍信息存入数据库中,学习记录 根据分类获取书籍信息,包括书籍名字、作者、出版社、出版日期、价格等信息 根据书籍类别存入数据库 完整爬取步骤 一. 设计数据库结构 二. 分析当当网页结构 三. 编写Spider类,抽取关键内容 四. 编写ItemPipeline实现保存数据数据到数据库 五. 开...原创 2018-04-07 14:53:15 · 3434 阅读 · 3 评论 -
《新浪微博爬虫》第一节:模拟登陆
爬虫基于Requests + Scrapy Requests获取Cookie,Scrapy框架通过Cookie登录爬取。 本次模拟登录使用request的会话机制维持登录状态 模拟登录流程分析: 手动登录,使用浏览器develop功能分析登录流程 根据上一步的分析结构,手动构建请求参数 处理验证等过程,完成登录 登录成功保存Cookie到文件 一. 预登陆 当键入账号后,新浪会...原创 2018-05-03 12:51:04 · 654 阅读 · 0 评论