爬虫
suibeyywyy
这个作者很懒,什么都没留下…
展开
-
基于scrapy的爬虫项目
基于scrapy的爬虫项目——爬取学校新闻页为例 目录 scrapy爬虫框架简介 新闻页面html分析 一级页面爬取 二级页面爬取 json格式转换为csv格式 结果展示 1.scrapy爬虫框架简介 网络上各种scrapy的简介有很多,列举一个如下: https://blog.csdn.net/zjiang1994/article/details/52779537 这里只简单介绍一下各个模块的大致作用。 创建好爬虫之后的文件目录如下: 其中spider文件夹用于存放爬虫,items.py文件用于存储原创 2020-10-04 15:42:39 · 626 阅读 · 0 评论 -
自动化工具selenium的使用
基于selenium的模拟登陆QQ空间实现 selenium是python的一个第三方库,常用于模拟登陆,本文将实现基于selenium的模拟登陆QQ空间实现。 selenium的安装和环境配置见python自动化处理工具selenium环境搭建 QQ空间登陆界面如下 注意,当进入时,优先是二维码登陆,需要选择试用账号密码登陆。这里涉及了iframe的进入,需要加一段代码driver.switch_to.frame("login_frame") login_frame是frame的name标签 完整代码如原创 2021-03-31 21:23:07 · 272 阅读 · 0 评论