python3 爬虫
文章平均质量分 76
supercrys
这个作者很懒,什么都没留下…
展开
-
一、python3 爬虫环境搭建之 Anaconda 和 Scrapy
python3 只是爬虫开发的编程语言,开发爬虫还需要很多其他环境,比如 IDE 工具,常用库等等. 根据我的使用体验,推荐如下环境搭建步骤,桌面环境为 Windows 10. 安装 AnacondaAnaconda 是一个集成度很高的基于 python 的数据科学平台,无论在开发爬虫还是机器学习等方面,都游刃有余. Anaconda 包含 250 多个数据科学包和自带的包管理工具 conda,一...原创 2018-04-27 21:33:04 · 12601 阅读 · 1 评论 -
二、创建 Scrapy 爬虫项目
在使用 Anaconda 创建好环境之后,就可以使用 Scrapy 框架创建一个爬虫项目. 笔者使用的桌面系统为 Windows 10.使用 Prompt 创建 Scrapy 项目首先,熟悉一下 Windows 下常用的一些命令# 查看当前路径>cd# 查看当前目录下的文件夹和文件>dir# 进入指定目录>cd path\to\your_project# 查看当...原创 2018-04-28 00:35:55 · 1340 阅读 · 0 评论 -
三、使用 Spyder IDE 工具
上一篇文章 中创建项目名称的时候出现笔误,项目名称应该是tencent_video而我却错写成 tencent_viedo. 如果单纯在项目根目录下修改文件夹名称的话存在问题,应该要把文件夹下所有出现项目名称依赖的文件内容全都修改过来才行。如果刚开始创建项目就发现项目名称不满意的话,直接删除这个项目文件夹,再使用 scrapy startproject 命令重新创建就可以。Scrapy 项目在 I...原创 2018-04-28 16:52:13 · 5496 阅读 · 1 评论 -
四、Spyder 下使用 Scrapy 开发爬虫之腾讯视频抓取
上一篇文章简单配置了一下 Spyder 工具窗口,现在开始进入开发阶段。我也是刚开始学习,难免出现笔误和理解不当的地方,欢迎指正:)。我目前主要的学习资源是 Scrapy 官方文档 以及 百度,个人比较喜欢去官网,虽然全英文,学习起来比起看别人的中文博客要慢很多,但是毕竟官网上给出的解决方案都是保持更新的,现在的很多博客都是一两年前的文章,随着版本跟新很多方案可能不再适用,所以我一边学习,一边更新...原创 2018-04-28 23:38:27 · 8404 阅读 · 5 评论