python爬虫基础
ZER021
这个作者很懒,什么都没留下…
展开
-
第一篇:爬虫初识
认识爬虫爬虫是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。通俗点说就是请求网站并提取数据的自动化程序。爬虫基本流程向服务器发起请求获取服务器的响应内容解析内容保存数据请求与响应我们要获取服务器的数据,那么我们必须先向服务器发送请求信息。假设服务器有香蕉这种水果的信息,而我们需要香蕉的信息,那么我们就要写一封申请书告诉服务器,我们要香蕉的信息。接下来,如...原创 2018-04-20 20:18:10 · 306 阅读 · 0 评论 -
Scrapy的安装
Scrapy的安装众所周知,Scrapy 是一个高级的python爬虫框架,功能极其强大,拥有它就可以快速编写出一个爬虫项目,拥有它就可以搭建分布式架构。那么,请问这么强大的框架要怎么拥有?很简单,按常规套路,我们还是从三大系统的入手。WindowsWindows的安装是比较常见的,相对其他两种系统,因为Scrapy依赖一些其他库,所以在它安装到Windows系统之前,需要先安装几个其...原创 2018-06-12 19:39:42 · 6060 阅读 · 0 评论 -
Scrapy的命令
Scrapy有两种命令,一种是全局命令,一种是项目命令。全局命令是不一定要在项目路径执行的,而项目命令是一定要在项目路径中执行的。全局命令 全局命令 用法 startproject 新建一个爬虫项目,使用时注意路径 settings 获取Scrapy的设定 runspider 在未创建项目的情况下,运行一个编写在Python文件中的sp...原创 2018-06-13 11:48:28 · 288 阅读 · 0 评论