scrapy
jun_军
这个作者很懒,什么都没留下…
展开
-
一周搞定scrapy之3,将爬取到的起点中文网信息保存到mysql
安装mysql 去mysql官网下载 https://dev.mysql.com/downloads/installer/ (除了这步要改一下,其余的都是默认继续)然后安装路径默认 设置密码,最后完成 该之前的代码 (以下是github全部源码) https://github.com/junasir/qidianhot/tree/master 第一步 改pipelines》py ...原创 2020-07-02 16:11:48 · 207 阅读 · 0 评论 -
一周搞定scrapy之2,伪装成浏览器及用css提取数据
实现爬虫的过程 request对象参数及含义 参数 说明 url HTTP请求的网站 method HTTP请求的方法,如“GET” body HTTP的请求体,类型为str或unicode headers HTTP的请求体,字典型 cookies 请求的cookie值,字典型或列表型,可以实现自动登录的效果 encoding 请求的编码方式,默认为utf-8 callback 指定回调函数,即确定页面解析函数,默认为parse() meta 字典类型,用于数据原创 2020-06-08 20:36:33 · 593 阅读 · 0 评论 -
一周搞定scrapy之第一天--爬取起点中文小说网
快速安装scrapy pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy 安装完成之后在cmd里面输入scrapy 如果出现以上的情况,说明已经安装成功了 新建scrapy项目,我们不能直接在pycharm里面新建,我们要在cmd新建 scrapy startproject +名字 ## 前提进入该文件夹 下面的这个代表我的项目文件夹,然后我们再进去 下面这个文件夹代表了scrapy的框架 接着我们找要爬取的网站,按f原创 2020-06-07 11:58:39 · 902 阅读 · 0 评论