- 博客(4)
- 收藏
- 关注
RSS订阅原创 手写爬取静态页面汽车之家
scrapy写多了,手写爬虫有点生疏,今天来回顾手写爬取静态页面,以便日后做笔记用,我今天爬取的是汽车之家网页, 第一步:导入requests和bs4 import requests from bs4 import BeautifulSoup 第二步:获取页面,我们用get发送请求,encoding是编码,apparent_encoding是页面编码获取的一种方式 response = ...
2018-08-07 17:19:46
398
原创 手写爬虫模拟登陆(无验证码)
框架用多了,都是别人写好的一些内容,最近想自己手写一份爬虫模拟登陆系统,手写有什么好处呢?可以让你更好的去理解爬虫系统.我用的linux系统,pycharm版本3.6,正文首先手写的你需要安装requests:pip3 install requests 我们以访问抽屉为例:https://dig.chouti.com/ 手写模拟登陆,首先我们得访问这个网站,获取cookie(未授权...
2018-08-07 14:36:27
337
原创 爬取静态页面分页内容
静态准备爬取静态页面分页知识,因为写博客现在目的是当笔记一样,当学过知识梳理一遍,如果有观众,不喜勿喷,不足之处可以多多指点 工具:python3.6 操作系统:linux 浏览器:谷歌浏览器创建项目1.在虚拟机黑屏终端找个合适位置创建项目:scrapy startproject Qidian 2.进入项目应用:cd Qdian 3.创建爬虫器:scrapy genspi...
2018-08-06 20:28:09
1347
原创 scrapy爬取起点小说网
闲来无事,在学习过程中练习用scrapy爬取起点小说名 工具:python3.6 操作系统:linux 浏览器:谷歌浏览器创建项目在黑屏终端创建一个项目:scrapy startproject Qidian 进入项目目录:cd Qidian 创建一个爬虫器:scrapy genspider qidian www.qidian.com/all (注意:这里域名不能带h...
2018-08-02 19:56:31
1990
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人