![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
我是一只妖精
没有记录就没有成长
展开
-
【python】【爬虫】妖精的爬虫学习之路——基础入门
一.基本原理 爬虫即网络爬虫,英文是Web Spider。翻译过来就是网络上爬行的蜘蛛,如果把互联网看作一张大网,那么爬虫就是在大网上爬来爬去的蜘蛛,碰到想要的食物,就把他抓取出来。 我们在浏览器中输入一个网址,敲击回车,看到网站的页面信息。这就是浏览器请求了网站的服务器,获取到网络资源。那么,爬虫也相当于模拟浏览器发送请求,获得到HTML代码。HTML代码里通常包含了标签和文字信息,我们就从中提...原创 2019-03-13 17:50:49 · 359 阅读 · 0 评论 -
【python】【爬虫】妖精的爬虫学习之路——用requests下载百度图片
import requests import os def getPages(keyword,pages): params = [] for i in range(0, pages*30 + 30, 30): params.append({ 'tn': 'resultjson_com', ...原创 2019-04-01 22:40:08 · 193 阅读 · 0 评论 -
【python】【爬虫】妖精的爬虫学习之路——scrapy入门
创建项目: 在要放代码的位置,输入 scrapy startproject [ProjectName] 项目结构如下:原创 2019-04-27 14:39:18 · 162 阅读 · 0 评论