爬虫
文章平均质量分 94
_IsWdZh
这个作者很懒,什么都没留下…
展开
-
Python爬取煎蛋网的妹子图
煎蛋网其中有一个版面,全是好看的小姐姐。本着美女是学习的第一动力的原则,写个程序把小姐姐们都下载下来。 URL:http://jiandan.net/ooxx 程序结构 分析目标网页 提取目标信息 将图片写入文件夹 程序结构 程序主要由一下四个函数构成 def get_html(url) def download(html) def write_to...原创 2018-06-22 11:22:33 · 4458 阅读 · 0 评论 -
爬虫小说下载
爬虫即按照一定规则,自动的抓取万维网信息的程序或脚本。 URL requsets库和简单方法 小说下载 程序源码 URL 爬虫是根据网页的地址来寻找网页的,也就是URL(统一资源定位符) 其一般格式为: protocol :// hostname[:port] / path / [;parameters][?query]#fragment # protoco...原创 2018-06-18 11:48:22 · 780 阅读 · 0 评论 -
爬虫原理的解析
什么是爬虫 基本流程 什么是Request和Response Request中包含什么? Response中包含什么? 能抓怎样的数据 怎样来解析 抓到的数据和看到的不一样 怎样解决JavaScript渲染的问题 怎样保存数据 什么是爬虫 爬虫:即请求网站并提取数据的自动化程序。 基本流程 发起请求:通过HTTP库向目标站点发起请求,即发送一...原创 2018-06-14 18:56:47 · 281 阅读 · 0 评论