爬虫
技术搬砖工
技术搬砖工交流微信: monky2020
展开
-
Python爬虫利器一之Requests库的用法
Python爬虫利器一之Requests库的用法 前言 之前我们用了 urllib 库,这个作为入门的工具还是不错的,对了解一些爬虫的基本理念,掌握爬虫爬取的流程有所帮助。入门之后,我们就需要学习一些更加高级的内容和工具来方便我们的爬取。那么这一节来简单介绍一下 requests 库的基本用法。 注:Python 版本依然基于 2.7 官方文档 以下内容大多来自于转载 2017-09-17 21:53:58 · 387 阅读 · 0 评论 -
爬虫技能
爬虫技能: 1.初见爬虫 浅析HTTP协议 Requests库的7个主要的方法 【requests,requests.get,requests.head,requests.post,requests.put,requests.patch,requests.delete】 2.Robots协议 【User-Agent,Disallow,URL,ALLOW,Sitemap】原创 2017-10-18 00:14:23 · 666 阅读 · 0 评论 -
使用urlconnection下载文件或图片并保存到本地
import java.io.FileOutputStream; import java.io.InputStream; import java.io.OutputStream; import java.net.URL; import java.net.URLConnection; /** * 使用URLConnection下载文件或图片并保存到本地转载 2018-02-05 13:52:21 · 307 阅读 · 0 评论