Python爬虫
文章平均质量分 57
Python爬虫
Effortzjw
这个作者很懒,什么都没留下…
展开
-
Python爬虫—bs4的基本用法
安装:pip3 install bs4基本用法:import bs4from bs4 import BeautifulSoupimport bs4from bs4 import BeautifulSouphtml_doc = """<html><head><title>The Dormouse's story</title></head><body><p class="title"><b&g原创 2021-04-27 17:33:38 · 520 阅读 · 2 评论 -
Python爬虫—requests的基本用法
requests 是python实现的简单易用的HTTP库,使用起来比urllib简洁很多安装:pip3 install requests基本用法:import requestsGET请求:r = requests.get('http://httpbin.org/get')print('GET请求:',r.text)POST请求:r = requests.post('http://httpbin.org/post',data={'name':'张三'})print('POS.原创 2021-03-04 17:17:54 · 423 阅读 · 1 评论 -
Python爬虫—curl的基本用法
curl 是常用的命令行工具,用来请求 Web 服务器。它的名字就是客户端(client)的 URL 工具的意思。它的功能非常强大,命令行参数多达几十种。如果熟练的话,完全可以取代 Postman 这一类的图形界面工具。参数说明示例-A设置user-agentcurl -A “chrome” https://www.baidu.com-X用指定方法请求curl -X POST http://httpbin.org/post-I只返回请求的头信息curl .原创 2020-09-11 14:40:40 · 927 阅读 · 0 评论 -
Python爬虫—wget的基本用法
wgetLinux wget是一个下载文件的工具,它用在命令行下。对于Linux用户是必不可少的工具,尤其对于网络管理员,经常要下载一些软件或从远程服务器恢复备份到本地服务器。如果我们使用虚拟主机,处理这样的事务我们只能先从远程服务器下载到我们电脑磁盘,然后再用ftp工具上传到服务器。这样既浪费时间又浪费精力,那不没办法的事。而到了Linux VPS,它则可以直接下载到服务器而不用经过上传这一步。wget工具体积小但功能完善,它支持断点下载功能,同时支持FTP和HTTP下载方式,支持代理服务器和设置起来原创 2020-11-19 11:32:51 · 2577 阅读 · 0 评论