Python爬虫
文章平均质量分 58
星空路途
这个作者很懒,什么都没留下…
展开
-
爬虫库的基本使用(3)
request库 --第三方库Requests是用python语言编写的,基于urllib,但是它比urllib更加方便,可以节约我们大量的工作,完全满足HTTP测试需求。#安装requestspip install requests基本使用发送get请求:resp=requests.get('http://www.baidu.com')import requests#添加headers和查询参数headers={'User-Agent': 'Mozilla/5.0 (Windows原创 2021-01-28 15:45:09 · 152 阅读 · 1 评论 -
爬虫基本库的使用(2)
CookieCookie:指某些网站为了辨别用户身份,进行session跟踪而储存在用户本地终端上的数据。cookie的格式:Set-Cookie:NAME=VALUE;Expires/Max-age=DATE;Path=PATH;Domain=DOMAIN_NAME;SECURE参数的含义:NAME:cookie的名字VALUE:cookie的值Expires:cookie的过期时间Path:cookie作用的路径Domain:cookie作用的域名SECURE:是否只在https协原创 2021-01-27 19:32:27 · 87 阅读 · 0 评论 -
爬虫基本库的使用
urllib库urllib库是python中一个最基本的网络请求库。可以模拟浏览器的行为,向指定的服务器发送一个请求,并可以保存服务器返回的数据。(python标准库)urlopen函数在python3的urllib库中,所有和网络请求相关的方法,都被集到urllib.request模块中:from urllib import requestresp=request.urlopen("http:www.baidu.com")print(resp.read())urlopen函数详解创建一个原创 2021-01-22 17:53:05 · 202 阅读 · 1 评论 -
爬虫基础
爬虫介绍通俗的讲:爬虫是一个模拟人类请求网站行为的程序。可以自动请求网页、并把数据抓取下来,然后使用一定的规则提取有价值的数据。爬虫应用场景:搜索引擎(百度或谷歌等)伯乐在线。惠惠购物助手。数据分析。抢票软件等。爬虫开发工具安装安装Python:下载地址:https://www.python.org/或者使用Anaconda:https://www.anaconda.com/哪个软件无所谓,只要是Python3.6以上的版本就可以了。安装Pycharm:Pycharm Com原创 2021-01-17 17:03:16 · 606 阅读 · 0 评论