python爬虫requests库函数简单使用

Requests库

requests库的7个主要方法

requests.request()----- 构造一个请求,支撑以下各方法的基础方法
requests.get()----- 获取HTML网页的主要方法,对应于HTTP的GET方法
requests.head()----- 获取HTML网页头信息的方法,对应于HTTP的HEAD方法
requests.post()----- 向HTML页面提交POST请求的方法,对应于HTTP的POST
requests.put()-----向HTML页面提交PUT请求的方法,对应于HTTP的PUT
requests.patch()------向HTML页面提交布局修改请求,对应于HTTP的PATCH
requests.delete()------向HTML页面提交删除请求,对应于HTTP的DELETE

get方法

requests.get(url,params=None,**kwargs)

url:拟获取页面的url链接
params:url中的额外参数,字典或字节流格式,可选
**kwargs:12个控制访问的参数

爬取网页的通用代码框架

import requests
def getHTMLText(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status() #如果状态码不是200,引发HTTPError异常
        r.encoding = r.apparent_enconding
        return r.text
    except:
        return "产生异常"
if __name__ == "__main__":
    url = "http://www.baidu.com"
    print(getHTMLText(url))

HTTP协议以及Requests库的方法

HTTP协议

URL格式 : http://host[:port][path]

host:合法的Internet主机域名或IP地址
port:端口号,缺省端口为80
path:请求资源的路径

HTTP URL的理解

URL是通过HTTP协议存储资源的Internet路径,一个URL对应一个数据资源

爬虫实例

爬取京东商品页面

# !/usr/bin/env python
# -*- coding:utf-8 -*-
# author: jeyson
import requests
url = "https://item.jd.com/2967929.html"
try:
    r = requests.get(url)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[:1000])
except:
    print("爬取失败")
    

亚马逊商品页面爬取

import requests
url = "https://www.amazon.cn/gp/product/B01MBL5Z3Y"
try:
    kv = {'user-agent':'Mozilla/5.0'}
    r = requests.get(url,headers=kv)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[1000:2000])
except:
    print("爬取失败")

百度搜索全代码

import requests
keyword = "python"
try:
    kv = {'wd':keyword}
    r = requests.get("http://www.baidu.com/s",params=kv)
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))
except:
    print("爬取失败")

网络图片的爬取和存储

import requests
import os
url = "http;//image.nationalgeographic.com.cn/2017/0211/20170211061910157.jpg"
root = "D;//python-learn//"
path = root + url.split('/')[-1]
try:
    if not os.path.exists(root):
        os.mkdir(root)
    if not os.path.exists(path):
        r = requests.get(url)
        with open(path,'wb') as f:
            f.write(r.content)
            f.close()
            print("文件已保存")
    else:
        print("文件已保存")
except:
    print("爬取失败")

ip地址归属地的自动查询

import requests
url = "http://m.ip138.com/ip.asp?ip="
try:
    r = requests.get(url+'202.204.80.112')
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[-500:])
except:
    print("爬取失败")

get方法使用header

import requests
url = "  "
header = {
    'user-agent':'   '
}

r = requests.get(url, headers=header)

print(r.text)

#淘宝首页爬取

# 爬虫小模版
# !/usr/bin/env python
#-*- coding:utf-8 -*-
#author: jeyson

import requests
r = requests.get("http://www.taobao.com")
demo = r.text
from bs4 import BeautifulSoup
soup = BeautifulSoup(demo,"html.parser")
print(soup.prettify())

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值