Python爬虫之request模块

最新推荐文章于 2023-12-19 17:52:46 发布
最新推荐文章于 2023-12-19 17:52:46 发布
阅读量652 收藏
点赞数
分类专栏： Python笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Narutolxy/article/details/105860950
版权

Python爬虫请求模块

urllib.request模块

python2 ：urllib2、urllib
python3 ：把urllib和urllib2合并,urllib.request

urllib.request.urlopen(“⽹址”)
作⽤ ：向⽹站发起⼀个请求并获取响应
字节流 = response.read()
字符串 = response.read().decode(“utf-8”)
urllib.request.Request"⽹址",headers=“字典”)
urlopen()不⽀持重构 User-Agent
read() 读取服务器响应的内容
getcode() 返回HTTP的响应码
geturl() 返回实际数据的URL(防⽌重定向问题)

import urllib.request

headers={
'Connection': 'keep-alive',
'Cookie': '_ga=GA1.2.1534949298.1588228249; _gat=1; UM_distinctid=171c9c7d7b194-0999c7998ea8b9-34594f7d-e1000-171c9c7d7b273d; CNZZDATA30085487=cnzz_eid%3D851745317-1588225928-null%26ntime%3D1588225928; HTTP_REFERER=www.baidu.com; Hm_lvt_b2e5ac9401b5820ffa4e9fa608593a5b=1588228250; Hm_lpvt_b2e5ac9401b5820ffa4e9fa608593a5b=1588228250',
'Host': 'book.km.com',
'Upgrade-Insecure-Requests': '1',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3722.400 QQBrowser/10.5.3751.400'
}
#1.创建请求对象
req = urllib.request.Request('http://book.km.com/',headers=headers)

#2.获取响应对象
response = urllib.request.urlopen(req)

#3.读取响应对象内容
html_con = response.read().decode('gbk')
#encode 字符串转换为bytes
#decode bytes转换为字符串
print(html_con)
使用流程:
1.利用Request()方法构建请求对象;
2.利用urlopen()方法获取响应对象;
3.利用响应对象中的read().decode('utf-8')的内容

urllib.parse模块

常⽤⽅法

urlencode(字典)

import urllib.parse

name = {'wd':'火影忍者'}
en_name = urllib.parse.urlencode(name)
print(en_name)
#wd=%E7%81%AB%E5%BD%B1%E5%BF%8D%E8%80%85

例子：

import urllib.parse
import urllib.request

#https://www.kuaikanmanhua.com/s/result/%E7%81%AB%E5%BD%B1%E5%BF%8D%E8%80%85

#str_name = input('请录入想搜素的动漫名字')
str_name = '飞驰人生'
str_base_url = 'https://www.kuaikanmanhua.com/s/result/'
dict_result = {'result':str_name}
dict_result = urllib.parse.urlencode(dict_result)
all_url = str_base_url+ dict_result

print(all_url)

headers = {
'cookie': 'nickname=%257F; sajssdk_2015_cross_new_user=1;' \
          ' Hm_lvt_c826b0776d05b85d834c5936296dc1d5=1588232406; ' \
          'kk_s_t=1588232406495; sensorsdata2015jssdkcross=' \
          '%7B%22distinct_id' \
          '%22%3A%22171ca073fc7a5c-0c7652610d3f8b-34594f7d-921600-171ca073fc84d9%22%2C%22' \
          'first_id%22%3A%22%22%2C%22props%22%3A%7B%22%24latest_traffic_source_type' \
          '%22%3A%22%E7%9B%B4%E6%8E%A5%E6%B5%81%E9%87%8F%22%2C%22%24latest_search_keyword' \
          '%22%3A%22%E6%9C%AA%E5%8F%96%E5%88%B0%E5%80%BC_%E7%9B%B4%E6%8E%A5%E6%89%93%E5%BC%80%22%2C%22%24latest_referrer' \
          '%22%3A%22%22%7D%2C%22%24device_id%22%3A%22171ca073fc7a5c-0c7652610d3f8b-34594f7d-921600-171ca073fc84d9%22%7D; ' \
          'Hm_lpvt_c826b0776d05b85d834c5936296dc1d5=1588232590',
'upgrade-insecure-requests': '1',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3722.400 QQBrowser/10.5.3751.400'
}

#1.创建请求对象
req = urllib.request.Request(all_url,headers=headers)

#2.获取响应对象
response = urllib.request.urlopen(req)

#3.读取响应对象内容
html = response.read().decode('utf-8')

print(html)

#4.写入文件
with open(str_name+'.html','w',encoding='utf-8') as f:
    f.write(html)

请求方式

get方式：查询参数在url地址中显示:

POST请求:
在Request函数添加data参数

req = urllib.request.Request(url,data=data,headers=headers)

注意:data数据必须转换为bytes类型提交

import urllib.parse
import urllib.request
import json

#有道翻译

url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400'
}

str_word = input('请输入您要翻译的内容:\n')

data = {
    'i': str_word,
    'from':  'AUTO',
    'to':  'AUTO',
    'smartresult': 'dict',
    'client': 'fanyideskweb',
    'salt': '15886863154849',
    'sign': 'a7c28b2eec9fadfe406e74c05463a0a0',
    'ts': '1588686315484',
    'bv': 'ec579abcd509567b8d56407a80835950',
    'doctype': 'json',
    'version': '2.1',
    'keyfrom': 'fanyi.web',
    'action':' FY_BY_REALTlME'
}

#使用urlencode()转换把字符串为URL类型，但要注意必须把data转化为bytes
data = urllib.parse.urlencode(data).encode('utf-8')
#data = bytes(data,'utf-8')

req = urllib.request.Request(url,data=data,headers=headers)
response = urllib.request.urlopen(req)
#print(response.read())
html = response.read().decode('utf-8')
#dict_html = dict(html) #ValueError: dictionary update sequence element #0 has length 1; 2 is required
dict_html = json.loads(html) #将json类型的字符串转换为字典
#print(dict_html) #{'type': 'ZH_CN2EN', 'errorCode': 0, 'elapsedTime': 1, 'translateResult': [[{'src': '飞机', 'tgt': 'The plane'}]]}
print('翻译的结果为:')
print(dict_html['translateResult'][0][0]['tgt'])

requests模块常用用法

requests模块get实例

import requests
#pip3 install requests

headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400'
}
url_serch = 'https://y.qq.com/download/download.js?'

response_s = requests.get(url_serch,headers=headers)
#print(response_s.text) # 返回一个unicode的str类型的数据
#print(response_s.content) # 返回一个字节流数据
response_s.encoding = 'utf-8' #指定编码格式
# print(response_s.content.decode('utf-8'))
print(response_s.url) # 返回url
print(response_s.text)

requests模块POST实例

#有道翻译requests post实例
import requests
import json


url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400'
}

#str_word = '你好'
str_word = input('请输入您要翻译的内容:\n')

data = {
    'i': str_word,
    'from':  'AUTO',
    'to':  'AUTO',
    'smartresult': 'dict',
    'client': 'fanyideskweb',
    'salt': '15886863154849',
    'sign': 'a7c28b2eec9fadfe406e74c05463a0a0',
    'ts': '1588686315484',
    'bv': 'ec579abcd509567b8d56407a80835950',
    'doctype': 'json',
    'version': '2.1',
    'keyfrom': 'fanyi.web',
    'action':' FY_BY_REALTlME'
}

#使用urlencode()转换把字符串为URL类型，但要注意必须把data转化为bytes
#data = urllib.parse.urlencode(data).encode('utf-8') #这里不用进行转换

response = requests.post(url,headers=headers,data=data)
response.encoding = 'utf-8'
#print(response.text)
dict_html = json.loads(response.text)
print('翻译的结果为:')
print(dict_html['translateResult'][0][0]['tgt'])

request设置代理

import requests

url = 'http://httpbin.org/ip'

request_s = requests.get(url)
print(request_s.text)
# {
#   "origin": "xxx.101.129.xxx"
# }

#代理网站：
# 西刺免费代理IP:
# https://www.xicidaili.com/

# 快代理:
# https://www.kuaidaili.com/free/

# 代理云:
# http://www.dailiyun.com/

#设置代理IP
proxy = {
    'http':'223.68.190.130:8181'
}

request_s = requests.get(url,proxies=proxy)
print(request_s.text)
# {
#   "origin": "223.68.190.130"
# }

cookie

cookie ：通过在客户端记录的信息确定⽤户身份。（反爬）
HTTP是⼀种⽆连接协议,客户端和服务器交互仅仅限于 请求/响应过程,结束后断开,下⼀次请求时,服务器会认为是⼀个新的客户端,为了维护他们之间的连接,让服务器知道这是前⼀个⽤户发起的请求,必须在⼀个地⽅保存客户端信息(就是cookie)。

session

session ：通过在服务端记录的信息确定⽤户身份 这⾥这个session就是⼀个指的是会话.

import requests
import json
#目标
# {result_message: "验证码校验成功", result_code: "4"}



# 1.获取12306登录图片
def get12306_pic(req):
    print('login print log')
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400',
        'Host': 'kyfw.12306.cn'
    }

    #url_re_image = 'https://kyfw.12306.cn/passport/captcha/captcha-image?login_site=E&module=login'
    url_re_image = 'https://kyfw.12306.cn/passport/captcha/captcha-image?login_site=E&module=login'
    pic_response = req.post(url_re_image,headers=headers)
    #pic_response.encoding = 'utf-8'
    print('print log')
    print(pic_response.status_code)

    with open('picture12306.png','wb') as f:
        f.write(pic_response.content)

def post_pic_data(req):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400',
        'Host': 'kyfw.12306.cn'
    }

    codeStr = input('请输入验证码坐标:')

    url = 'https://kyfw.12306.cn/passport/captcha/captcha-check'
    data = {
        'answer': codeStr,
        'rand': 'sjrand',
        'login_site': 'E'
    }

    response = req.post(url, data=data, headers=headers)
    response.encoding = 'utf-8'
    print(response.text)

    return codeStr

def login(req,codeStr):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400',
        'Host': 'kyfw.12306.cn',
        'Origin': 'https://kyfw.12306.cn',
        'Cookie':'_passport_ct=f5ef22f598bb4c4a8fbcb4a678043164t9699; _passport_session=05706b8dc52a4fe2812c5b50f6f75b7d3485; BIGipServerpassport=870842634.50215.0000; RAIL_EXPIRATION=1589113745971; RAIL_DEVICEID=DKBT_G74qXb-tbP19-55WHMutkmzYqNrU7Xbkl0LDUr7aPrMo2fTpYb-0_Awaez51rY64B3vUkEUYwXyQJTcNxmAa89Wwb7kI1_LUsGGksYAZO7uC4_lu3evIY3dT82mwCUT5fGJ5IooZbrytsA3tyLj14f53LrX; route=495c805987d0f5c8c84b14f60212447d; BIGipServerotn=451936778.64545.0000; BIGipServerpool_passport=384631306.50215.0000; _jc_save_toStation=%u4E0A%u6D77%2CSHH; _jc_save_toDate=2020-05-07; _jc_save_wfdc_flag=dc; _jc_save_fromStation=%u5E7F%u5DDE%2CGZQ; _jc_save_fromDate=2020-05-08; BIGipServerportal=2949906698.16671.0000'
    }
    username = input('请输入用户名:')
    password = input('请输入密码:')

    url = 'https://kyfw.12306.cn/passport/web/login'
    data = {
        'answer': codeStr,
        'username': username,
        'password': password
    }

    response = req.post(url,data=data,headers=headers)
    response.encoding = 'utf-8'
    print(response.text)


if __name__ == '__main__':
    req = requests.session()
    get12306_pic(req)
    codeStr = post_pic_data(req)
    login(req, codeStr)

SSL

什么是SSL证书？
SSL证书是数字证书的⼀种，类似于驾驶证、护照和营业执照的电⼦副本。因为配置在服务器上，也称为SSL服务器证书。SSL 证书就是遵守 SSL协议，由受信任的数字证书颁发机构CA，在验证服务器身份后颁发，具有服务器身份验证和数据传输加密功能

import requests
url = 'https://inv-veri.chinatax.gov.cn/'
#res = requests.get(url) #报错如下

#由于访问的网站是一个不被信任的网站，导致出现证书认证失败
#requests.exceptions.SSLError: HTTPSConnectionPool(host='inv-veri.chinatax.gov.cn', port=443):
# Max retries exceeded with url: / (Caused by SSLError(SSLCertVerificationError(1,
# '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed:
# self signed certificate in certificate chain (_ssl.c:1108)')))

#解决方法
res = requests.get(url,verify=False)
print(res.status_code)
Narutolxy
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
python爬虫开发之Request模块从安装到详细使用方法与实例全解
12-20
python爬虫模块Request的安装 在cmd中，使用如下指令安装requests： pip install requests python爬虫模块Request快速上手 Requests 已安装 Requests 是最新的 Request模块发送请求 使用 Requests 发送网络请求非常简单。 一开始要导入 Requests 模块： >>> import requests 然后，尝试获取某个网页。本例子中，我们来获取 Github 的公共时间线： >>> r = requests.get('https://api.github.com/events') 现在，我们有一个名
Python-爬虫（一）--urllib库使用，爬取拉勾网数据
姑苏
07-14 2153
一：简介 urllib库是python中最基本的网络请求库，可以模拟浏览器的行为，向指定服务器发送一个请求，并保存服务器返回的数据。 二：urlopen函数 在pyhon3的urllib库中，所有的网络请求相关的方法，都被集中到urllib.request模块下。 函数原型如下：urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, con...
Python-爬虫（三）requests库的使用
姑苏
07-23 5092
什么是Requests Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库。与urllib相比，Requests更加方便，可以节约我们大量的工作，建议爬虫使用Requests库。 主要使用 import requests response= requests.get("http://www.baidu.com") #response.text是经过解码之后的内容，但是解码的格式不一定是我们需要的，如下内容会出现乱码 print(
python实现自定义搜索内容的天眼查爬虫
m0_49710816的博客
09-27 4365
声明：爬虫技术话题比较敏感，本文仅作技术交流，不得用作任何非法途径 用python实现一个简单的小爬虫，可以把你输入的文本作为关键字，向天眼查发起请求，得到返回的页面，然后清洗网页，得到数据，存储在本地。比如我最近有个需求，查询某市注册资本超过500w的教培公司名称、数量、地址。示例只做了简单的反爬，配置了一下headers参数，修改cookie参数即可使用。 这是代码运行效果 使用前需要配置requests库和BeautifulSoup库 代码注释的很详细，就不赘述了，直接上代码，拿来吧你！！！ 定义请
python 爬虫请求模块requests详解
12-16
requests 相比urllib，第三方库requests更加简单人性化，是爬虫工作中常用的库 requests安装 初级爬虫的开始主要是使用requests模块 安装requests模块： Windows系统： cmd中： pip install requests mac系统中： 终端中： pip3 install requests requests库的基本使用 import requests url = 'https://www.csdn.net/' reponse = requests.get(url) #返回unicode格式的数据(str) print(reponse.tex
爬虫学习笔记
Sky_小天
07-11 2646
视频教程的老师很棒，学到很多，偏实战，很适合有编程基础的同学学习
【Python网络蜘蛛 · 6】：明文和密文的转换、json模块的使用、jsonpath模块的使用（附源代码）
Oh_Python的博客
03-03 4239
一、明文和密文的转换 1、什么是明文密文？ 例如百度搜索，将查找的网址复制下来 然后粘贴到pycharm 2、明文和密文之间的转换 导入的模块：from urllib.parse import quote, unquote quote()：将明文转为密文，将字符串编码转换成%xx%xx的形式 unquote()：将密文转为明文 代码演示如下： 二、json模块的使用 1、什么是json？ json本质是字符串 2、josn中字符串和字典的转换 json.l....
抓取一嗨租车
Gscsd的博客
01-12 1217
一、分析网站 抓取网站的主页：https://booking.1hai.cn/?from=Nav&IsBatch=false 需要选择参数，取车门店、时间等等，不选参数的话，默认的请求对我们没用，通过变更参数才能知道网站是否破解成功 具体分析抓包和请求在代码中会体现出来 二、代码 import requests import datetime import random import math import re from lxml.html im...
探索http原理，使用C++基于socket自实现http
lkun2002的博客
09-07 2480
基于socket自实现http
python 爬虫必备工具箱之----cookies参数一键转换
qq_41236493的博客
07-22 1346
爬虫就是模拟客服端发送请求，如果网页需要登陆，cookies是模拟发送请求的重要参数之一。不过我们用工具抓到的cookies不是字典类型，如下图。 抓包cookie 平常都需要手动一条一条的添加到我们的代码中，接下来介绍一种方法能将网络抓取到的cookies一键转换成字典形式的cookies cookie = '''__yadk_uid=6HE...
python网络爬虫入门之request.Request
12-22
python网络爬虫入门之request.Request urllib.request.Request 作用 创建请求对象，重新构造User-Agent(使其更像是人类正常点击) 什么是User-Agent该如何设置 1.当我们向网站发送请求时所传递的信息见下图(也是反爬的一种) 2.在网页里搜索user-Agent大全里面很多 参数 1.URL:所要请求的URL地址 2.headers:请求头 使用流程 1.构造请求对象(重新构造User-Agent) 2.发送请求获取响应对象(urlopen) 3.获取响应对象内容 代码实现 #导入模块 from urllib import re
Python面试题之爬虫（基础模块）
01-21
1. 列举您使用过的Python网络爬虫所用到的网络数据包 requests urllib urllib2 Python自带：urllib、urllib2，第三方：requests 2. 谈谈他们的区别或者优缺点 urllib和urllib2模块都做与请求URL相关的操作，但他们...
某氪登录和网页数据解密流程
2301_79445611的博客
10-15 9489
舒适的逆向
爬虫项目3
weixin_44595372的博客
03-12 460
from urllib import request from urllib.parse import urlencode import requests import re from bs4 import BeautifulSoup import csv proxy={'http':'210.22.176.146'} proxy_support=request.ProxyHandler(pro...
不一样的获取数据方式——爬虫学习（3）
打代码的小明的博客
03-21 629
不一样的获取数据方式——爬虫学习（1） 不一样的获取数据方式——爬虫学习（2） 之前在学习爬虫的时候，有些网站发送请求会被拒绝，所以需要把程序伪装成浏览器，除了在请求头加上user-agent之外常见的还有cookie，防盗链，代理等操作 目录1 处理cookie1.1 知识点1.2 例子2 防盗链3 代理4 提高爬虫速度4.1 多线程 1 处理cookie 1.1 知识点 在爬虫的时候，有些网站需要先登录才能查看内容，而浏览器记录登录就是通过cookie实现的。所以在遇到需要登录的情况时就要先登录一下得到
Python之JavaScript逆向系列——通过IP代理高频获取全篇小说
最新发布
红目香薰
12-19 1万+
Python之JavaScript逆向系列——通过IP代理高频获取全篇小说
使用requests库用cookie登录简书账号
w_lo__o的博客
07-31 1593
Python网络爬虫与信息提取 使用python的requests库，就是跳过浏览器直接用脚本去访问服务器； 首先我们要知道服务器的url，然后先用浏览器模拟访问该url，获取浏览器的信息（user-agent）和cookie进行重置request_header "cookie": "read_mode=day; default_font=font2; locale=z...
python爬虫之request库的使用（友好版）
关于自己学习笔记哟
05-23 6311
1，Requests是一个Python中的HTTP库，用于向Web服务器发送HTTP请求并获取响应。Requests库的使用方式与urllib库类似，但更加简单和灵活。Requests库支持HTTPS请求，并且可以自动处理cookies和会话，使得操作更加方便。简单易用：Requests库的使用方式简单明了，可以很容易地编写出高效、可靠的HTTP请求。自动处理cookies和会话：Requests库可以自动处理cookies和会话，使得在处理Web服务器时更加方便和安全。
Scrapy模拟登录小记
Narutolxy的博客
07-07 982
Scrapy登录方式 方式一：直接携带cookie 方式二：找到发送post请求的URL地址，带上信息，发送请求 人人练习 创建爬虫项目 scrapy startproject renren renrenlogin.py # -*- coding: utf-8 -*- import scrapy from ..settings import DEFAULT_REQUEST_HEADERS class RenrenloginSpider(scrapy.Spider): name = 're
python爬虫模块
09-03
- *1* *3* [爬虫基础（三）——python爬虫常用模块](https://blog.csdn.net/weixin_46310648/article/details/119211953)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Narutolxy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值