python 自（3）1使用urlencode多个参数请求使用 2百度翻译post请求post无法添加路径 3百度翻译全部数据获取 4豆瓣get请

已于 2023-09-21 11:45:24 修改
阅读量1.3k 收藏
点赞数
分类专栏： python 文章标签： python 开发语言
于 2023-09-15 21:06:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_68266812/article/details/132907346
版权

1  使用urlencode  多个参数请求使用 

# 使用urlencode  多个参数请求使用
# https://www.baidu.com/s?wd=周杰伦&sex=男  网页
import urllib.request
import urllib.parse

base_url = 'https://www.baidu.com/s?'

data = {
    'wd': '周杰伦',
    'sex': '男',
    'sing':'歌曲'
}

new_data = urllib.parse.urlencode(data)

url = base_url + new_data

headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.82 Safari/537.36 Edg/116.0.0.0"}

request = urllib.request.Request(url=url, headers=headers)
#
# 模拟服务器发送请求
response = urllib.request.urlopen(request)

# 读取html页面数据 获取相应源码
content = response.read().decode("utf8")
print(content)

2  百度翻译post请求    post无法添加路径 

request = urllib.request.Request(url=url, headers=headers, data=data)

# 百度翻译  post请求
# 引入
import urllib.request
# 路径 在浏览器 F12找到 对应自己需要的路径
url = 'https://fanyi.baidu.com/sug'
# 请求头
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.82 Safari/537.36 Edg/116.0.0.0"}
# data
data = {
    'kw': 'spider'
}
# 转换data数据  在转换成utf-8格式
data = urllib.parse.urlencode(data).encode('utf-8')
# 防止反爬 post无法拼接路径  所有只能在 requst中定义  定义数据
request = urllib.request.Request(url=url, headers=headers, data=data)

# 模拟服务器发送请求
response = urllib.request.urlopen(request)

# 读取html页面数据 获取相应源码
content = response.read().decode("utf-8")
# 引入
import json
# 字符串转换成json
obj = json.loads(content)

print(obj)

3  百度翻译全部数据获取

# 百度翻译全部数据
import urllib.request
import urllib.parse

# 找到全部数据的路径
url = 'https://fanyi.baidu.com/v2transapi?from=en&to=zh'
# 请求头  换成了cookie
headers = {"Cookie":"BIDUPSID=359429789B4E589B318E621011F98A01; PSTM=1642150308; __yjs_duid=1_509dd28c4aec6cb726c25a04881a2a151640083333034; BDUSS=lxa25GVFZQZ0RmYUJHRnp2eERudWJ6eVBiOTE0VmJVVllJdXlKY0QzYkowaDVpRVFBQUFBJCQAAAAAAAAAAAEAAADMN6iOb8rFyKW1xLCuAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAMlF92HJRfdhVX; BDUSS_BFESS=lxa25GVFZQZ0RmYUJHRnp2eERudWJ6eVBiOTE0VmJVVllJdXlKY0QzYkowaDVpRVFBQUFBJCQAAAAAAAAAAAEAAADMN6iOb8rFyKW1xLCuAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAMlF92HJRfdhVX; REALTIME_TRANS_SWITCH=1; HISTORY_SWITCH=1; FANYI_WORD_SWITCH=1; SOUND_SPD_SWITCH=1; SOUND_PREFER_SWITCH=1; H_WISE_SIDS=219946_234020_131862_216850_213356_214798_219942_213030_110085_243885_244478_244720_240590_245600_248174_247146_256083_254833_256348_256739_254317_257586_255230_257995_258723_258838_258984_258958_230288_256222_259708_258773_234295_234208_257262_259643_255910_254300_260278_256230_260356_260364_253022_255212_258081_260330_260352_251786_260805_260836_259408_259300_259422_259584_260717_261043_261028_261116_258578_261664_261471_261712_261629_261863_262052_262067_259033_262184_262165_262226_262229_261410_262263_260441_259403_236312_262487_262296_262452_261869_262621_262608_262606_262597_249410_259518_259944_262775_262743_262747_262906_263074_256999_263203_262987_262282_253901_263301_263278_243615_261683_261620_259447_263416_245653_263549_257289_8000083_8000126_8000142_8000150_8000156_8000164_8000171_8000177_8000195_8000203; H_WISE_SIDS_BFESS=219946_234020_131862_216850_213356_214798_219942_213030_110085_243885_244478_244720_240590_245600_248174_247146_256083_254833_256348_256739_254317_257586_255230_257995_258723_258838_258984_258958_230288_256222_259708_258773_234295_234208_257262_259643_255910_254300_260278_256230_260356_260364_253022_255212_258081_260330_260352_251786_260805_260836_259408_259300_259422_259584_260717_261043_261028_261116_258578_261664_261471_261712_261629_261863_262052_262067_259033_262184_262165_262226_262229_261410_262263_260441_259403_236312_262487_262296_262452_261869_262621_262608_262606_262597_249410_259518_259944_262775_262743_262747_262906_263074_256999_263203_262987_262282_253901_263301_263278_243615_261683_261620_259447_263416_245653_263549_257289_8000083_8000126_8000142_8000150_8000156_8000164_8000171_8000177_8000195_8000203; MCITY=-53%3A; BAIDUID=4FA510A05410004B33EF51007DA08923:FG=1; BA_HECTOR=01852k8h2704a48h24058g8i1ig851k1p; ZFY=OyVrCDKol7NbNTbKUbw885OfM9tG9YDHAVQiqBjirHg:C; BAIDUID_BFESS=4FA510A05410004B33EF51007DA08923:FG=1; delPer=0; PSINO=1; BDRCVFR[dG2JNJb_ajR]=mk3SLVN4HKm; BDRCVFR[C0sZzZJZb70]=mk3SLVN4HKm; H_PS_PSSID=; BDORZ=FFFB88E999055A3F8A630C64834BD6D0; BCLID=6775486379151272863; BCLID_BFESS=6775486379151272863; BDSFRCVID=S-FOJexroG0ZmSbq3aoeqaaMUuweG7bTDYrEOwXPsp3LGJLVFakFEG0Pts1-dEu-S2OOogKKLeOTHGCF_2uxOjjg8UtVJeC6EG0Ptf8g0M5; BDSFRCVID_BFESS=S-FOJexroG0ZmSbq3aoeqaaMUuweG7bTDYrEOwXPsp3LGJLVFakFEG0Pts1-dEu-S2OOogKKLeOTHGCF_2uxOjjg8UtVJeC6EG0Ptf8g0M5; H_BDCLCKID_SF=tRAOoC_-tDvDqTrP-trf5DCShUFsttLjB2Q-XPoO3KJADfOPKjbHhn_L-fQuLRQf5mkf3fbgy4op8P3y0bb2DUA1y4vp0toW3eTxoUJ2-KDVeh5Gqq-KXU4ebPRiWPQ9Qgbx5hQ7tt5W8ncFbT7l5hKpbt-q0x-jLTnhVn0MBCK0hD89DjKKD6PVKgTa54cbb4o2WbCQL56P8pcN2b5oQT8lhJbab6JKaKTD3RjzQ45beq06-lOUWJDkXpJvQnJjt2JxaqRC3JjOsl5jDh3MKToDb-oteltHB2Oy0hvcBn5cShnjLUjrDRLbXU6BK5vPbNcZ0l8K3l02V-bIe-t2XjQh-p52f6_JtRIf3f; H_BDCLCKID_SF_BFESS=tRAOoC_-tDvDqTrP-trf5DCShUFsttLjB2Q-XPoO3KJADfOPKjbHhn_L-fQuLRQf5mkf3fbgy4op8P3y0bb2DUA1y4vp0toW3eTxoUJ2-KDVeh5Gqq-KXU4ebPRiWPQ9Qgbx5hQ7tt5W8ncFbT7l5hKpbt-q0x-jLTnhVn0MBCK0hD89DjKKD6PVKgTa54cbb4o2WbCQL56P8pcN2b5oQT8lhJbab6JKaKTD3RjzQ45beq06-lOUWJDkXpJvQnJjt2JxaqRC3JjOsl5jDh3MKToDb-oteltHB2Oy0hvcBn5cShnjLUjrDRLbXU6BK5vPbNcZ0l8K3l02V-bIe-t2XjQh-p52f6_JtRIf3f; APPGUIDE_10_6_2=1; Hm_lvt_64ecd82404c51e03dc91cb9e8c025574=1694776408; Hm_lpvt_64ecd82404c51e03dc91cb9e8c025574=1694777058; ab_sr=1.0.1_ZWNmZjBlMjY0OWYyNjA1ZTYxNDRhZTI2NjIyNmJjOTcwZGE5ZjU3OTQ1Yjg3ZDFlMTgyNDM1MDczOTgwMmE4YWIwMGE1NmM5NjliNzAzY2YwYmE1MDkwY2M5YjYzODdiOWY2N2Y1OGRjNmRkODdkOTc5MTVhY2YxNjQxMTA1ZjZlMDNiYjVlMDQxNWNhNzk2OGY0NjM0OGM3YjBiYzc5ODQzZmY1N2IwYTA3MzQ0Njg2ZTYyYWFjY2RkYTNlYTUy"}
# data  在foom data找到全部数据添加
data = {
    "from": "en",
"to": "zh",
"query": "spider",
"transtype": "realtime",
"simple_means_flag": "3",
"sign": "63766.268839",
"token": "3dfdea119e17b74fb8fad08c2071a657",
"domain": "common",
"ts":" 1694777076331"
}

data = urllib.parse.urlencode(data).encode('utf-8')
# 防止反爬 post无法拼接路径  所有只能在 requst中定义
request = urllib.request.Request(url=url, headers=headers, data=data)

# 模拟服务器发送请求
response = urllib.request.urlopen(request)

# 读取html页面数据 获取相应源码
content = response.read().decode("utf-8")
# 引入
import json
# 字符串转换成json
obj = json.loads(content)

print(obj)

4  豆瓣get请求 第一页


import urllib.request

url = 'https://movie.douban.com/chart'
headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.82 Safari/537.36 Edg/116.0.0.0"}

# 防止反爬
request = urllib.request.Request(url=url, headers=headers)

# 模拟服务器发送请求
response = urllib.request.urlopen(request)

# 读取html页面数据 获取相应源码
content = response.read().decode("utf-8")

fp = open('douban.json', 'w', encoding='utf-8')
fp.write(content)

5. get豆瓣请求多页数据下载


# https://movie.douban.com/top250?start=0&filter=


# https://movie.douban.com/top250?start=25&filter=



# https://movie.douban.com/review/best/?start=0

# https://movie.douban.com/review/best?start=20

# 引入
import urllib.parse
import urllib.request

# 定义第一个方法 定义page路径
def  create_request(page):
    # 前边一样不变的路径
    base_url = "https://movie.douban.com/top250?"

    # 定义后边不太一样的路径 
    data ={
    'start' :( page - 1 )*10,  #定义页数
     'limit':25                #每页个数
     }
    
    # 转换data路径编码
    data = urllib.parse.urlencode(data)

    # 拼接打印路径  base_url +data 成一个完整路径
    url = base_url +data
    print(url)

    # 请求头
    headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.82 Safari/537.36 Edg/116.0.0.0"}

    # 防止反扒 特定
    request = urllib.request.Request(url=url,headers=headers)
    # 返回 request
    return  request

# # 定义第二个方法 定义get_conten  请求数据
def get_conten(request):
    # 模拟服务器发送请求
    response = urllib.request.urlopen(request)
    # 读取html页面数据 获取相应源码
    content = response.read().decode('utf_8')
    return  content

# # 定义第二个方法 定义down_load 下载
def down_load(page,content): # 获取 page页码 
    # 拼接下载路径  以及下载格式
    with open('doban'+ str(page) +'.json','w',encoding='utf-8')as fp:
        fp.write(content)


if __name__ == '__main__':
    start_page = int(input('开始页码'))
    end_page = int(input('结束页码'))
    # 遍历
    for page in range(start_page,end_page+1):
        # request =  定义page路径
        request = create_request(page)
        # content =  定义请求方法
        content = get_conten(request)
        # 下载
        down_load(page,content)

6.必胜客多页下载    和post差不多轻微改动

# post 请求

# http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname
# cname: 北京
# pid:
# pageIndex: 1
# pageSize: 10

# http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname
# cname: 北京
# pid:
# pageSize: 10
# 引入
import urllib.parse
import urllib.request

# 定义第一个方法 定义page路径
def  create_request(page):
    # 前边一样不变的路径
    base_url = "http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname"

    # 定义后边不太一样的路径
    data ={
        "cname": "北京",
        "pid":'',
        "pageIndex": 1,
        "pageSize": 10
     }

    # 转换data路径编码
    data = urllib.parse.urlencode(data).encode('utf-8')

    # # 拼接打印路径  base_url +data 成一个完整路径
    # url = base_url +data
    # print(url)

    # 请求头
    headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.82 Safari/537.36 Edg/116.0.0.0"}

    # 防止反扒 特定
    request = urllib.request.Request(url=base_url,headers=headers,data=data)
    # 返回 request
    return  request

# # 定义第二个方法 定义get_conten  请求数据
def get_conten(request):
    # 模拟服务器发送请求
    response = urllib.request.urlopen(request)
    # 读取html页面数据 获取相应源码
    content = response.read().decode('utf_8')
    return  content

# # 定义第二个方法 定义down_load 下载
def down_load(page,content): # 获取 page页码
    # 拼接下载路径  以及下载格式
    with open('dobassn'+ str(page) +'.json','w',encoding='utf-8')as fp:
        fp.write(content)


if __name__ == '__main__':
    start_page = int(input('开始页码'))
    end_page = int(input('结束页码'))
    # 遍历
    for page in range(start_page,end_page+1):
        # request =  定义page路径
        request = create_request(page)
        # content =  定义请求方法
        content = get_conten(request)
        # 下载
        down_load(page,content)

 

7.urllib异常报错反馈


import urllib.request
# HTTPError 报错
# url = "https://blog.csdn.net/leva345/article/details/132907839?spm=1000.2115.3001.6382&utm_medium=distribute.pc_feed_v2.none-task-blog-yuanlijihua_tag_v1-2-132907839-null-null.pc_personrec&depth_1-utm_source=distribute.pc_feed_v2.none-task-blog-yuanlijihua_tag_v1-2-132907839-null-null.pc_personrec"

# URLError 报错
url = "https://www.goudan.com"

# 请求头
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.82 Safari/537.36 Edg/116.0.0.0"
 }

# 判断 不太状态返回报错  也可以防止反爬
try:
    # 定制
    request = urllib.request.Request(url=url,headers=headers)
    # 模拟请求
    response = urllib.request.urlopen(request)
    # 获取信息
    content = response.read().decode('utf_8')
    print(content)
except urllib.error.HTTPError:
    print('系统升级')
except urllib.error.URLError:
    print('我都说了，别摁了')

 

 

8. # handler 代理请求 爬取次数太多会被封锁  所以要进行代理


# handler 请求
import urllib.request
import urllib.parse
# 定义路径
url = 'https://baike.baidu.com/'

headers ={
      "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.82 Safari/537.36 Edg/116.0.0.0"
}

request = urllib.request.Request(url=url,headers=headers)

# 模拟服务器发送请求
# response = urllib.request.urlopen(request)

handler = urllib.request.HTTPHandler()

opener = urllib.request.build_opener(handler)

response = opener.open(request)




# 读取html页面数据 获取相应源码
content = response.read().decode("utf8")
print(content)

 

阿金要当大魔王~~
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python使用urllib2提交http post请求的方法
12-23
本文实例讲述了python使用urllib2提交http post请求的方法。分享给大家供大家参考。具体实现方法如下： #!/usr/bin/python #coding=utf-8 import urllib import urllib2 def post(url, data): req = urllib2....
python3.x上post发送json数据
12-23
首先，我们要明确一个关键问题：当使用`urlencode`对JSON数据进行编码时，会导致数据格式被破坏，服务器接收到的不再是标准的JSON格式，这通常是因为`urlencode`是为URL参数设计的，不适合JSON数据。因此，我们需要...
requests_post请求
weixin_45515454的博客
11-22 595
requests_post请求
Python爬虫的源码
成字第0431879
08-29 6628
利用Python批量下载百度图片 # !/usr/bin/env python # -*- coding:utf-8 -*- # 导入URLLIB库的编码方法 from urllib.parse import urlencode # 请求库 import requests # 用于处理Json格式的文件 import json # 函数作用,拼接完整的URL def page_url_c...
python urlencode()方法
微信公众号：码奋
07-23 1750
它在构造get请求参数时候非常有用， 如 from urllib.parse import urlencode parmas={ 'name':'germey', 'age':'22' } base_url='http://baidu.com' url=base_url+urlencode(parmas) print(url) 运行结果如下 http://baidu...
python中urlencode方法
热门推荐
掠雪墨影的随记
06-23 2万+
python中，多种urlencode的方法汇总
python3 url编码_python3的url编码和解码,自定义gbk、utf-8的例子
weixin_33396922的博客
02-03 528
因为很多时候要涉及到url的编码和解码工作，所以自己制作了一个类，废话不多说 码上见！ # coding:utf-8import urllib.parseclass Urlchuli():"""Url处理类，需要传入两个实参：Urlchuli('实参','编码类型')，默认utf-8url编码方法：url_bm() url解码方法：url_jm()"""def __init__(self,can,...
Python2和Python3中urllib库中urlencode的使用注意事项
12-24
在Python中，我们通常使用urllib中的urlencode方法将字典编码，用于提交数据给url等操作，但是在Python2和Python3中urllib模块中所提供的urlencode的包位置有些不同。 对于Python2 Python2中提供了urllib和urllib2两...
Python大数据之网络爬虫的post请求、get请求区别实例分析
09-18
在Python中，我们可以使用`urllib2.Request`和`urllib.urlencode`来构造POST请求。 示例代码如下： ```python import urllib import urllib2 # 构造POST请求 params = {'account': 'jredu', 'pwd': ''} # ...
Python爬虫之两种urlencode编码发起post请求方式
最新发布
一个深技大小学生的博客
12-19 1万+
首先可以先用apipost等测试工具先测试一下是否需要cookie之类的，发现是不需要的，通过urlencode编码的方式也能够请求到数据。于是发现牛客使用的是application/x-www-form-urlencoded的格式。通过requests简直不要太方便，因为requests会自动使用合适的编码格式进行编码。闲来无事想爬一下牛客网的校招薪资水平及城市分布，最后想做一个薪资水平分布的图表出来。首先使用错误的编码格式肯定是拿不到数据的。
【Python开发】Url中文字符时记得转码edcode("utf-8")
weixin_30376163的博客
09-26 309
在url中使用中文其实是一个坏习惯，会带来一系列的转码问题， 我更喜欢英文译名或者id来标识某个uri。但是现实往往是残酷的， 特别是在我们调用别人服务时候，有时候被逼无奈使用中文URL。 Python中unicode转码一向是让人头疼的问题。数次碰壁之后，我也摸出了一些门道， 研读完Pyt...
python报错utf—8_Python 使用 UTF-8 编码(转)
weixin_39864387的博客
11-20 1022
一般我喜欢用 utf-8 编码，在 python 怎么使用呢？1、在 python 源码文件中用 utf-8 文字。一般会报错，如下：File "F:\workspace\psh\src\test.py", line 2SyntaxError: Non-ASCII character '\xe4' in file F:\workspace\psh\src\test.py on line 2, bu...
使用python进行URL编码
曾记否？的博客
09-10 2万+
为什么要对URL进行encode 在写网络爬虫时，发现提交表单中的中文字符都变成了TextBox1=%B8%C5%C2%CA%C2%DB这种样子，观察这是中文对应的GB2312编码，实际上是进行了GB2312编码和urlencode。 那么为什么要对URL进行encode？ 因为在标准的url规范中中文和很多的字符是不允许出现在url中的。为了字符编码（gbk、utf8）和特殊字符不出现在u...
Python urlencode 编码和url拼接
xiaoyaozi2020的博客
07-15 425
urlencode调用方法urlencode的参数必须是Dictionary输出相当于拼接两个url参数，这个用法类似于PHP中的http_build_query(),这里就不多数PHP中怎么用了，有兴趣的自己去查一下。urlencode编码函数urlencode不会改变传入参数的原始编码，也就是说需要在调用之前将post或get参数的编码调整好。...
Python+requests 之urlencode编码与解码
SitVen
06-05 2万+
URL编码 URL编码是一种浏览器用来打包表单输入的格式; 浏览器从表单中获取所有的name和其中的值, 将它们以name/value参数编码(移去那些不能传送的字符, 将数据排行等等) 作为URL的一部分或者分离地发给服务器 为什么需要urlencode编码 原因：如果一样东西需要编码, 说明其并不适合直接传输。原因多种多样, 如Size过大, 包含隐私数据。对于Url来说, 之所以要进行编码, 是因为Url中有些字符会引起歧义。 例如：URL参数字符串中使用key=value键值对这样的形式来传
python的url编码问题
zwx000000的专栏
06-15 631
python urlencode 编码 urlencode 调用方法 urlencode的参数必须是Dictionary d= {'par1':'a','par2':'b',}p rinturllib.urlencode(m) #par2=b&par1=a urlencode 编码 函数urlencode不会改变传入参数的原始编码，也就是说需要在调用之前将post或get参数的编码调
python urlencode
AC_great的专栏
10-23 2686
url中的query带有特殊字符（不是url的保留字）时需要进行编码。当url中带有汉字时，需要特殊的处理才能正确编码，以下都只针对这种情形，当然也适用于纯英文字符的url。(1) url编码 import urllib url = 'http://test.com/s?wd=哈哈' url = url.decode('gbk', 'replace') url = url.encode('utf-8
python对utf-8的中文转换
西山枫叶
05-29 1万+
str = '\\u6765\\u6e90:\\u82f1\\u5b5a\\u6559\\u80b2' str1 = str.encode('utf-8').decode('unicode_escape') print(str1)
python3 写一个request post请求
02-06
您可以使用 Python 标准库中的 `urllib` 模块来发送 HTTP POST 请求。例如： ```python import urllib.request import urllib.parse url = 'http://httpbin.org/post' data = {'key': 'value'} data = urllib....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值