零基础_Python爬虫_urllib

已于 2023-12-29 17:57:01 修改
阅读量999 收藏 24
点赞数 15
分类专栏： python自学 文章标签： python 爬虫 java
于 2023-12-04 16:19:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hooray11/article/details/134319629
版权

目录

1.urllib基本使用

2.urllib 一个类型六个方法

​编辑 3.urllib下载

4. urllib请求对象的定制

4.urllib_get请求的quote方法

5.urllib_get请求的urlencode方法

6.urllib_post请求

7.urllib_ajax的get请求

获取豆瓣电影的第一页数据 并且存储到本地

获取豆瓣电影的前十页数据 并且存储到本地

 8.urllib_ajax的post请求

 9.urllib_异常

10.urllib_Handler处理器基本使用

11.urllib_代理

12.urllib_代理池

注意：请求url一定要找对，我的很多都是url没有找对导致运行错误的

1.urllib基本使用

#使用urllib来获取百度首页的源码
import urllib.request

#（1）定义一个url  就是要访问的网站
url = "http://www.baidu.com"

#（2）模拟浏览器向服务器发送请求
response = urllib.request.urlopen(url)

#（3）获取响应中的页面源码
#read方法 返回的是字节形式的二进制数据
#我们要求将二进制的数据转换为字符串 使用decode 设置编码格式
content = response.read().decode('utf-8')

#（￥）打印数据
print(content)

2.urllib 一个类型六个方法

#使用urllib来获取百度首页的源码
import urllib.request

#定义一个url  就是要访问的网站
url = "http://www.baidu.com"

#模拟浏览器向服务器发送请求
response = urllib.request.urlopen(url)

#一个类型（response是HTTPResponse类型）
# print(type(response))

#六个方法

#按照一个字节一个字节的去读取
content = response.read()
print(content)

#读取一行
content.readline()
print(content)

#读取多行
content = response.readlines()
print(content)

#返回状态码
print(response.getcode())

#返回url地址
print(response.geturl())

#获取状态信息
print(response.getheaders())

 3.urllib下载

import urllib.request

#下载网页\图片\视频同理
url_page = 'http://www.baidu.com'
#第一个参数为url,第二个为filename
urllib.request.urlretrieve(url_page,'baidu.html')

4. urllib请求对象的定制

一个网址（URL）有哪些部分组成？域名包括哪些？_网址组成_crary,记忆的博客-CSDN博客icon-default.png?t=N7T8https://blog.csdn.net/qq_44327851/article/details/133175861

import urllib.request
from urllib.request import urlopen

url = 'http://www.baidu.com'
headers = {
   'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.82'
}

#请求对象的定制
#注意：因为参数顺序的原因 不能直接写url 和headers，中间还有data 所哟我们必须使用关键字传参
resquest = urllib.request.Request(url=url,headers=headers)

response = urllib.request.urlopen(resquest)

content = response.read().decode('utf8')
print(content)

4.urllib_get请求的quote方法

import urllib.request
from urllib.request import urlopen
import urllib.parse

url = 'https://www.baidu.com/s?wd='
#请求对象的定制是为了解决反爬的一种手段
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.82'
}
#将周杰伦三个字变成unicode编码
name = urllib.parse.quote('周杰伦')

url += name
#请求对象的定制
request = urllib.request.Request(url=url,headers=headers)
#模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)
#获取响应内容
content = response.read().decode('utf-8')

print(content)

5.urllib_get请求的urlencode方法

 urlencode的应用场景：多个参数的时候

import urllib.parse

data = {
    'wd':'周杰伦',
     'sex':'男'
}

a = urllib.parse.urlencode(data)
print(a)

 

6.urllib_post请求

1.post请求的参数 必须要进行编码

data = urllib.parse.urlencode(data).encode('utf-8')

2.post请求的参数，是不会拼接在url的后面，而是需要放在请求对象定制的参数中

request = urllib.request.Request(url=url,data=data,headers=headers)


import urllib.request
import urllib.parse
import json

url = 'https://fanyi.baidu.com/'

data = {
    'kw': 'spider'
}

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.82'
}

data = urllib.parse.urlencode(data).encode('utf-8')

request = urllib.request.Request(url=url,data=data,headers=headers)

response = urllib.request.urlopen(request)

content = response.read().decode('utf-8')
print(content)

# obj = json.loads(content)
#
# print(obj)


import urllib.request
import urllib.parse
import json

url = 'https://fanyi.baidu.com/'

data = {
    'from': 'en',
    'to': 'zh',
    'query': 'spider',
    'transtype': 'realtime',
    'simple_means_flag': '3',
    'sign': '63766.268839',
    'token': '57abc218470ecde5f243716ff139d792',
    'domain': 'common',
    'ts': '1699633768731'
}

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.82',
    'Cookie':'BIDUPSID=27C677FC03842E7B4593C0FC23E63309; PSTM=1633330321; BAIDUID=DA5564F1160BAB4A47C7DA6772F3B9EA:FG=1; BAIDUID_BFESS=DA5564F1160BAB4A47C7DA6772F3B9EA:FG=1; ZFY=WMyGDJ9xOPi2:AJjfiiFFCIrg8JrCq3v03cIXPlzYGZ8:C; __bid_n=1838403fb79a2548194207; jsdk-uuid=d85ccdd5-f917-4d66-8cc6-bd351168ebe5; RT="z=1&dm=baidu.com&si=a3626b33-feb3-485b-b048-c642195c3c57&ss=lor8jods&sl=2&tt=7r3&bcn=https%3A%2F%2Ffclog.baidu.com%2Flog%2Fweirwood%3Ftype%3Dperf&ld=426s"; H_PS_PSSID=39633_39670; APPGUIDE_10_6_7=1; REALTIME_TRANS_SWITCH=1; FANYI_WORD_SWITCH=1; HISTORY_SWITCH=1; SOUND_SPD_SWITCH=1; SOUND_PREFER_SWITCH=1; Hm_lvt_64ecd82404c51e03dc91cb9e8c025574=1699633696; Hm_lpvt_64ecd82404c51e03dc91cb9e8c025574=1699633738; ab_sr=1.0.1_MTMwOTFkY2FmZDZkYmIwMTEwY2JkYTg0YWZiYzQ0Y2E4N2YzMDI4ZjlhYzU0Zjg1ZTg0YzY3MTA1ODFmY2U4OWU0MWJhM2E1NmE5YTQ1NDMzOTlhMzI4N2Y5MDFmNjVkOWRkMjRkYWQ0ZDcxOTEyZjVmZDdmOTc0ZDllNjFhNTBkOTk3ZDJlMTc5MWEwM2VlNjg4ZjRmYjI2OWZiODkzNQ=='
}

data = urllib.parse.urlencode(data).encode('utf-8')

request = urllib.request.Request(url=url,data=data,headers=headers)

response = urllib.request.urlopen(request)

content = response.read().decode('utf-8')
print(content)

# obj = json.loads(content)
#
# print(obj)

7.urllib_ajax的get请求

获取豆瓣电影的第一页数据 并且存储到本地

#get请求
#获取豆瓣电影的第一页数据 并且存储到本地

import urllib.request

url = 'https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&start=0&limit=20'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.82'
}

request = urllib.request.Request(url=url,headers=headers)

response = urllib.request.urlopen(request)

content = response.read().decode('utf-8')

# f = open('douban.json','w',encoding='utf-8')
# f.write(content)

with open('douban1.json','w',encoding='utf-8') as f:
    f.write(content)

获取豆瓣电影的前十页数据 并且存储到本地

 自己看完课程之后独立写出来的，一次性运行成功，我写代码的思路，是先从主函数开始写，先把最基本的框架写出来，对于写函数，就是先把函数的基本框架和固定的格式和步骤全写出来，然后根据需要慢慢再去补充。

#下载豆瓣电影前十页的电影
#https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&start=40&limit=20
#start : (page-1)*20
import urllib.request
import urllib.parse
#请求对象的定制
def create_request(page):
    base_url = 'https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action='
    data = {
        'start':'(page-1)*20',
        'limit':'20'
    }
    data = urllib.parse.urlencode(data)
    url = base_url+data
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.82'
    }
    request = urllib.request.Request(url=url,headers=headers)
    return request
#获取响应数据
def get_response(request):
    response = urllib.request.urlopen(request)
    content = response.read().decode('utf-8')
    return content
#下载数据
def down_load(page,content):
    with open('douban_'+str(page)+'.json','w',encoding='utf-8') as f:
        f.write(content)

if __name__ == '__main__':
    start_page = int(input("请输入起始页码："))
    end_page = int(input("请输入截止页码："))

    for page in range(start_page,end_page+1):
        request = create_request(page)
        content = get_response(request)
        down_load(page,content)

 8.urllib_ajax的post请求

#http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname

# cname: 北京
# pid:
# pageIndex: 1
# pageSize: 10

#http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname

# cname: 北京
# pid:
# pageIndex: 2
# pageSize: 10

import urllib.request
import urllib.parse
#请求对象的定制
def create_request(page):
    url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname'
    data = {
        'cname': '北京',
        'pid':'',
        'pageIndex': page,
        'pageSize': '10'
    }
    data = urllib.parse.urlencode(data).encode('utf-8')
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.82'
    }
    request = urllib.request.Request(url=url,data=data,headers=headers)
    return request
#获取响应数据
def get_response():
    response = urllib.request.urlopen(request)
    content = response.read().decode('utf-8')
    return content
#下载数据
def down_load(page,content):
    with open('kfc'+str(page)+'.json','w',encoding='utf-8') as f:
        f.write(content)

if __name__ == '__main__':
    start_page = int(input("请输入起始页码："))
    end_page = int(input("请输入截止页码："))

    for page in range(start_page,end_page+1):
        request = create_request(page)
        content = get_response()
        down_load(page,content)

 9.urllib_异常

#https://blog.csdn.net/weixin_43936332/article/details/131465538
import urllib.request
import urllib.error

url = 'http://douban111.com'

headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.82'
}

try:
    request = urllib.request.Request(url=url,headers=headers)

    response = urllib.request.urlopen(request)

    content = response.read().decode('utf-8')

    print(content)
except urllib.error.HTTPError:
    print("系统正在升级")
except urllib.error.URLError:
    print("系统真的在升级")
import urllib.request

url = 'https://qzone.qq.com/'

headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.82',
        #cookie中携带着登录信息 如果有登录之后的cookie 那么就可以携带着cookie进入到任何的页面
        'Cookie':'RK=bOytW6VLlo; ptcz=7e42b5634fed507c62cd10eac2db090c6086233be352a3b5acd6289c1e5cb0c7; pgv_pvid=2191120395; tvfe_boss_uuid=7a43881ad4b8395d; o_cookie=2647969182; iip=0; pac_uid=1_2647969182; fqm_pvqid=6348b068-eacc-4111-a1b6-b4fb7a040cde; qq_domain_video_guid_verify=7365d123d341ac43; _qz_referrer=cn.bing.com; _qpsvr_localtk=0.33179965702435776; pgv_info=ssid=s5577236883',
        #referer 判断当前路径是不是由上一个路径进来的 一般情况下 是做图片防盗链
        'Referer':'https://cn.bing.com/'
}

request = urllib.request.Request(url=url,headers=headers)

response = urllib.request.urlopen(request)

content = response.read().decode('utf-8')

print(content)

10.urllib_Handler处理器基本使用

import urllib.request

url = 'https://www.baidu.com/'

headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.82'
}

request = urllib.request.Request(url=url,headers=headers)

#response = urllib.request.urlopen(request)
#获取hanler对象
handler = urllib.request.HTTPHandler()
#获取opener对象
opener = urllib.request.build_opener(handler)
#调用open 方法
response = opener.open(request)

content = response.read().decode('utf-8')

print(content)

11.urllib_代理

国内高匿HTTP免费代理IP_IP代理_HTTP代理 - 快代理 (kuaidaili.com)

import urllib.request

url = 'http://www.baidu.com/s?wd=ip'

headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.82'
}

request = urllib.request.Request(url=url,headers=headers)

proxies = {
    'http':'223.70.126.84:8888'
}
handler = urllib.request.ProxyHandler(proxies=proxies)

opener = urllib.request.build_opener(handler)

response = opener.open(request)

content = response.read().decode('utf-8')

print(content)

12.urllib_代理池

import urllib.request

proxies_pool = [
    {'http':'118.24.151.16817'},
    {'http':'118.24.151.16817'}
]

import random

proxies = random.choice(proxies_pool)

url = 'http://www.baidu.com/s?wd=ip'

headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.82'
}

request = urllib.request.Request(url=url,headers=headers)

handler = urllib.request.ProxyHandler(proxies=proxies)

opener = urllib.request.build_opener(handler)

response = opener.open(request)

content = response.read().decode('utf-8')

with open('daili.html','w',encoding='utf-8') as fp:
    fp.write(content)

Hooray11
关注
  • 15
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
python urllib发送post请求_python爬虫 urllib模块发起post请求过程解析
weixin_39593523的博客
02-19 2107
urllib模块发起的POST请求案例：爬取百度翻译的翻译结果1.通过浏览器捉包工具，找到POST请求的url针对ajax页面请求的所对应url获取，需要用到浏览器的捉包工具。查看百度翻译针对某个字条发送ajax请求，所对应的url点击clear按钮可以把抓包工具，所抓到请求清空然后填上翻译字条发送ajax请求，红色框住的都是发送的ajax请求抓包工具All按钮代表 显示抓到的所有请求 ，包括GE...
python爬虫实验报告_Python爬虫案例集合
weixin_39911916的博客
11-25 807
urllib2urllib2是Python中用来抓取网页的库，urllib2 是 Python2.7 自带的模块(不需要下载，导入即可使用)在python2.x里面有urllib和urllib2;在python3.x里面就把urllib和urllib2合成一个urllib;urllib3是在python3.x了里面新增的第三方扩展。urllib2 官方文档：https://docs.python....
python爬虫urllib的post_python爬虫urllib中的post怎样实现
weixin_30799553的博客
02-21 720
python爬虫urllib中的post怎样实现发布时间：2020-11-11 09:27:15来源：亿速云阅读：76作者：小新小编给大家分享一下python爬虫urllib中的post怎样实现，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！一、urlliburllib作为Python的标准库，基本上涵盖了基础的网络请求功...
Python爬虫——urllib_下载
错过人间飞鸿的博客
07-12 1001
urllibe下载网页、图片和视频
Python爬虫——urllib_cookie登陆
错过人间飞鸿的博客
07-15 2783
urllib_cookie登陆
Python爬虫——urllib_post请求百度翻译
错过人间飞鸿的博客
07-13 2149
urllib_post请求
python爬虫实验总结_Python爬虫总结
weixin_39920415的博客
12-06 4297
经验：1、利用chrome的network，通过翻页操作，快速定位到获取数据的url2、利用Postman，可以快速生成爬虫的代码注意点：1、导出csv时候，中文乱码2、抓取时间时候，格式转化代码：1、API类如果网站是通过API直接获取的json数据的话，那么不用分析页面dom，比较简单result1 = []url = "https://ecp.sgcc.com.cn/ecp2.0/ecpwc...
python爬虫实验报告_python爬虫实验
weixin_39532019的博客
11-20 3063
原博文2013-06-28 13:30 −那天在新浪微博上看到北北出的题目，由于最近也在做类似的爬虫研究，所以就有了这个实验。 后来在QQ上和北北说了下，要求是啥都抓，就抓乌云的。。。 然后就开始了。。 第一个版本如下，后续不断改进直到满足需求： import urllib2; from sgmllib import SGMLParser...相关推荐2013-06-28 14:17 −改进了一...
python爬虫cookie_python爬虫怎么获取cookie
weixin_42134537的博客
12-29 2818
详细内容Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密)。 比如说有些网站需要登录后才能访问某个页面，在登录之前，你想抓取某个页面内容，登陆前与登陆后是不同的，或者不允许的。在python中它为我们提供了cookiejar模块，它位于http包中，用于对Cookie的支持。通过它我们能捕获cookie并在后续连接请求时重新发送，比如可以实...
python爬虫urllib3模块详解
热门推荐
侯小啾技术博客
01-15 1万+
鉴于urllib请求模块的功能已经无法满足开发者的需求，出现了功能更强大的urllib3模块，urllib3模块是一个第三方的网络请求模块。 安装命令：pip install urllib3 1.发送网络请求 使用urllib3发送网络请求时，需要首先创建PoolManager对象，再通过该对象调用 request() 方法发送请求。 request(method,url,fields=None,headers=None) method 必选参数，用于指定请求方式，如GET，POST，PUT等。 u
网站图片爬虫_python爬虫_
10-03
在Python爬虫开发中，主要涉及以下几个关键知识点： 1. **HTTP/HTTPS协议**：网络爬虫首先需要理解HTTP和HTTPS协议，这是互联网上数据传输的基础。了解请求和响应的工作原理，包括GET、POST等请求方法，以及HTTP...
venv_python爬虫_
09-29
2. **Python爬虫基础**：爬虫通常由三部分组成：网络请求、数据解析和数据存储。requests库负责发送HTTP/HTTPS请求，获取网页内容。比如，`response = requests.get(url)`可以获取指定URL的页面内容。 3. **HTML...
linkesterm_python爬虫_
10-02
一、Python爬虫基础 Python爬虫主要依赖于它的标准库和第三方库。其中，`urllib`和`requests`是两个常用的HTTP请求库，它们用于向服务器发送HTTP请求并接收响应。`BeautifulSoup`和`lxml`是解析HTML和XML文档的强大...
downloadgoodimg_clothesl1d_python爬虫_
10-03
在这个特定的案例中，"downloadgoodimg_clothesl1d_python爬虫_"的标题表明我们正在讨论一个用于下载衣物类商品图片的Python爬虫项目。"clothesl1d"可能代表衣物类别的一级目录，暗示这个爬虫是针对某个电商网站的...
lesson7-爬虫入门.rar_python 爬虫_thisn6q_爬虫入门
09-20
"lesson7-爬虫入门.rar"这个压缩包文件显然是一个关于Python爬虫基础的教程资源，适合初学者学习。 首先，我们要了解什么是网络爬虫。网络爬虫，也叫网页蜘蛛或网络机器人，是一种自动浏览互联网并抓取网页信息的...
零基础学习人工智能—Python—Pytorch学习（六）
kiba518的博客
08-21 623
前言 本文主要讲神经网络的上半部分。 这篇文章开始有很多公式了，这些公式都很简单，但是如果是不经常在脑海里思考公式的人，那可能需要多花点时间做一下自我训练，个人感觉，也就几天时间，就能把自己感觉给调整出来。 习惯了公式看下面内容就会轻松很多，另外如果要深入学习人工智能，熟练的认知公式也是个必须的事情。 另外，我发现我前面文章写的有歧义的地方还是挺多，虽然，已经改了一部分，但，可能还有没发现的，大...
基于Python星载气溶胶数据处理与反演分析
lwjnlqiqi的博客
08-21 1061
Python星载气溶胶数据处理与反演分析
基于YOLO V8的PCB缺陷检测识别系统（python源码+Pyqt5界面+数据集+训练代码）
最新发布
2401_83580557的博客
08-22 357
基于YOLO V8的PCB缺陷检测识别系统【python源码+Pyqt5界面+数据集+训练代码】
反射异常捕获 | InvocationTargetException 要用e.getCause()打印才能看到具体异常
你个无聊小demo的博客
08-22 283
反射异常捕获 | InvocationTargetException 要用e.getCause()打印才能看到具体异常
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Hooray11

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值