Urllib库函数、代理、爬取案例

最新推荐文章于 2023-07-17 14:02:19 发布
最新推荐文章于 2023-07-17 14:02:19 发布
阅读量231 收藏
点赞数
分类专栏： Python 爬虫 文章标签： 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52465909/article/details/118459310
版权

Urllib库函数、代理、爬取案例

urllib库-urlopen函数用法

from urllib import  request
resp=request.urlopen('http://www.baidu.com')
print(resp.read())

部分结果

b'<!DOCTYPE html><!--STATUS OK-->\n\n\n    <html><head><meta http-equiv="Content-Type" content="text/html;charset=utf-8"><meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"><meta content="always" name="referrer"><meta name="theme-color" content="#2932e1"><meta name="description"

urllib库-urlretrieve函数

request.urlretrieve('http://www.baidu.com/','baidu.html')
# 直接将百度网页html文件下载
request.urlretrieve('https://gimg2.baidu.com/image_search/src=http%3A%2F%2Fwww.huaduhn.com%2Fuserfiles%2F322%2F201407%2F11%2F201407110004.jpg&refer=http%3A%2F%2Fwww.huaduhn.com&app=2002&size=f9999,10000&q=a80&n=0&g=0n&fmt=jpeg?sec=1627958798&t=b7a5c2084792e07337bf68ca56d4f58b','dangqi.jpg')
# 将图片下载至对应路径

在这里插入图片描述

urlencode函数

用浏览器发送请求的时候，如果url中包含了中文或是其他特殊字符，那么浏览器会自动给我们进行编码。而如果使用代码发送请求，那必须手动进行编码，这是就应该使用urlencode函数实现。urlencode可以把字典数据转换为URL编码的数据

from urllib import parse
 params={'name':'张三',"age":18,'greet':'hello world'}
 result=parse.urlencode(params)
 print(result)
'''
结果：
name=%E5%BC%A0%E4%B8%89&age=18&greet=hello+world
'''

url='http://www.baidu.com/s'
params1={"wd":"刘德华"}
qs=parse.urlencode(params1)
print(qs)
# 结果：wd=%E5%88%98%E5%BE%B7%E5%8D%8E

url=url+"?"+qs  #https://www.baidu.com/s?wd=%E7%99%BE%E5%BA%A6  形成形如这样的形式：/s?wd=......
resp=request.urlopen(url)
print(resp.read())

'''
部分结果：
[b'<!DOCTYPE html><!--STATUS OK-->\n']
[b'\n', b'\n', b'    <html><head><meta http-equiv="Content-Type" 
content="text/html;charset=utf-8"><meta http-equiv="X-UA-Compatible" 
content="IE=edge,chrome=1"><meta 
content="always" name="referrer"><meta 
name="theme-color" content="#2932e1"><meta name="description" 
content="\xe5\x85\xa8\xe7\x90\x83\xe9\xa2
\x86\xe5\x85\x88\xe7\x9a\x84\xe4\xb8\xad


'''

parse_qs函数：

可以将编码后的url参数进行解码

params={'name':'张三',"age":18,'greet':'hello world'}
result=parse.urlencode(params)
result1=parse.parse_qs(result)
print(result)
print(result1)

'''
name=%E5%BC%A0%E4%B8%89&age=18&greet=hello+world
{'name': ['张三'], 'age': ['18'], 'greet': ['hello world']}

'''

urllib库urlparse和urlsplit函数用法

对一个url中的各个组成部分进行分割，则可用以上两函数

from urllib import  request,parse
url='http://www.baidu.com/s?username=zhiliao'
result=parse.urlsplit(url)
result1=parse.urlparse(url)
print(result)
print(result1)
print('scheme:',result.scheme)
print('netloc:',result.netloc)
print('path:',result.path)
print('query:',result.query)

'''
结果：
SplitResult(scheme='http', netloc='www.baidu.com', path='/s', query='username=zhiliao', fragment='')
ParseResult(scheme='http', netloc='www.baidu.com', path='/s', params='', query='username=zhiliao', fragment='')
scheme: http
netloc: www.baidu.com
path: /s
query: username=zhiliao
 
'''

用Request爬取拉勾网职位信息-实战

from urllib import request
url='https://www.lagou.com/'
headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 Edg/91.0.864.64'
}


req=request.Request(url,headers=headers)

resp=request.urlopen(req)
print(resp.read())

'''
部分结果：
b'<!DOCTYPE html>\n<html>\n<head>\n\t<!-- meta -->\n\t<meta charset="UTF-8">\n
<meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1" />\n
<meta name="renderer" content="webkit">\n<meta property="qc:admins" content="23635710066417756375" />\n
<meta name="baidu-site-verification" content="QIQ6KC1oZ6" />\n
<meta content="\xe6\x8b\x89\xe5\x8b\xbe\xe6\x8b\x9b\xe8\x81\x98,
'''


url='https://www.lagou.com/beijing-zhaopin/Python/?labelWords=label'

headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 Edg/91.0.864.64'

}
req=request.Request(url,headers=headers,method='GET')
resp=request.urlopen(req)
print(resp.read())

ProxyHander处理器（代理设置）

使用urllib.request中ProxyHander（）方法来设置代理服务器，每隔一段时间换一个代理，
当IP被禁，依然可以换其他IP 继续爬取。

from urllib import request

# 没有使用代理的
'''
url='http://httpbin.org/ip'
resp=request.urlopen(url)
print(resp.read())
'''
# b'{\n  "origin": "111.79.225.123"\n}\n'

# 使用代理
url='http://httpbin.org/ip'
#1.使用ProxyHandler传入代理构建一个handler
handler=request.ProxyHandler({"http":"112.250.107.37:53281"})
# 2.使用上述hander构建一个opener
opener=request.build_opener(handler)
# 3.使用opener发送一个请求
resp=opener.open(url)
print(resp.read())
墙缝里的草
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
爬虫库Urllib（代理IP等）
qq_35194427的博客
07-28 1万+
Python3中-爬虫库Urllib代理IP1. urllib.request.ProxyHandler()2. 演示一下代理IP去访问目标网址吧 代理IP 1. urllib.request.ProxyHandler() ①代理IP的原理：本机---->大力IP---->访问的网站（服务器） 文字描述：本机先访问代理IP，再通过代理IP地址访问互联网，这样网站（服务器）接收到的访问IP就是代理IP地址。 ②由Urllib提供urllib.request.ProxyHandler()方法可动态设
第二章 Urllib库之代理、Cookie
weixin_48023487的博客
02-11 3573
urllib库用法之Cookie处理以及代理服务器的一些基本使用
【爬虫】urllib代理
weixin_44727383的博客
03-14 106
ProxyHandler处理器（代理）： 代理的原理：在请求目的网站之前，先请求代理服务器，然后让代理服务器去请求目的网站，代理服务器拿到目的网站的数据后，再转发给我们的代码。 http://httpbin.org：这个网站可以方便的查看http请求的一些参数。 在代码中使用代理： 使用urllib.request.ProxyHandler，传入一个代理，这个代理是一个字典，字典的key依赖于...
urlretrieve python3_python-3.x – urllib.request.urlretrieve与代理？
weixin_35703673的博客
01-14 615
您需要使用您的代理对象,而不仅仅是实例化它(您创建了一个对象,但没有将它分配给变量,因此无法使用它).尝试使用这种模式：#create the object, assign it to a variableproxy = urllib.request.ProxyHandler({'http': '127.0.0.1'})# construct a new opener using your pro...
Python爬虫——urllib_代理和代理池
错过人间飞鸿的博客
07-17 1032
urllib_代理和代理池
Python3爬虫之urllib携带cookie爬取网页的方法
09-19
本篇文章将详细介绍如何使用Python3的`urllib`库携带Cookie来爬取网页。 首先，我们要导入`urllib.request`和`urllib.parse`这两个模块。`urllib.request`是用于发起HTTP请求的，而`urllib.parse`则用来处理URL和...
使用urllib,request爬取ajax动态页面信息（爬取响应json文件）
06-13
总结来说，爬取Ajax动态页面信息，关键在于理解页面的加载机制，识别出数据请求的URL和参数，以及正确处理请求和响应。通过`urllib`和`requests`库，我们可以构建出相应的网络请求，获取并解析JSON数据，从而实现对...
urllib和BeautifulSoup爬取维基百科的词条简单实例
01-01
本文实例主要实现的是使用urllib和BeautifulSoup爬取维基百科的词条，具体如下。 简洁代码： #引入开发包 from urllib.request import urlopen from bs4 import BeautifulSoup import re #请求URL并把结果用UTF-8...
urllib爬取网页.py
12-26
python爬虫代码,rullib爬网页。 #读取一行 #data = response.readline() #读取 文件 的全部内容. 会把读取道德数据 赋值...#data = response.readlines() ...#返回当前正在爬取的URL地址 #print(response.geturl())
代理ip与urllib
沐一Yaong的博客
05-16 520
代理ip使用 httpproxy_handler = urllib.request.ProxyHandler({"http" : "61.135.217.7:80"}) nullproxy_handler = urllib.request.ProxyHandler({}) #担心此ip无法使用 proxySwitch = True #定义一个代理开关 if proxySwitch: opener = urllib.request.build_opener(httpproxy_handler) el
爬虫代理设置之urllib
实践求真知
02-08 1056
一 安装CCProxy软件 1 下载地址： https://ccproxy.en.softonic.com/ 2 下载后文件 ccproxysetup.exe 3 简单设置 二 代理设置方法 1 代码 from urllib.error import URLError from urllib.request import ProxyHandler, build_opener ...
03-urllib代理使用
j1451284189的博客
01-17 191
> 本讲总结： > > urllib 中代理的使用 > > urllib 密码管理器
web爬虫讲解—urllib库爬虫—ip代理—用户代理和ip代理结合应用
老K带你学Python
08-12 479
使用IP代理 ProxyHandler()格式化IP，第一个参数，请求目标可能是http或者https,对应设置 build_opener()初始化IP install_opener()将代理IP设置成全局,当使用urlopen()请求时自动使用代理IP #!/usr/bin/env python # -*- coding: utf-8 -*- import urllib import urlli...
爬虫实战学习笔记_3 网络请求urllib模块：设置IP代理+处理请求异常+解析URL+解码+编码+组合URL+URL连接
小李的研究生学习日记
03-10 3167
1 设置IP代理 1.1 方法论述 使用urllib模块设置代理IP是比较简单的，首先需要创建ProxyHandler对象，其参数为字典类型的代理IP，键名为协议类型（如HTTP或者HTTPS)，值为代理链接。然后利用ProxyHandler对象与buildopener()方法构建一个新的opener对象，最后再发送网络请求即可。 1.2 代码实现 import urllib.request # 导入urllib.request模块 url= 'https://www.httpbin.org/g
Python请求标准库 urllib 与 urllib3
weixin_48594878的博客
09-17 391
Python请求标准库 urllib 与 urllib3 学习一时爽，一直学习一直爽！   大家好，我是 Connor，一个从无到有的技术小白。上一次我们说到了什么是HTTP协议，那么这一次我们就要动手，来真正的了解如何使用Python访问一个网站了。今天我们要说的是Python自带的标准库，Urllib与Urllib3。 1.urllib库  1.1urllib...
如何使用python+urllib库+代理IP访问网站
javasdn的博客
06-25 791
很多网站设置了反爬虫机制，最常见的就是限制 IP 频繁请求了，只要某个 IP 在单位时间内的请求次数超过一定值，网站就不再正常响应了
你肯定不知道如何使用python+urllib库+代理IP爬取新闻数据
javasdn的博客
06-27 421
你肯定不知道如何使用python+urllib库+代理IP爬取新闻数据
已解决urllib模块设置代理ip
努力让自己发光，对的人才能迎着光而来
10-01 9483
已解决urllib模块设置代理ip
xss漏洞1-9关
G208_522的博客
11-20 3126
第一关 没有可以输入的表单，直接在url中拼接 <script>alert('xss')</script> 源码展示 <!DOCTYPE html><!--STATUS OK--><html> <head> <meta http-equiv="content-type" content="text/html;charset=utf-8"> <script> window.alert = function()
urllib.request 爬取网页数据
最新发布
12-13
urllib.request是Python的内置模块，用于爬取网页数据。通过urllib.request，我们可以发送HTTP请求并获取网页的内容。 要使用urllib.request爬取网页数据，首先需要导入urllib.request模块。然后可以使用urllib....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值