python爬虫常用模块——urllib模块

最新推荐文章于 2024-06-21 16:08:00 发布
最新推荐文章于 2024-06-21 16:08:00 发布
阅读量494 收藏 1
点赞数
分类专栏： 爬虫

1、urllib请求返回网页

        urllib.urlopen(url[, data[, timeout[, cafile[, capath[, cadefault[, context]]]]]])

          (注意：在python 3.0中 from urllib.request import urlopen)

        urllib.urlopen 可以打开http,https,ftp协议的url，其中以ca开头的都是跟身份认证有关的（不常用）

        url 提交的网络地址（地址全称，前端需协议名，后端需要端口，比如：http：//192.168.1.1：8080）

       data 以post方式提交URL使用的

       timeout 超时设置

       函数返回对象：

      geturl()  返回response的url信息，常用于url的重定向

      info()  返回response的基本信息

     getcode() 返回response的状态代码：200 服务器成功返回网页 404（这个不用说啊） 503服务器暂时不可用

#-*-coding:utf-8-*-
import urllib
from urllib.request import urlopen




def linkBaidu(): 
   
    url='https://www.baidu.com'
    try:
        response=urlopen(url)
    except urllib.error.URLError:  #注意python 3.0
        print("网络地址错误")
        exit()
    #将数据保存至txt
    file= open('./baidu.txt','w',encoding='utf-8')
    file.write(response.read().decode('utf-8'))
    print("获取url信息，response.geturl():\n %s"%response.geturl())
    print("获取返回代码，response.getcode():\n %s"%response.getcode())
    print("获取返回信息，response.info():\n %s"%response.info())
    print("获取网页内容存入了baidu.txt")
if  __name__=='__main__':

    linkBaidu()

2、urllib修改header

将所有常见

    User-Agent全部放到一个userAgents.py文件中，以字典的形式保存起来，方便以后当成模块导入使用。

userAgents.py

#-*- coding:utf-8 -*-


pcUserAgent={
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
    "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
    "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
    "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
    "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
    "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
    "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 LBBROWSER",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; 360SE)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
    "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1",
    "Mozilla/5.0 (iPad; U; CPU OS 4_2_1 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8C148 Safari/6533.18.5",
    "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:2.0b13pre) Gecko/20110307 Firefox/4.0b13pre",
    "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:16.0) Gecko/20100101 Firefox/16.0",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11",
    "Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36",

    }


testUrllibModifyHeader.py


#-*- coding:utf-8 -*-
import urllib
import userAgents
'''
uillb修改header
userAgent.py 是个自定义的模块，位置处于当前目录下
'''


class UrllibModifyHeader(object):
    "使用urllib模块修改header"
    def _init_(self):
        #这是个PC+IE的User-Agent
        PIUA=userAgents.pcUserAgent.get('IE 9.0')
        #这个是MObile+UC的User-Agent
        #MUUA=userAgents.mobileUserAgent.get('IE 9.0')
        
        #测试用的网站选择的是有道翻译
        self.url='http://fanyi.youdao.com'
        
        self.userUserAgent(PIUA,1)
        
    def useUserAgent(self,userAgent,name):
        request=urllib.request(self.url)
        request.add_header(userAgent.split(':')[0],userAgent.split(':')[1])
        response=urllib.request.urlopen(request)
        fileName=str(name)+'.html' 
        with open(fileName,'a') as fp:
            fp.write("%s\n\n"%userAgent)
            fp.write(response.read())
            
if __name__=='__mian__':
    umh=UrllibModifyHeader()
    
            
    初学的菜鸡  望指正微笑          

qq_36822881
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python爬虫实例——基于BeautifulSoup与urllib.request
08-12
总之，理解并掌握`urllib.request`和`BeautifulSoup`的使用是Python爬虫初学者的基础课。通过实践这样的实例，你可以更深入地了解网络请求的原理，学习如何解析和提取HTML中的有用信息，从而为后续更复杂的爬虫项目...
爬虫基础（一）——python爬虫常用模块
Z987421的博客
10-19 642
我们准备了一门非常系统的爬虫课程，除了为你提供一条清晰、无痛的学习路径，我们甄选了最实用的学习资源以及庞大的主流爬虫案例库。短时间的学习，你就能够很好地掌握爬虫这个技能，获取你想得到的数据。
爬虫基础（三）——python爬虫常用模块
weixin_46310648的博客
08-01 5786
3.1python网络爬虫技术核心 3.1.1　python网络爬虫实现原理 第一步：使用python的网络模块（比如ｕｒｂｌｉｂ２、ｈｔｔｐｌｉｂ、requests等）模拟浏览器向服务器发送正常的HTTP（或ＨＴＴＰＳ）请求。服务器响应后，主机将收到包含所需信息的网页代码。 第二步：主机使用过滤模块（比如ｌｘｍｌ、ｈｔｍｌ．ｐａｒｓｅｒ、ｒｅ等）将所需信息从网页代码中过滤出来。 第一步为了模拟浏览器，可以在请求中添加报头（Header）和Ｃｏｏｋｉｅｓ。为了避开服务器的反爬虫，可以利用代理或间隔一
Python爬虫常用模块，比较实用！
最新发布
Python_Alex的博客
06-21 1088
对于一些简单的爬虫，python（基于python3）有更好的第三方库来实现它，且容易上手。Python标准库–logging模块logging模块能够代替print函数的功能，将标准输出到日志文件保存起来，利用loggin模块可以部分替代debugre模块正则表达式sys模块系统相关模块sys.argv(返回一个列表，包含所有的命令行)sys.exit(退出程序)Python标准库–urllib模块。
python爬虫中常用的模块介绍
weixin_46255747的博客
03-24 678
urllib3模块是一个第三方的模块,主要使用连接池进行网络请求的访问。使用urllib3发送网络请求时，需要首先创建PoolManager对象（连接池管理对象），再通过该对象调用 request() 方法发送请求。
Python爬虫——爬虫基础模块和类库（附实践项目）
m0_65995252的博客
10-05 3113
从豆瓣上挖取T250个经典电影的名单并绘制成词云图。
python爬虫开发之urllib模块详细使用方法与实例全解
01-20
在Pytho2.x中使用import urllib——-对应的，在Python3.x中会使用import urllib.request，urllib.error，urllib.parse 在Pytho2.x中使用import urlparse——-对应的，在Python3.x中会使用import urlli
python 爬虫基本使用——统计杭电oj题目正确率并排序
12-16
本篇文章将介绍如何使用Python的基础爬虫库Urllib和BeautifulSoup4来统计杭州电子科技大学（杭电）在线评测系统（Online Judge，简称OJ）的题目正确率并进行排序。下面我们将详细讨论这两个库的功能以及爬虫的基本...
python爬虫之初入urllib（csdn）————程序.pdf
12-03
总结起来，`urllib`库为Python提供了强大的网络请求和URL处理功能，通过理解其内部的模块和`robots`协议，我们可以编写出更高效、更合规的网络爬虫程序。同时，注意在爬取网站数据时要尊重网站的规则，遵守`robots`...
Python-爬虫（基础概念、常见请求模块（urllib、requests））
dodamce的博客
08-01 1297
urllib.request模块提供了最基本的构造HITP请求的方法，利用它可以模拟浏览器的一个请求发起过程，同时它还带有处理授权验证（authentication)、重定向（redirection)、浏览器Cookies以及其他内容。这个类有自己的方法，主要包含read、readinto、getheader、getheaders、fileno等方法，和msg、version、status、reason、debuglevel、closed等属性。data参数是可选的。注意测试代码时关闭代理服务器。...
Python爬虫之requests模块
yiluohan0307的专栏
06-13 1746
Python爬虫之requests模块
python下常用的爬虫模块
qinshi501的博客
01-15 1801
Scrapy的社区非常活跃，提供了丰富的资源和文档，帮助开发人员更好地使用这个框架。Scrapy提供了许多内置的功能，如请求处理、数据提取、爬虫管理等，以及易于使用的API，使开发人员能够轻松地编写高效的爬虫。Python提供了多种库和框架，例如unittest、pytest和Selenium WebDriver等，这些库和框架可以帮助您编写高效、可维护的测试脚本。灵活的导航、搜索和修改：BeautifulSoup 提供了强大的导航、搜索和修改功能，使你能够轻松地在文档树中移动并提取信息。
python requests 模块
joker
03-10 1038
requests模块 requests模块介绍 Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用。 警告：非专业使用其他 HTTP 库会导致危险的副作用，包括：安全缺陷症、冗余代码症、重新发明轮子症、啃文档症、抑郁、头疼、甚至死亡。 requests模块作用 发送http请求，获取响应数据 安装pythonjar包 pip install req...
python爬虫常用模块
qq_43966957的博客
11-17 605
python爬虫常用模块
Python爬虫从入门到应用（超全讲解）
码农研究僧的博客
02-23 2686
Python爬虫是一种利用Python编程语言编写的程序，用于从互联网上获取信息 爬虫通常用于网页抓取、数据挖掘、信息监控等领域
python爬虫--beautifulsoup模块简介
Abtxr的博客
02-09 1367
python爬虫--超级详细的BeautifulSoup使用方法
巨细！Python爬虫详解
xxue345678的博客
06-15 2417
爬虫的总流程可以理解为：蜘蛛要抓某个猎物–>沿着蛛丝找到猎物–>吃到猎物；即爬取–>解析–>存储；爬虫框架：Scrapy请求库：requests、selenium解析库：正则、beautifulsoup、pyquery存储库：文件、MySQL、Mongodb、Redis……今天的文章是对爬虫的原理做一个详解，希望对大家有帮助，同时也在后面的工作中奠定基础！学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值