廖雪峰爬虫第二节

最新推荐文章于 2021-05-08 21:32:22 发布
最新推荐文章于 2021-05-08 21:32:22 发布
阅读量456 收藏
点赞数
分类专栏： 廖雪峰爬虫笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43362002/article/details/105892612
版权

文章目录

添加并查看用户代理


import urllib.request

def load_baidu():
    url= "https://www.baidu.com"
    header = {
        #浏览器的版本
        "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36",
        # "haha":"hehe"
    }


    #创建请求对象
    request = urllib.request.Request(url)
	#request = urllib.request.Request(url,headers=header)
    #动态的去添加head的信息
    request.add_header("User-Agent","Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36")
    #请求网络数据(不在此处增加请求头信息因为此方法系统没有提供参数)
    response = urllib.request.urlopen(request)
    print(response)
    data = response.read().decode("utf-8")

    #获取到完整的url
    final_url = request.get_full_url()
    print(final_url)

    #响应头
    # print(response.headers)
    #获取请求头的信息(所有的头的信息)
    # request_headers = request.headers
    # print(request_headers)
    #(2)第二种方式打印headers的信息
    #注意点:首字母需要大写,其他字母都小写
    request_headers = request.get_header("User-agent")
    # print(request_headers)
    with open("02header.html","w")as f:
        f.write(data)



load_baidu()

随机用不同用户访问浏览器

import urllib.request
import random

def load_baidu():

    url = "http://www.baidu.com"
    user_agent_list = [
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1",
        "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
        "Opera/9.80 (Windows NT 6.1; U; zh-cn) Presto/2.9.168 Version/11.50"

    ]
    #每次请求的浏览器都是不一样的
    random_user_agent = random.choice(user_agent_list)

    request = urllib.request.Request(url)

    #增加对应的请求头信息(user_agent)
    request.add_header("User-Agent",random_user_agent)

    #请求数据
    response = urllib.request.urlopen(request)
    #请求头的信息
    print(request.get_header("User-agent"))

load_baidu()

为urlopen添加代理的功能

import urllib.request

def handler_openner():

    #系统的urlopen并没有添加代理的功能所以需要我们自定义这个功能
    #安全 套接层 ssl第三方的CA数字证书
    #http80端口# 和https443
    #urlopen为什么可以请求数据 handler处理器
    #自己的oppener请求数据

    # urllib.request.urlopen()
    url = "https://blog.csdn.net/weixin_43362002/article/details/104658199"

    #创建自己的处理器
    handler = urllib.request.HTTPHandler()
    #创建自己的oppener
    opener=urllib.request.build_opener(handler)
    #用自己创建的opener调用open方法请求数据
    response = opener.open(url)
    # data = response.read()
    data = response.read().decode("utf-8")


    with open("05header.html", "w",encoding='utf-8')as f:
        f.write(data)

handler_openner()

添加一个ip地址

import urllib.request
def create_proxy_handler():
    url = "https://blog.csdn.net/weixin_43362002/article/details/104658199"

    #添加代理
    proxy = {
        #免费的写法
        "http":"http://120.77.249.46:8080"
        # "http":"120.77.249.46:8080"
        #付费的代理
        # "http":"xiaoming":123@115.12.44
    }
    #代理处理器
    proxy_handler = urllib.request.ProxyHandler(proxy)

    #创建自己opener
    opener = urllib.request.build_opener(proxy_handler)
    #拿着代理ip去发送请求
    response = opener.open(url)
    data = response.read().decode("utf-8")

    with open("03header.html", "w",encoding='utf-8')as f:
        f.write(data)

create_proxy_handler()

添加多个ip地址

import urllib.request

def proxy_user():

    proxy_list = [
        {"https": "106.75.226.36:808"},
        {"https":"120.77.249.46:8080"},
        {"https":"61.135.217.7:80"},
        {"https":"125.70.13.77:8080"},
        {"https":"118.190.95.35:9001"}
    ]
    for proxy in proxy_list:
        print(proxy)
        #利用遍历出来的ip创建处理器
        proxy_handler = urllib.request.ProxyHandler(proxy)
        #创建opener
        opener = urllib.request.build_opener(proxy_handler)

        try:
            data = opener.open("http://www.baidu.com",timeout=1)

            haha = data.read()
            print(haha)
        except Exception as e:
            print(e)

proxy_user()

付费的ip代理请求

import urllib.request

#付费的代理发送
#1.用户名密码(带着)
#通过验证的处理器来发送

def money_proxy_use():
    # #第一种方式付费代理发送请求
    # #1.代理ip
    # money_proxy ={"http":"username:pwd@192.168.12.11:8080"}
    # #2.代理的处理器
    # proxy_handler=urllib.request.ProxyHandler(money_proxy)
    #
    # #3.通过处理器创建opener
    # opener = urllib.request.build_opener(proxy_handler)
    # #4.open发送请求
    # opener.open("http://www.baidu.com")
    # #第二种方式发送付费的ip地址
    use_name = "abcname"
    pwd = "123456"
    proxy_money = "123.158.63.130:8888"
    #2.创建密码管理器,添加用户名和密码
    password_manager = urllib.request.HTTPPasswordMgrWithDefaultRealm()
    #uri定位 uri>url
    #url 资源定位符
    password_manager.add_password(None,proxy_money,use_name,pwd)
    #3.创建可以验证代理ip的处理器
    handle_auth_proxy = urllib.request.ProxyBasicAuthHandler(password_manager)
    #4.根据处理器创建opener
    opener_auth = urllib.request.build_opener(handle_auth_proxy)
    #5.发送请求
    response = opener_auth.open("http://www.baidu.com")
    print(response.read())

    #爬取自己公司的数据,做数据分析
    #admin

money_proxy_use()

访问内网

import urllib.request

def auth_nei_wang():
    #1.用户名密码
    user = "admin"
    pwd = "adimin123"
    nei_url = "http://192.168.179.66"


    #2.创建密码管理器
    pwd_manager = urllib.request.HTTPPasswordMgrWithDefaultRealm()

    pwd_manager.add_password(None,nei_url,user,pwd)

    #创建认证处理器(requests)
    auth_handler = urllib.request.HTTPBasicAuthHandler(pwd_manager)

    opener = urllib.request.build_opener(auth_handler)

    response = opener.open(nei_url)
    print(response)


auth_nei_wang()

知识小结

1.创建request

request = urllib.request.Request(url)

2.动态添加用户代理

request.add_header("User-Agent","Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36")

3.获取请求头的信息(所有的头的信息)

request_headers = request.headers
print(request_headers)

4.第二种方式打印headers的信息

#注意点:首字母需要大写,其他字母都小写
request_headers = request.get_header("User-agent")
print(request_headers)

5.每次请求的浏览器都是不一样的

user_agent_list = [
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1",
        "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
        "Opera/9.80 (Windows NT 6.1; U; zh-cn) Presto/2.9.168 Version/11.50"

    ]
#每次请求的浏览器都是不一样的
random_user_agent = random.choice(user_agent_list)

6.为urlopen添加代理的功能
系统的urlopen并没有添加代理的功能所以需要我们自定义这个功能
安全 套接层 ssl第三方的CA数字证书
http–>80端口 和https–>443端口
urlopen为什么可以请求数据 handler处理器
自己的oppener请求数据
7.添加代理
免费代理的写法：
“http”:“http://ip地址：端口号” 例如

“http”:“http://120.77.249.46:8080”

写法二：

“http”:“120.77.249.46:8080”

付费代理的写法：
“http”:“账号”:密码@ip地址

“http”:“xiaoming”:123@115.12.44

8.IP分类
透明：对方知道真实的ip
匿名：对方不知道我们真实的ip，知道了你使用了代理
高匿：对方不知道我们真实的IP，也不知道我们使用了代理

Sparky*
关注
专栏目录
廖雪峰Python2&3合集
01-06
【标题】"廖雪峰Python2&3合集"是一个综合性的学习资源，它整合了Python 2和Python 3的主要知识点，旨在为学习者提供一个全面且易懂的Python编程教程。廖雪峰，作为知名的编程教育者，他的教程以清晰、实用著称，...
python爬虫(廖雪峰商业爬虫)
热门推荐
youyoudao
02-09 1万+
文章目录入门 入门 抓取图片并保存 import requests url = 'https://ss0.baidu.com/73x1bjeh1BF3odCf/it/u=1855917097,3670624805&a
Python大牛廖雪峰13个案例带你全面掌握商业爬虫！
Python之禅
09-25 6057
Python简直就是万能的，你用Python都做过哪些事？用网页看各大网站的VIP视频，用python下载？用Python玩跳一跳，跳到50000分？过年过节各大亲友群、...
Python 爬虫：把廖雪峰的教程转换成 PDF 电子书
ZCC的专栏
08-03 6477
Python 爬虫：把廖雪峰的教程转换成 PDF 电子书系统要求python3.4以上版本, 不支持python2.x准备工具requests、beautifulsoup 是爬虫两大神器，reuqests 用于网络请求，beautifusoup 用于操作 html 数据。有了这两把梭子，干起活来利索。scrapy 这样的爬虫框架我们就不用了，这样的小程序派上它有点杀鸡用牛刀的意思。此外，既然是把 h
廖雪峰python教程-福利 | 廖雪峰官方Python教程，拿走不谢!
q6q6q的专栏
10-28 1000
原标题：福利 | 廖雪峰官方Python教程，拿走不谢!Python简直就是万能的，你用Python都做过哪些事？用网页看各大网站的VIP视频，用python下载？用Python玩跳一跳，跳到50000分？过年过节各大亲友群、红包群抢红包还用Python？若问今年最火的一门编程语言是什么？答案一定是Python。这把火已经烧到了程序员的圈子外，从小学生到职场老司机，都开始学习这一门新的语言，门槛低...
给大家分享一篇 爬虫：把廖雪峰的教程转换成 PDF 电子书
qq_41235053的博客
08-08 1506
写爬虫似乎没有比用 Python 更合适了，Python 社区提供的爬虫工具多得让你眼花缭乱，各种拿来就可以直接用的 library 分分钟就可以写出一个爬虫出来，今天就琢磨着写一个爬虫，将廖雪峰的 Python 教程 爬下来做成 PDF 电子书方便大家离线阅读。 开始写爬虫前，我们先来分析一下该网站1的页面结构，网页的左侧是教程的目录大纲，每个 URL 对应到右边的一篇文章，右侧上方是文章的标...
廖雪峰Python教程[完整版]
05-04
【标题】"廖雪峰Python教程[完整版]"是一份全面的Python编程学习资源，由知名技术博主廖雪峰编写，旨在帮助初学者快速入门Python编程。这份教程以其易懂和实用的特点，深受广大编程爱好者的欢迎。 【描述】提到...
python2.7教程廖雪峰
06-23
- **作者背景**：教程作者廖雪峰具有十年以上的软件开发经验，精通多种编程语言，对开源技术和框架有着深入的研究。 - **教程特色**： - 简洁明了：适合初学者快速上手。 - 实例丰富：通过实际案例加深理解。 - ...
廖雪峰python3爬虫教程_Scrapy爬虫框架入门教程（1）——爬取廖雪峰老师的博客...
weixin_39521068的博客
11-26 321
最近一直在学习scrapy，但是网上关于scrapy的教程实在是太少，能找到的教程大多都是基于py2.7/scrapy0.2以下，甚至很多教程都是互相抄袭，连代码都抄漏了好多，更别提各种缩进错误、变量名错误、导入错误了等等。趁着最近正在撸scrapy的官方教程，想着做几个小爬虫促进一下学习、加深印象，就写下了这篇不算教程的“教程”。我也深知，知乎上大牛太多了，所以恳请各位能多多指教！在你看这个教程...
Python爬取廖雪峰Python教程
Kingson_Xu的博客
03-21 2032
之前在廖雪峰老师的官方网站上学习python的时候，就想着哪一天学会爬虫的时候把教程内容给爬下来。刚好最近在中国大学mooc上学习了嵩天老师的爬虫课程，课程即将结束，期末的大作业就是自己写一个爬虫，于是写了个小爬虫，爬取了廖老师python教程的一些内容，作为mooc上的作业，也对这段时间学习爬虫做点小结。 代码如下：import re import requests from bs4 impor
廖雪峰 Python 商业爬虫课程视频资料
01-24
这个爬虫课程包含13个项目案例实战，不仅教你最专业的商业爬虫，还教你怎么反爬虫，当然更会教你怎么破解反爬虫，如：伪装http头、使用ip代理池、破解验证码和模拟登录......等。
【廖雪峰】python爬虫--------学习记录day07（bs4）
weixin_46061565的博客
05-08 145
from bs4 import BeautifulSoup html_doc = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title"><b>The Dormouse's story</b></p> <p class="story">Once upon a tim
【廖雪峰】python爬虫------------学习记录day05（正则re）
weixin_46061565的博客
05-04 163
正则表达式re模块 1、贪婪模式、非贪婪模式 import re # 贪婪模式 从开头匹配到结尾 默认 # 非贪婪 one = 'mdfsdsfffdsn12345656n' two = "a\d" pattern = re.compile('a\b') # pattern = re.compile('m(.*?)n') result = pattern.findall(two) print(result) 2、 . 除了 换行符号\n 之外的 匹配 import re # . 除了 换行符号\
我的第一个Python3 网络爬虫 百度百科爬虫
金甲虫的博客
02-20 3438
最近学习Python 廖雪峰老师的Python 3教程 想要用项目练练手。Python网络爬虫看起来是不错的练手项目，于是着手学习爬虫的制作。 一开始并没有什么头绪，直到看到了慕课网的Python爬虫教程。 这个教程基于python2，但是给了我爬虫的基本思路。接着我用python3写了该教程上的百度百科（弱智）爬虫。百度百科(弱智)爬虫 基于python3功能简介爬取与某个百科页面相关的几
廖雪峰爬虫第一节
sparky的博客
05-02 492
http中的一些基本名词 requestheader — 请求头里面 response — 返回数据 Accept — 文本格式 Accept-Encoding— 编码格式 Connection— 长链接 短连接 Cookie— 验证用的 Host— 域名 Referer— 标志从哪个页面跳转过来的 User-Agent— 浏览器和用户的信息 爬虫的基本原理 确认你抓取目标的url是哪一个（找）...
廖雪峰python爬虫-最新廖雪峰Python 商业爬虫课程【全套完整课程】
weixin_39883440的博客
11-11 654
【课程大纲】网络爬虫简介.爬虫的价值.爬虫的合法性问题.通用爬虫与聚焦爬虫HTTP与HTTPS.HTTP原理.HTTP和HTTPS.HTTP请求过程.get和post请求.常用请求报头.响应网页的组成与结构.HTML与HTML5.CSS&CSS3.Javascript掌握Xpath.什么是XPath？.XPath 开发工具.XPath语法交互环境requests的使用.requests的get请求...
百度网盘：廖雪峰老师官方爬虫教程，13个案例带你全面入门
weixin_30376453的博客
02-22 1787
百度网盘：https://pan.baidu.com/s/1snDwyC5iiJvzTHrm5FJ3og 转载于:https://www.cnblogs.com/humans/p/10419898.html
Python学习笔记- 廖雪峰教程【python 2】//为继续学习爬虫准备-02 [待完善]
NaomiEdna的博客
09-24 2680
装饰器的作用： 1 简化代码，避免每个函数编写重复性代码：打印日志@log，检测性能 @performance，数据库事务 @transaction，URL路由@post('/register') import time def performance(f): def fn(*args, **kw): t1 = time.time() r =
廖雪峰JavaScript、Python和Git开发教程
廖雪峰 JavaScript Python Git 教程 本资源是廖雪峰的 JavaScript、Python、Git 教程，涵盖了JavaScript 编程语言、Python 编程语言和 Git 版本控制系统的基础知识和应用。 JavaScript 教程 JavaScript 是一种...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Sparky*

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值