Python爬虫技术3：获取数据_python爬虫获取data uri scheme 数据

最新推荐文章于 2024-09-09 00:00:00 发布

rr8f2haQf

最新推荐文章于 2024-09-09 00:00:00 发布

阅读量372

点赞数 4

分类专栏：程序员文章标签： python 学习面试

本文链接：https://blog.csdn.net/rr8f2haQf/article/details/138760476

版权

程序员专栏收录该内容

259 篇文章 0 订阅

订阅专栏

现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。

分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

模拟结果：
在这里插入图片描述
在httpbin.org网站上看到的结果：

3.超时处理
防止爬虫的网页相应失败而停滞不前

#超时处理（异常处理）
try:
    response=urllib.request.urlopen("http://httpbin.org/get",timeout=0.01)
    print(response.read().decode('utf-8'))
except urllib.error.URLError as e:
    print("timeout!")

response=urllib.request.urlopen("http://douban.com")
# print(response.status)
print(response.getheaders())

在这里插入图片描述
418表示被网站发现你在爬虫
（百度可以，我们改用百度）

#response不仅可以返回请求的网页信息，还可以查看一些头部等等响应信息
response=urllib.request.urlopen("http://www.baidu.com")
print(response.getheaders())
print(response.getheader("Server"))

在这里插入图片描述

与百度网站分析相比：
在这里插入图片描述
是可以获取到相应的响应头部信息的。

4.伪装自己
从上面的结果可以看到，模拟的User-agent与真实的浏览器的User-agent是不一样的，因此会被识破，所以我们接下来要伪装自己，达到与浏览器真实的响应一样的结果。

例子1：使用post访问httpbin.org

import urllib.parse
url="http://httpbin.org/post"
headers={
#伪装自己
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.106 Safari/537.36"
}
data=bytes(urllib.parse.urlencode({"name":"vivian"}),encoding="utf-8")
req=urllib.request.Request(url=url,data=data,headers=headers,method="POST") #被我们封装的请求对象
response=urllib.request.urlopen(req)
print(response.read().decode("utf-8"))

在这里插入图片描述
例子2：使用get访问豆瓣

import urllib.parse
url="https://douban.com"
headers={
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.106 Safari/537.36"
}
req=urllib.request.Request(url=url,headers=headers)
response=urllib.request.urlopen(req)
print(response.read().decode("utf-8"))

在这里插入图片描述

二、获取数据
在这里插入图片描述

#-\*- coding = utf-8 -\*-
#@Time : 2020/9/8 23:17
#@Author : Vivian
#@File : spider.py
#@Sofeware : PyCharm

from bs4 import BeautifulSoup  #网页解析，获取数据
import re   #正则表达式，进行文件匹配
import urllib.request,urllib.error  #指定URL，获取网页数据
import xlwt #进行excel操作
import sqlite3  #进行SQLite数据库操作


def main():
    baseurl="https://movie.douban.com/top250?start="
    #1.爬取网页
    datalist=getData(baseurl)

    savepath=".\\豆瓣电影Top250.xls"
    #3.保存数据
    #saveData(savepath)

    askURL("https://movie.douban.com/top250?start=0")

#爬取网页
def getData(baseurl):
    datalist=[]
    for i in range(0,10):       #调用获取页面信息的函数：十次
        url=baseurl+str(i\*25)
        html=askURL(url)        #保存获取到的网页源码

        # 2.逐一解析数据
    
    return datalist

#得到指定一个URL的网页内容
def askURL(url):
    head={      #模拟浏览器头部信息向豆瓣服务器发送消息 注意空格去掉
        "User-Agent": "Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 80.0.3987.106Safari / 537.36"
    }


### 最后

Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

#### 👉Python所有方向的学习路线👈

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

![](https://img-blog.csdnimg.cn/img_convert/604bae65027d4d67fb62410deb210454.png)

#### 👉Python必备开发工具👈

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

![](https://img-blog.csdnimg.cn/img_convert/fa276175617e0048f79437bd30465479.png)



#### 👉Python全套学习视频👈

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

![](https://img-blog.csdnimg.cn/img_convert/16ac689cb023166b2ffa9c677ac40fc0.png)



#### 👉实战案例👈



学python就与学数学一样，是不能只看书不做题的，直接看步骤和答案会让人误以为自己全都掌握了，但是碰到生题的时候还是会一筹莫展。



因此在学习python的过程中一定要记得多动手写代码，教程只需要看一两遍即可。

![](https://img-blog.csdnimg.cn/img_convert/0d8c31c50236a205928a1d8ae8a0b883.png)



#### 👉大厂面试真题👈

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

![](https://img-blog.csdnimg.cn/img_convert/99461e47e58e503d2bc1dc6f4668534a.png)

**[需要这份系统化学习资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4304bb5a486d4c3ab8389e65ecb71ac0)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

rr8f2haQf

关注

4
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
Python爬虫技术3：获取数据_python爬虫获取data uri scheme 数据

现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。从上面的结果可以看到，模拟的User-agent与真实的浏览器的User-agent是不一样的，因此会被识破，所以我们接下来要伪装自己，达到与浏览器真实的响应一样的结果。分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习。
复制链接

扫一扫