Python爬虫技术3：获取数据_python爬虫 获取data uri scheme 数据(2)

现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。

分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

418表示被网站发现你在爬虫
（百度可以，我们改用百度）

#response不仅可以返回请求的网页信息，还可以查看一些头部等等响应信息
response=urllib.request.urlopen("http://www.baidu.com")
print(response.getheaders())
print(response.getheader("Server"))

与百度网站分析相比：

是可以获取到相应的响应头部信息的。

4.伪装自己
从上面的结果可以看到，模拟的User-agent与真实的浏览器的User-agent是不一样的，因此会被识破，所以我们接下来要伪装自己，达到与浏览器真实的响应一样的结果。

例子1：使用post访问httpbin.org

import urllib.parse
url="http://httpbin.org/post"
headers={
#伪装自己
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.106 Safari/537.36"
}
data=bytes(urllib.parse.urlencode({"name":"vivian"}),encoding="utf-8")
req=urllib.request.Request(url=url,data=data,headers=headers,method="POST") #被我们封装的请求对象
response=urllib.request.urlopen(req)
print(response.read().decode("utf-8"))

例子2：使用get访问豆瓣

import urllib.parse
url="https://douban.com"
headers={
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.106 Safari/537.36"
}
req=urllib.request.Request(url=url,headers=headers)
response=urllib.request.urlopen(req)
print(response.read().decode("utf-8"))

二、获取数据

#-\*- coding = utf-8 -\*-
#@Time : 2020/9/8 23:17
#@Author : Vivian
#@File : spider.py
#@Sofeware : PyCharm

from bs4 import BeautifulSoup  #网页解析，获取数据
import re   #正则表达式，进行文件匹配
import urllib.request,urllib.error  #指定URL，获取网页数据
import xlwt #进行excel操作
import sqlite3  #进行SQLite数据库操作


def main():
    baseurl="https://movie.douban.com/top250?start="
    #1.爬取网页
    datalist=getData(baseurl)

    savepath=".\\豆瓣电影Top250.xls"
    #3.保存数据
    #saveData(savepath)

    askURL("https://movie.douban.com/top250?start=0")

#爬取网页
def getData(baseurl):
    datalist=[]
    for i in range(0,10):       #调用获取页面信息的函数：十次
        url=baseurl+str(i\*25)
        html=askURL(url)        #保存获取到的网页源码

        # 2.逐一解析数据
    
    return datalist

#得到指定一个URL的网页内容
def askURL(url):
    head={      #模拟浏览器头部信息向豆瓣服务器发送消息 注意空格去掉
        "User-Agent": "Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 80.0.3987.106Safari / 537.36"
    }
            #用户代理：告诉豆瓣服务器我们是什么类型的机器（浏览器）（表示我们可以接收什么水平的文件内容）

    request=urllib.request.Request(url,headers=head)
    html=""
    try:
        response=urllib.request.urlopen(request)
        html=response.read().decode("utf-8")
        print(html)
    except urllib.error.URLError as e:
        if hasattr(e,"code"):
            print(e.code)
        if hasattr(e,"reason"):
            print(e.reason)
    return html



#保存数据
def saveData(savepath):
    pass

if __name__ == "\_\_main\_\_":      #当程序执行时（入口）
    #调用函数
    main()

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

五、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！