学习笔记整合—如何用爬虫获取我们熟悉的网站页面设计

此处以腾讯为例

我们需要获取如下页面的数据

import requests #导入request模块，该模块的作用是模拟浏览器发出请求，切记导入之前需要在设置setting里面安装好
if __name__=='__main__':
    #step 1：指定应该url,url是统一资源定位符(Universal Resource Locator，URL)，又叫做网页地址，是互联网上标准的资源的地址（Address）,可以直接在浏览器获取
    url='https://qq.com'#这里以腾讯为例
    #step 2：发起请求
    #get方法会获得一个响应对象，并且存到response。request是代表HTTP请求信息的对象，response是代表HTTP响应信息的对象。
    #Http是用于从万维网服务器传输超文本到本地浏览器的传送协议。
    #超文本传输协议(HTTP)是面向事务的（Transaction-oriented）,应用层协议规定了在浏览器和服务器之间的请求和响应的格式和规则，它是万维网上能够可靠交换文件（包括文本、声音、图像等各种多媒体文件）的重要基础。
    response = requests.get(url=url)#构造一个向服务器请求资源的url对象
    text = response.text
    print(text)#打印爬取的数据
    with open('qq.com.html','w',encoding='utf-8') as fp:#with open("文件名","w") 此处w可以是不同的模式，例如读写模式等等；encoding：utf-8是文件默认编码方式
        #w: 打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。
        fp.write(text)
    print("爬页面数据结束")

结果：