Python爬虫入门到精通（1）

# 爬虫--通过编写程序模拟浏览器上网，在网页上榨取数据

# 爬虫具有法律风险但不被禁止：

# --不能涉及个人用户的隐私信息和国家机密以及受到法律保护的信息

# --要时常优化程序

# 爬虫的分类：

# --通用爬虫：抓取系统中重要组成部分，抓取的是一整张页面

# --聚焦爬虫：建立在通用爬虫的基础上，抓取页面中局部内容

# --增量式爬虫：检测网站中数据更新的情况只会抓取最新更新出来的内容

# 爬虫的矛盾：

# --反爬机制：通过制定相关的策略和技术进行防止爬虫程序获取数据

# --反反爬机制：爬虫程序可以通过制定策略和技术手段破解反爬机制进而获取数据

# robots.txt协议--反爬机制：

# --规定了什么数据可以爬取--不是强制的规定君子协议

# http协议：

# --服务器和客户端的数据交互的一种形式

# 请求头信息：

# --User-Agent:请求载体的身份标识

# --Connection:请求完毕后，是断开还是保持连接

# 响应头信息：--Content-Type:服务器响应客户端的数据类型

# https协议：

# --安全的超文本协议

# 加密方式：从上到下加密依次加强第三种证书密钥加密为最终加密形式

# --对称密钥机密方式

# --非对称密钥加密方式

# --证书密钥加密方式

# requests模块：python中一种原生的基于网络请求的模块

# --模拟浏览器发出请求

# 如何使用requests模块（编码流程）！！！

# --指定url

# --发起请求

# --获取响应数据

# --持久化储存

# 爬取搜狗首页数据

# import requests

#

# if __name__ == '__main__':

# # 指定url

# url = 'https://www.sogou.com/'

# # 发起请求

# # --get方法返回一个响应对象

# response = requests.get(url=url)

# # 获取相应对响应对象

# page_text = response.text # 返回的是字符串形式响应数据

# print(page_text)

# # 持久化储存数据

# with open('./sogou.html', 'w', encoding='UTF-8') as e:

# e.write(page_text)

# print('爬取数据结束！！')

 

 

# 对指定的url发起请求

# UA：User-Agent(请求载体身份证明)

# UA检测：门户网站的服务器会检测对应请求的载体身份标识，如果检测到请求的载体身份标识为

# 某一款浏览器说明这个请求时一个正常的请求，但是相反则为非正常请求（爬虫），则服务器拒绝请求

# UA伪装：让爬虫的请求的身份标识伪装成某一款浏览器

import requests

 

if __name__ == '__main__':

    # UA伪装将对应的User-Agent封装到字典中

    headers = { # 反反爬机制

        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '

                      'Chrome/92.0.4515.131 Safari/537.36 SLBrowser/8.0.1.5162 SLBChan/105' # 伪装的身份标识

    }

    url = 'https://www.sogou.com/web'

    # 处理url携带的参数：封装在字典中

    keyword = input('enter a word：')

    param = {

        'query': keyword

    }

    # 对指定的url发起请求url是携带参数的，并在请求过程中处理参数

    response = requests.get(url=url, params=param, headers=headers)

    page_text = response.text

    fileName = keyword + '.html'

    with open(fileName, 'w', encoding='UTF-8') as e:

        e.write(page_text)

    print(fileName, '爬取成功！！')