pycharm安装教程
pycharm安装教程
安装requests模块
爬虫 模拟浏览过程并记录
https://www.zhihu.com/robots.txt
像这样在网址最后加一个/robots.txt 可以看这个网页哪些内容让爬。虽然不让爬的也能通过手段爬出来,但那就跟考试作弊一样了。
爬虫分类
通用爬虫:抓取一整张页面数据
聚焦爬虫:拿通用爬虫爬来的数据 抓取页面中指定的局部内容
增量式爬虫:只抓取网站中更新出来的内容
-
爬虫中常用的请求头信息
User-Agent 请求载体的身份标识
UA(User-Agent)是一个特殊字符串头,使得服务器能够识别客户使用的操系统及版本、CPU类型、浏览器及版本、浏览器渲染引擎、浏览器语言等。
一些网站常常通过 UA 来给不同的操作系统、不同的浏览器发送不同的页面。
UA字串的标准格式:浏览器标识(操作系统标识;加密等级标识;浏览器语言)渲染引擎标识 版本信息
常见 User-Agent 大全
Connection 请求完毕后是断开连接还是保持连接 -
爬虫中常用的响应头信息
Content-Type 服务器相应回客户端的数据类型
http协议没加密,https协议有加密
对称秘钥加密:把文件和钥匙都给出去。对称密钥在加密和解密的过程中使用的密钥是相同的,如果所有客户端都共享同一个密钥,那么这个密钥就像万能钥匙一样,可以凭借一个密钥破解所有人的密文了,如果每个客户端与服务端单独维护一个密钥,那么服务端需要管理的密钥将是成千上万
非对称秘钥加密:把文件和加密方法给出去,解密方法自己留着
证书秘钥加密:用第三方认证发来的加密方法是真的
requests模块的编码流程
1 指定url //确定网址
2 发起请求 //回车 发送给服务器
3 获取响应数据 //显示网页页面
4 持久化存储
# encoding: utf-8
import requests
if __name__=="__main__":
#step1:指定url
url ='https://fanyi.sogou.com/text' #'https://www.sogou.com/'
#step_2:发起请求
#get方法会返回一个响应对象
response = requests.get(url=url)
#step_3:获取响应数据text返回的是字符串形式的响应数据
page_text = response.text
print(page_text)
#step 4:持久化存馈
with open('./sogou.html','w',encoding='utf-8 ' ) as fp:
fp.write(page_text)
print('爬取数据结束!!!')
Python出现"SyntaxError: Non-ASCII character ‘\xe6’ in file"错误解决方法