python爬虫学习1

爬虫的概念

• 爬虫是模拟浏览器发送请求，获取响应。

爬虫的流程

• url—>发送请求，获取响应—>提取数据—>保存
• 发送请求，获取响应—>提取url

HTTP

• 超文本传输协议
• 默认端口号：80

HTTPS

• HTTP + SSL(安全套接字层)
• 默认端口号：443

HTTPS比HTTP更安全，但是性能更低
爬虫要根据当前url地址的响应为准，当前url地址的elements的内容和url的响应不一样，与浏览器所渲染的画面不一样
页面上的数据在哪里

• 当前url地址对应的响应中
• 其他的url地址对应的响应中
  • 比如ajax请求
• js生成的
  • 部分数据在响应中
  • 全部通过js生成的

url的形式

• scheme: 协议（例如：http,https,ftp）
• host: 服务器的IP地址或者域名
• port： 服务器的端口（如果是走协议默认端口 80/443）
• path： 访问资源的路径
• query-string：参数，发送给http服务器的数据
• anchor：跳转到网页指定的锚点位置

HTTP请求的形式

• GET / HTTP/1.1
• Host: www.baidu.com
• Connection: keep-alive
• Cache-Control: max-age=0
• Upgrade-Insecure-Requests: 1
• User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36
• Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,/;q=0.8,application/signed-exchange; v=b3;q=0.9
• Sec-Fetch-Site: none
• Sec-Fetch-Mode: navigate
• Sec-Fetch-User: ?1
• Sec-Fetch-Dest: document
• Accept-Encoding: gzip, deflate, br
• Accept-Language: zh-CN,zh;q=0.9
• Cookie: BIDUPSID=11C0422945762C4F73B4527923B8204E; PSTM=1603198765; BAIDUID=11C0422945762C4FB2BD7D207CCE8704:FG=1; BD_UPN=12314753; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; BAIDUID_BFESS=11C0422945762C4FB2BD7D207CCE8704:FG=1; COOKIE_SESSION=19164_0_8_2_8_0_0_0_8_0_0_0_19161_0_5_0_1606642120_0_1606642125%7C9%23328_6_1605098782%7C3; Hm_lvt_aec699bb6442ba076c8981c6dc490771=1606309975,1606622825,1606647175; H_PS_645EC=0ffcLk9%2FLqT01DVW8UgimaovtcnoQShCtV%2Fx%2Fx9KCsYKb%2FsvbLSlkrZXEGw; BD_HOME=1; H_PS_PSSID=1453_33061_31253_33113_33098_33101_33183_33181_33185; BA_HECTOR=25258k2lak8k002lbu1fs71v10q

Cookie与Session的区别？

• Cookie 存储在浏览器本地，Session存在服务器本地，Cookie有存储上限

常见的请求方法

• GET
• POST
  
  

GET与POST方法有什么区别

• POST请求暂时记住大文件传输与表单提交

响应状态码（status code）

• 200：成功
• 302：临时转移至新的url
• 307：临时转移至新的url
• 404：not found
• 500：服务器内部错误

字符串的复习

• str类型和bytes类型
  • bytes：二进制
    • 互联网上的数据都是以二进制的方式传输的
  • str： Unicode的呈现形式

字符（character）是各种文字和符号的总称，包括国家文字、标点符号、图形符号、数字等

字符集是多个字符的集合

字符集包括：ASCII字符集、GB2312字符集、GB1803字符集、Unicode字符集

ASCII编码是一个字节，Unicode编码通常是两个字节。UTF-8是Unicode的实现方式之一。

str和bytes如何转换

• str使用encode方法转化为bytes
• bytes通过decode转化为str
• 编码方式必须一样，否则会出现乱码

给我自己的福利