【1】20220801爬虫模块

一、前提知识

1. 字符串
   1. 格式string
   2. ascii
   3. str与byte的转换
      1. str转byte
         1. x.encode()
      2. byte转str
         1. x.decode("utf-8")
         2. x.decode("gbk")
2. HTTP请求头
   1. HTTP超文本传输协议
   2. HTTPS比HTTP更安全
3. markdown语法
   1. - bullet point
   2. # 标题
   3. 爬虫流程
      1. url 发送请求获取相应-提取数据-保存
      2. 发送请求获取响应-提取url
      3. ```中间是代码内容 是代码被引用的样子```
4. url形式
   1. scheme 如http https的协议
   2. host服务器IP或者域名
   3. path资源路径
   4. query-string参数 发给服务器的数据
   5. anchor 锚点 跳转到网页指定锚点
5. HTTP请求形式
6. request headers
   1. 带上足够的字段模拟浏览器
   2. 常见请求头

1. 爬虫
   1. 通用：搜索引擎
   2. 聚焦：针对特定网站

• 1. 动态-JS

二、爬虫基础知识

1. 应用场景
   1. 微信-搜狗微信
   2. 12306-同程旅游
   3. 抢票-投票-短信轰炸
2. 概念
   1. click其实是请求
3. 分类
4. 工作流程
5. robots协议

*pagerank算法是搜索引擎排名逻辑基础