python爬虫笔记

请求对象的定制

url的组成

 http/https        www.baidu,com                80/443                s                        wd                #

  协议                        主机                        端口号                路径                参数                锚点

UA介绍：user agent 中文名为用户代理，简称UA，他是一个特殊字符串头，使得服务器能够识别客户使用的操作系统以及版本、cpu类型、浏览器以及版本。浏览器内核、浏览器渲染引擎、浏览器语言、浏览器插件等

在遇到UA反爬的时候，我们要使用urllib.request.Request来模拟我们真实的浏览器访问页面

编解码

如上图：我们请求爬取的网页名为：https://www.baidu.com/s?wd=周杰伦

但是在ASCII码中，周杰伦这三个字是不能被识别的，这个时候我们要学会解码

get请求方式

通过这个方法，我们可以将汉字转换为我们需要的unicode编码

        这时我们需要引入        urllib.parse 这个包        中的quote函数 将周杰伦这三个字转换为unicode编码

#将汉字转化成对应的unicode编码