python爬虫

python爬虫

安装jupyter

控制台输入pip install jupyter

注意：一般会报错 不能直接安装

安装Python 3.9并尝试安装jupyter笔记本后，我遇到类似的问题。您需要转到以下URL：https : //visualstudio.microsoft.com/visual-cpp-build-tools/ //前面的地址输入到浏览器中 然后按回车 926并下载Microsoft Build工具（只需单击蓝色的大按钮）。下载并执行安装程序后，将为您提供各种选择：Microsoft C ++构建工具是其中之一。单击复选框，然后选择安装。安装完成后，您将需要重新启动计算机。在那之后运行pip再次安装jupyter，一切都应该没问题。

如果上面的方法不能直接安装 使用中国清华大学的镜像

pip install -i http://pypi.tuna.tsinghua.edu.cn/simple

打开方式 进入指定的文件之后命令行输入jupyter notebook即可浏览器中打开

注意：jupyter内置markdown编辑器模式 按M就变成了markdown模式 可以随时笔记

1.requests 安装

pip install requests

import requests  //引入库
r = requests.get('http://www.baidu.com')
r.status_code  //查看状态码  如果是200 表示 获取成功
r.encoding = 'utf-8'  
r.text  //表示打印获取的内容

1.2、 Requests库的7个主要方法

2、requests.get(url)//

获取一个网页的数据最快的方法

Response对象的属性

当我们encoding不能解析代码的时候我们要用apparent_encoding来解析这个更准确一些 因为这个方法是实实在在的去网页里的内容解析的

理解Requests库的异常

HTTP协议

HTTP协议对资源的操作

Requests库主要方法解析

爬虫实例爬取京东页面