我在B站上课，某博士教我如何PYTHON爬虫 上课笔记 （1）

Python爬虫知识点整理

mongodb数据库 介于关系型数据和非关新型书库

依据关系模型创建的数据库 1-1 1- 对多 多-多

特点 安全 但是不节省空间 仍要分配空间

非关系模型 HBASE 列

文档类模型 MongoDB 缺点转存到磁盘中

键值对

Win10
www.mongodb.com/try/download/community

下载好mongodb 之后，确定用nvicat链接

Netstat -an

出现这个27017的端口 MONGO就安装完了

Requests模块支持的服务

GET:当客户端向 WEB服务器请求一个资源的时候使用

GET
Requests模块支持的http方法

PUT：当客户端向Web服务端URL发送一个替换的文档或者上传一个新文档的时候使用

Response

GET: 当客户端向Web服务器请求一个资源的时候使用
Get方法是最简单最常用的请求方法
他被用来访问静态资源 html文档或图片

HEAD 当客户端向Web服务器请求一个资源的一些信息而不是资源的全部信息的时候使用
主要用于确认URL的有效性以及资源更新的日期时间等

POST 当客户端向服务端发送信息或者数据的时候使用，表单提交
PUT 一般指客户端向Web服务端指定URL发送一个替换的文档或者上传一个新文档的时候使用

DELETE 尝试从WEB服务端删除一个由请求URL唯一识别的文档使用

request header请求头 数据

外网IP地址为

117.100.126.51

通过百度搜索查询到的

这是内网IP 如果是 阿里云服务器 或者腾讯服务器的IP就不再是以192.开头了

提交密码的时候常见

以下是求出过程

通过 JSON求IP地址

Print(response.status_code) 传回状态码

200 成功 302 跳转 404 错误 500 遇到了一些闻所未闻的状态

请求超时: 设置？

异常 如果遇到连接问题 会抛出connnection异常
设置代理，隐藏请求

通过get请求访问登录页面还没有填用户名密码

-t时间戳

代理
找到IP地址的方法 http://pv.sohu.com/cityjson 通过这个URL访问IP地址也可以

#1 挑选代理厂商 阿布云 知名代理 快代理
把代理信息设置到代码中
Proxy ={
“http”:”http://”

不写了 还有好多才看到第八个视频

/.当前节点 /。。当前副标题
/spon