【DataMining week3】

Web Scraping 流程

HTTP requests -> check response（因为获取可能失败） -> parse response -> store

HTTP

HTTP 协议，hypertext transfer protocol 超文本传输协议
HTML 数据文件

URL

URL，想要获取的文件在服务器中的地址
例子：
https://www.youtube.com/watch?v=asdsadad&key2=value2
protocal://subdomian.domain.extension/path?key1=value1&key2=value2

Response

Response_data
User-agent
Refer
Accept

练手网站 httpbin.org

CURL

curl 利用命令行进行网络连接

TCP-IP

应用层 HTTP协议

传输层 TCP协议，增加TCP头，包含端口号，序列号

三次握手

SYN,synchronize
ACK,acknowledgement

四次挥手

网络互联层 IP协议，增加IP头部，包含源IP地址

根据端口号识别本机中正在进行通信的应用程序，并准确地将数据进行传输

IP地址由网络标识和主机标识两部分标识组成

网络访问层，增加以太网头，包含MAC地址

在数据链路中，MAC地址（Media Access Control Address）是用来标识同一个链路中不同计算机的一种识别码

物理层

request包

session，保持联系
HTML
selenium
json