学习 Python 爬虫的第一天

网络爬虫

• 网络爬虫英文是 Web Crawler，网络爬虫是按照一定规则自动抓取网页信息的程序。
• 网络爬虫也可以叫做网络蜘蛛（Web Spider）。
• 网络爬虫就是自动化从网页上获取信息、提取信息和保存信息的过程。

URL

• 日常我们访问的每个网站都是通过链接打开的。
• 这里的链接也叫做URL。
• URL全称 Uniform Resource Locator，即统一资源定义符，制定了我们要查找资源的地址。
• 百词斩首页链接为 http://www.baicizhan.com/
• 夜曲首页链接为 http://np.baicizhan.com/
• 规律 http（访问协议） + : + // + 主机名（hostname） + /
• 主机名后面的“/”可以直接加文件路径名称，这里的文件名称是可以省略的，省略了默认是首页，不省略的会根据文件名路径链接到对应页面。

总结 URL 知识点

1. HTTP 的作用与快递公司相似。
2. 主机名是计算机的名字。
3. 服务器是用于管理资源的。
4. 文件路径能够指定访问资源的具体位置。
5. URL 数据的类型是字符串。