Python爬虫1-使用urlopen

GitHub代码练习地址：https://github.com/Neo-ML/PythonPractice/blob/master/SpiderPrac01_urlopen.py

爬虫简介
- 爬虫定义：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），
是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。
另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
- 两大特征
    - 能按作者要求下载数据或者内容
    - 能自动在网络上流窜
- 三大步骤：
    - 下载网页
    - 提取正确的信息
    - 根据一定规则自动跳到另外的网页上执行上两步内容

urllib
- 包含模块
    - urllib.request: 打开和读取urls
    - urllib.error： 包含urllib.request产生的常见的错误，使用try捕捉
    - urllib.parse:  包含解析url的方法
    - urllib.robotparse: 解析robots.txt文件

转载于:https://www.cnblogs.com/sl0309/p/10467476.html