python爬虫学习12

python爬虫学习12

• robotparser

  ​ 上一篇我们一同了解了Robots协议，了解协议之后我们就可以使用robotparser模块来解析robot.txt文件了。

  • RobotFileParser

    • 声明：

      

      只需要在使用该类时传入robot.txt的url连接即可

    • set_url ()方法：用来设置robot.txt文件的连接

      

    • read()方法：读取robot.txt文件进行分析

      

    • parse（）方法：用于解析robot.txt文件

      

    • can_fetch（