Python爬虫第一周---CSDNTop博客的抓取

作业:
通过本周学习的内容, 使用urllib,re,lxml模块编写爬虫文件抓取CSDNTop博客的抓取.
注意事项:
1.文件命名规范.
2.注释清晰.
3.运行结果符合预期效果 .
思路提示:
1.ip代理的使用.
2.User-Agent伪装header,
3.urllib发送浏览器请求.
4.xpath解析方式.
5.文件的读写方式.
6.冒泡排序对阅读量进行排序.
作业内容:
1.User-Agent

注:
1.构建了pc端和移动端的User-Agent数据集,类型是列表格式.
2.引用Python的random模块,定义2种User-Agent数据集的随机选择方法,每次调用随机选择一个User-Agent.
2.IP代理

注:
1.通过range构建快代理网页的url,使用xpath获取免费代理IP,存储到定义好的data中.
2.getIP方法,是随机选取一个ip返回.

3.爬虫主文件
1.导入的包

2.定义的方法

4.调用

代码运行结果:

本周心得:

1.巩固了之前基础部分的知识,对函数的调用和Python模块包的自定义有了更加深刻的了解和认识.
2.体会到了爬虫的神奇和强大,期待在学习完成后可以自己写一个12306抢火车票的脚本!!!