Python网络爬虫
囧魔王
不积硅步,不成千里
展开
-
【Python爬虫】利用Python的requests库进行一次比较全面的数据爬取操作)
【Python爬虫】利用Python的requests库进行一次比较全面的数据爬取操作)前言:先做一下自我介绍,本人并非本专业毕业的专业人士,之前有两年的Java Web开发工作经验,近期刚刚接触到Python的爬虫知识,自学了大概一段时间,现在想把自己学习过程中遇到的问题和大家分享一下,这些代码都是自己摸索尝试出来的,其中可能有一些设计并不是很合理,希望大家能给出意见,这篇文章很适合刚刚接触...原创 2018-11-29 23:16:18 · 2382 阅读 · 1 评论 -
【Python爬虫】利用Python的requests库进行一次比较全面的数据爬取操作)二
【Python爬虫】利用Python的requests库进行一次比较全面的数据爬取操作)二上篇文章我们已经对抓取某个url的html代码的方法进行了封装,下面我们就要用这个函数进行抓取工作了,首先还是要继续分析下网站通过主路由进入网站后我们可以发现我们先要继续深入的一些url地址,在进入每一个找到的url直到定位到我们需要爬去的位置上在开始解析:这些导航栏分别对应着不同的url的地址我们点...原创 2018-11-30 15:29:27 · 706 阅读 · 0 评论 -
【Python爬虫】利用Python的requests库进行一次比较全面的数据爬取操作)三
【Python爬虫】利用Python的requests库进行一次比较全面的数据爬取操作)三今天经过反复的调试终于成功抓取了14多万条数据,期间老是引文报错导致程序终端,或者是数据数量不对的情况,所以重新修封装了获取html的类把所有可能出现的异常全部捕获后递归重复调用下面是重新封装后的代码:这里针对不同报错都采取了重新调用的方法,写这么except只是为了观察在抓取过程中经常出现的错误,递...原创 2018-12-03 23:01:46 · 868 阅读 · 0 评论