先贴出收藏的网站:
正则抓取天涯数据 Webharvest网络爬虫应用总结 试用Web-Harvest python实现网络爬虫下载天涯论坛帖子 多线程抓取天涯帖子内容 关于天涯论坛抓取规则问题 如何用Python,C#等语言去实现抓取静态网页+抓取动态网页+模拟登陆网站 关于抓取网页,分析网页内容,模拟登陆网站的逻辑/流程和注意事项 Python网页抓取程序(续) 天涯论坛的抓取规则
因为之前调用API获取的字数有限制,所以只能转用其他的方式来获取,也就是网络爬虫。
因为天涯论坛可以不登录浏览,而且都是静态html,所以这样简单了很多。
我的理解是,比如你看网页源代码,会出现很多链接或者文字,有一个爬虫,将文字爬取下来,然后遇到链接就记下来作为接下来要爬取得网站。
那么怎么知道哪些是我们想要的文字,想要的链接呢?需要用到正则表达式。
继续贴链接:
中途放了个假,之前学习的东西都放弃了,经同学推荐,招了开源项目(国人的)webmagic,感觉挺棒的,基本的接口都实现了。
webmagic 基本爬虫 一个例子 爬虫主体 webmagic——魔法般的爬虫框架 WebMagic-推酷
这个看一下原函数会很好,里面也自带很多例子,多学习有好处。用webmagic实现的网络爬虫
其中碰到的一个问题就是涉及到贴子分页,因为我到现在想清楚了逻辑,但是没想清楚实现,首先进入贴子列表页,记下每篇帖子链接,然后进入一个帖子的详情页,还要进行翻页,这样递归遍历,我没找到例子看了看文档,还是没有完全实现。
关于爬虫实现分页的一些思考 学习webmagic WebMagic
突然想到楼层信息可以参考百度贴吧和豆瓣小组的爬取方式,所以搜索了一下,找到了这个:用webmagic实现的贴吧网络爬虫