系列文章将记录本人从零开始搭建资讯类的网站,所有源码都开放哦!欢迎互相讨论学习!
源码下载地址:https://github.com/wuqiwenpk/babyteach
本系列文章导航:https://github.com/wuqiwenpk/babyteach/blob/master/README.md
本篇目的
通过爬虫爬取同类资讯网站新闻列表页。
本次爬虫测试目标为
列表页:http://www.yuerzaixian.com/a/1171.aspx?p-1
本文将用到python解析库lxml、requests库对目标网页进行爬虫解析
(注:本系列所有爬虫操作仅用于学习用途)
1、修改上一篇创建的newsspider.py
添加爬列表的方法:
#爬取列表页数据 def getnewslistbyspider(url): response = requests.get(url).text #print(response) x = etree.HTML(response) x = x.xpath('//div[(@class="news_list leftbox fl whitebg")]/ul/li') for item in x: url = item.xpath('a/@href')[0] #获取当前列表页模块中的所有文章链接 url = "http://www.yuerzaixian.com"+url #拼接成完整url print(url)
调用方法测试: #获取列表页数据 getnewslistbyspider("http://www.yuerzaixian.com/a/1171.aspx?p-1")
能正常获取到详情页的url列表;
2、在上方方法中调用上一篇写好的爬详情页的方法
运行后查看数据库:
运行网站效果:
3、上方仅仅爬一个列表页,加入循环爬多个页面
上方仅仅是爬了一个列表页:http://www.yuerzaixian.com/a/1171.aspx?p-1
我看可以看到(寻找列表页的规律:)
http://www.yuerzaixian.com/a/1171.aspx?p-1为列表页的第一页,
http://www.yuerzaixian.com/a/1171.aspx?p-2 为第二页、、、
http://www.yuerzaixian.com/a/1171.aspx?p-3 为第三页、、、
所以可以在调用方法前添加循环,实现爬取前10个列表页:
运行程序查看数据库效果:
本文总结:
通过爬虫爬取同类资讯网站新闻列表页。
完整源码地址:https://github.com/wuqiwenpk/babyteach