python+django+mysql 从零搭建资讯类网站11

系列文章将记录本人从零开始搭建资讯类的网站，所有源码都开放哦！欢迎互相讨论学习！

源码下载地址：https://github.com/wuqiwenpk/babyteach

本系列文章导航：https://github.com/wuqiwenpk/babyteach/blob/master/README.md

 

本篇目的

通过爬虫爬取同类资讯网站新闻列表页。

本次爬虫测试目标为

列表页：http://www.yuerzaixian.com/a/1171.aspx?p-1

 

本文将用到python解析库lxml、requests库对目标网页进行爬虫解析

（注：本系列所有爬虫操作仅用于学习用途）

1、修改上一篇创建的newsspider.py

添加爬列表的方法：

#爬取列表页数据
def getnewslistbyspider(url):
    response = requests.get(url).text
    #print(response)
    x = etree.HTML(response)
    x = x.xpath('//div[(@class="news_list leftbox fl whitebg")]/ul/li')
    for item in x:
        url = item.xpath('a/@href')[0] #获取当前列表页模块中的所有文章链接
        url = "http://www.yuerzaixian.com"+url #拼接成完整url
        print(url)

调用方法测试：
#获取列表页数据
getnewslistbyspider("http://www.yuerzaixian.com/a/1171.aspx?p-1")

能正常获取到详情页的url列表；

 

2、在上方方法中调用上一篇写好的爬详情页的方法

运行后查看数据库：

运行网站效果：

3、上方仅仅爬一个列表页，加入循环爬多个页面

上方仅仅是爬了一个列表页：http://www.yuerzaixian.com/a/1171.aspx?p-1

我看可以看到（寻找列表页的规律：）

http://www.yuerzaixian.com/a/1171.aspx?p-1为列表页的第一页，

http://www.yuerzaixian.com/a/1171.aspx?p-2 为第二页、、、

http://www.yuerzaixian.com/a/1171.aspx?p-3 为第三页、、、

所以可以在调用方法前添加循环，实现爬取前10个列表页：

运行程序查看数据库效果：

本文总结：

通过爬虫爬取同类资讯网站新闻列表页。

完整源码地址：https://github.com/wuqiwenpk/babyteach