极客神殿

坚持,自由,信仰

超简单BeautifulSoup版Csdn博客(摘要视图)爬虫

csdnSpider.py代码

import bs4
import requests

origin = 'http://blog.csdn.net'
user_agent = ('Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36')

headers = {
           'origin': origin,
           'User-Agent': user_agent,
           }

date = []
for i in  range(1, 5):
    url = 'http://blog.csdn.net/WuLex/article/list/'+str(i)
    r = requests.get(url=url, headers=headers)
    page = r.content.decode('utf-8')
    doc = bs4.BeautifulSoup(page, 'lxml')

    articleList = doc.findAll('div', attrs={'class': 'list_item article_item'})
    for ele  in articleList:
          title=ele.find('span', attrs={'class': 'link_title'}).get_text()
          descripe = ele.find('div', attrs={'class': 'article_description'}).get_text()
          views = ele.find('span', attrs={'class': 'link_view'}).get_text()
          date.append(title + "\r\n" + descripe + "\r\n" + views + "\r\n"+"-------------------------------------------------------------------"+ "\r\n")


with open('blognames', 'w',encoding='utf-8') as f:
    for i in date:
        f.write(i)

运行结果如图

这里写图片描述


这里写图片描述

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/WuLex/article/details/71105132
个人分类: 爬虫
所属专栏: Python创意编程作品集
想对作者说点什么? 我来说一句

超简单BeautifulSoup爬虫

2017年05月03日 699B 下载

没有更多推荐了,返回首页

不良信息举报

超简单BeautifulSoup版Csdn博客(摘要视图)爬虫

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭