关闭

超简单BeautifulSoup版Csdn博客(摘要视图)爬虫

标签: windowscsdn博客爬虫python
1234人阅读 评论(0) 收藏 举报
分类:

csdnSpider.py代码

import bs4
import requests

origin = 'http://blog.csdn.net'
user_agent = ('Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36')

headers = {
           'origin': origin,
           'User-Agent': user_agent,
           }

date = []
for i in  range(1, 5):
    url = 'http://blog.csdn.net/WuLex/article/list/'+str(i)
    r = requests.get(url=url, headers=headers)
    page = r.content.decode('utf-8')
    doc = bs4.BeautifulSoup(page, 'lxml')

    articleList = doc.findAll('div', attrs={'class': 'list_item article_item'})
    for ele  in articleList:
          title=ele.find('span', attrs={'class': 'link_title'}).get_text()
          descripe = ele.find('div', attrs={'class': 'article_description'}).get_text()
          views = ele.find('span', attrs={'class': 'link_view'}).get_text()
          date.append(title + "\r\n" + descripe + "\r\n" + views + "\r\n"+"-------------------------------------------------------------------"+ "\r\n")


with open('blognames', 'w',encoding='utf-8') as f:
    for i in date:
        f.write(i)

运行结果如图

这里写图片描述


这里写图片描述

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:978864次
    • 积分:14392
    • 等级:
    • 排名:第936名
    • 原创:311篇
    • 转载:639篇
    • 译文:72篇
    • 评论:262条
    博客专栏
    文章分类
    打赏
    如果你觉得我的文章对您有用,请随意打赏。 微信 支付宝