python第三方库requests和bs4库实例——简单的37行python爬虫刷CSDN博客阅读数

最新推荐文章于 2024-07-19 17:00:58 发布

laiczhang

最新推荐文章于 2024-07-19 17:00:58 发布

阅读量2.2k

点赞数 6

分类专栏： python库实例从新手到大师之python爬虫100篇文章标签： python 爬虫 requests bs4 CSDN阅读数

本文链接：https://blog.csdn.net/qq_44621510/article/details/90171944

版权

仅供python学习，不用作商业用途

一点私心，为什么我想刷自己的博客呢？因为我觉得我写的博客还是蛮不错的，可以帮很多人少走一些弯路，而低的阅读量在搜索排名中是很不占优的，所以希望我的博客能让更多人受益，刷一点访问量啦，还请原谅。

恰巧前段时间看完了嵩天老师的爬虫基础MOOC，我就思考如何增加爬虫经验，顺便增加一点点我的博客访问量。

运行环境：
Windows 10
pycharm

所需要的python第三方库：requests，bs4安装方法：

pip install requests
pip install bs4

# -*- coding:utf-8 -*-
# 利用爬虫刷CSDN博客阅读数

import requests
from bs4 import BeautifulSoup

# 解析源码
def GetHtmlText(url):
    try:
        r = requests.get(url, timeout = 30)
        r.raise_for_status()
        r.encoding = 'utf-8'
        return r.text
    except:
        return ''

# 查找博文地址并进行一次点击
def Find_Click(soup):
    Divs = soup.find_all('div', {'class': 'article-item-box csdn-tracking-statistics'})
    for Div in Divs: