Python3爬取CSDN博客信息1.0（基础版-附完整代码）

最新推荐文章于 2023-04-25 15:01:05 发布
最新推荐文章于 2023-04-25 15:01:05 发布
阅读量601 收藏 2
点赞数 2
分类专栏： Python学习 文章标签： python3 爬虫 pymysql bs4 urllib
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_19314763/article/details/110951204
版权

推荐阅读：
Python3爬取CSDN博客信息1.1（GUI版-附完整代码）
Python3爬取CSDN博客信息1.2（GUI版-附完整代码）

文章目录

一、效果演示

1、获取 [我的博客] URL

在这里插入图片描述

2、程序运行效果

在这里插入图片描述

二、爬取目标

获取到下图的10组数据
在这里插入图片描述

  • 10组数据如下：
    [原创，周排名，总排名，访问，等级，积分，粉丝，获赞，评论，收藏]

三、使用技术

  • python3
  • urllib模块
  • bs4模块
  • pymysql模块

四、需求分析

1、查看网页源代码
进入[我的博客]页面，页面随便一处右键选择[查看网页源代码]
在这里插入图片描述

2、源代码拷贝到VSCode

  • 将网页源代码Ctrl+A 全部拷贝到任意一款HTML编辑器中，然后将代码格式化。
  • 我这里选择的是VSCode工具

3、全局搜索关键字，找到代码位置
Ctrl + F全局搜索上述提到的10组数据的中文名称，或者数值，找到代码的位置
在这里插入图片描述
在这里插入图片描述

4、观察代码规律

  • 根据上述图中找到的代码，可以明显看出这10部分数据均由class='text-center’的<dl>标签包裹
  • <dl>标签的title属性值就是要找的关键数据的目标数值
  • <dl>标签中的子标签<\dd>的文本内容就是要找的关键数据的中文名称

五、功能划分

在这里插入图片描述

  • 我这里没有实现文件的存储，直接将数据存入数据库中

六、代码实现(附完整代码)

1、导入要使用的模块

import urllib.request as request
import urllib.error as error
import time
from bs4 import BeautifulSoup
import pymysql

2、获取整个页面HTML代码

"""
爬取整个HTML页面
"""
def download(crawl_url, num_retries=3):
    # 设置用户代理
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/72.0.3626.121 Safari/537.36',
    }
    # 设置请求的URL
    req = request.Request(crawl_url, headers=headers)
    try:
        # 开始爬取整个HTML代码
        crawl_html = request.urlopen(req).read().decode("utf-8")

    # 此处异常用于处理，csdn服务器异常后导致爬取失败
    except error.URLError as e:
        print("download error:", e.reason)
        crawl_html = None
        if num_retries > 0:
            if hasattr(e, "code") and 500 <= e.code <= 600:
                time.sleep(5000)  # 主线程睡眠5s后再重新访问，最多访问3次，也就是如果程序开始执行10s后，csdn服务器始终未正常启动，则此次爬取失败
                return download(crawl_url, num_retries-1)
    return crawl_html

3、解析HTML获取目标数据

"""
解析HTML获取页面上的10组数据
"""
def parse_page(page_html):
    # 声明一个包含10组key的字典data_dict
    data_dict = {'积分': '', '粉丝': '', '获赞': '', '评论': '', '收藏': ''
                 , '原创': '', '周排名': '', '总排名': '', '访问': '', '等级': ''
                 , '账号': '', '昵称': ''}

    # 开始解析html
    soup = BeautifulSoup(page_html, "html.parser")

    # 解析class='text-center'的所有<dl>标签列表
    # 方式一
    # dl_list = soup.find_all(name='div', attrs={'class': re.compile('text-center')})
    # 方式二
    dl_list = soup.find_all('dl', class_='text-center')

    print('总共{0}个<dl>标签'.format(len(dl_list)))
    # 遍历dl标签列表，获取到每一个dl标签，将目标数值存入字典data_dict
    for dl in dl_list:
        # print(dl)
        dd_name = dl.select('dd')[0].text  # 读取该dl标签的子标签dd的文本内容
        dd_title = dl.get('title')  # 读取该dl标签的title属性值
        for k in data_dict.keys():  # 遍历data_dict字典，将匹配的数值存入字典中
            if dd_name == k:
                data_dict[k] = dd_title

    # 获取账号和昵称信息
    self_info_list = soup.find_all('a', id='uid')  # 根据id获取a标签元素
    alias = self_info_list[0].get('title')
    account = self_info_list[0].select('span')[0].get('username')
    data_dict.update({"账号": account, "昵称": alias})

    # data_dict添加爬取时间的信息
    data_dict.update({"爬取时间": time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())})

    return data_dict

4、将目标数据存入数据库

"""
将字典数据存入数据库
"""
def save_to_mysql(data_obj):
    db = input('请输入本地数据库名:')
    username = input('请输入数据库用户名:')
    password = input('请输入数据库密码:')

    # 连接数据库
    conn = pymysql.connect(
        host="127.0.0.1",
        port=3306,  # 端口号
        user=username,  # 数据库用户
        password=password,  # 数据库密码
        database=db  # 要连接的数据库名称
    )
    # 建立游标，用于数据库插入
    cursor = conn.cursor()

    # # 校验数据库是否存在博客数据记录表
    # table_count = table_exists(conn, 'CSDN_SELF_BLOG_DATA')
    # # 如果数据库不存在该表，则创建
    # if table_count == 0:
    sql_create = """CREATE TABLE IF NOT EXISTS `csdn_self_blog_data` (
                                  `id` bigint NOT NULL AUTO_INCREMENT,
                                  `account` varchar(100) DEFAULT NULL,
                                  `alias` varchar(100) DEFAULT NULL,
                                  `grade` int DEFAULT NULL,
                                  `count_fan` int DEFAULT NULL,
                                  `count_thumb` bigint DEFAULT NULL,
                                  `count_comment` bigint DEFAULT NULL,
                                  `count_star` int DEFAULT NULL,
                                  `count_original` int DEFAULT NULL,
                                  `rank_week` bigint DEFAULT NULL,
                                  `rank_all` bigint DEFAULT NULL,
                                  `count_scan` bigint DEFAULT NULL,
                                  `blog_level` varchar(100) DEFAULT NULL,
                                  `crawl_time` datetime DEFAULT NULL,
                                  `start_hour` int DEFAULT NULL,
                                  `end_hour` int DEFAULT NULL,
                                  `crawl_date` date DEFAULT NULL,
                                  PRIMARY KEY (`id`)
                                ) ENGINE=InnoDB DEFAULT CHARSET=utf8
                                """
    cursor.execute(sql_create)
    print('==========表创建完成=========')

    curr_time = data_obj['爬取时间']
    # 创建SQL语句并往数据库插入数据
    sql_insert = """insert into csdn_self_blog_data(
                                 account, alias, grade, count_fan, count_thumb
                                ,count_comment, count_star, count_original, rank_week, rank_all
                                ,count_scan, blog_level, crawl_time, start_hour, end_hour
                                ,crawl_date)
                    values( %s, %s, %s, %s, %s
                           ,%s, %s, %s, %s, %s
                           ,%s, %s, %s, %s, %s
                           ,%s)"""			  
    values_list = [data_obj['账号'], data_obj['昵称'], data_obj['积分'], data_obj['粉丝'], data_obj['获赞']
                   , data_obj['评论'], data_obj['收藏'], data_obj['原创'], data_obj['周排名'], data_obj['总排名']
                   , data_obj['访问'], data_obj['等级'], curr_time, curr_time[11:13], int(curr_time[11:13]) + 1
                   , time.strftime("%Y-%m-%d", time.localtime())]
    cursor.execute(sql_insert, tuple(values_list))
    conn.commit()  # 提交请求，不然不会插入数据
    conn.close()
    print("======================保存数据库成功！=======================")

5、完整代码

import urllib.request as request
import urllib.error as error
import time
from bs4 import BeautifulSoup
import pymysql
import re

"""
爬取整个HTML页面
"""
def download(crawl_url, num_retries=3):
    # 设置用户代理
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/72.0.3626.121 Safari/537.36',
    }
    # 设置请求的URL
    req = request.Request(crawl_url, headers=headers)
    try:
        # 开始爬取整个HTML代码
        crawl_html = request.urlopen(req).read().decode("utf-8")

    # 此处异常用于处理，csdn服务器异常后导致爬取失败
    except error.URLError as e:
        print("download error:", e.reason)
        crawl_html = None
        if num_retries > 0:
            if hasattr(e, "code") and 500 <= e.code <= 600:
                time.sleep(5000)  # 主线程睡眠5s后再重新访问，最多访问3次，也就是如果程序开始执行10s后，csdn服务器始终未正常启动，则此次爬取失败
                return download(crawl_url, num_retries-1)
    return crawl_html


"""
解析HTML获取页面上的10组数据
"""
def parse_page(page_html):
    # 声明一个包含10组key的字典data_dict
    data_dict = {'积分': '', '粉丝': '', '获赞': '', '评论': '', '收藏': ''
                 , '原创': '', '周排名': '', '总排名': '', '访问': '', '等级': ''
                 , '账号': '', '昵称': ''}

    # 开始解析html
    soup = BeautifulSoup(page_html, "html.parser")

    # 解析class='text-center'的所有<dl>标签列表
    # 方式一
    # dl_list = soup.find_all(name='div', attrs={'class': re.compile('text-center')})
    # 方式二
    dl_list = soup.find_all('dl', class_='text-center')

    print('总共{0}个<dl>标签'.format(len(dl_list)))
    # 遍历dl标签列表，获取到每一个dl标签，将目标数值存入字典data_dict
    for dl in dl_list:
        # print(dl)
        dd_name = dl.select('dd')[0].text  # 读取该dl标签的子标签dd的文本内容
        dd_title = dl.get('title')  # 读取该dl标签的title属性值
        for k in data_dict.keys():  # 遍历data_dict字典，将匹配的数值存入字典中
            if dd_name == k:
                data_dict[k] = dd_title

    # 获取账号和昵称信息
    self_info_list = soup.find_all('a', id='uid')  # 根据id获取a标签元素
    alias = self_info_list[0].get('title')
    account = self_info_list[0].select('span')[0].get('username')
    data_dict.update({"账号": account, "昵称": alias})

    # data_dict添加爬取时间的信息
    data_dict.update({"爬取时间": time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())})

    return data_dict


"""
判断表是否存在
"""
def table_exists(con, table_name):  # 这个函数用来判断表是否存在
    sql = "show tables;"
    con.execute(sql)
    tables = [con.fetchall()]
    table_list = re.findall('(\'.*?\')',str(tables))
    table_list = [re.sub("'", '', each) for each in table_list]
    if table_name in table_list:
        return 1        # 存在返回1
    else:
        return 0        # 不存在返回0


"""
将字典数据存入数据库
"""
def save_to_mysql(data_obj):
    db = input('请输入本地数据库名:')
    username = input('请输入数据库用户名:')
    password = input('请输入数据库密码:')

    # 连接数据库
    conn = pymysql.connect(
        host="127.0.0.1",
        port=3306,  # 端口号
        user=username,  # 数据库用户
        password=password,  # 数据库密码
        database=db  # 要连接的数据库名称
    )
    # 建立游标，用于数据库插入
    cursor = conn.cursor()

    # # 校验数据库是否存在博客数据记录表
    # table_count = table_exists(conn, 'CSDN_SELF_BLOG_DATA')
    # # 如果数据库不存在该表，则创建
    # if table_count == 0:
    sql_create = """CREATE TABLE IF NOT EXISTS `csdn_self_blog_data` (
                                  `id` bigint NOT NULL AUTO_INCREMENT,
                                  `account` varchar(100) DEFAULT NULL,
                                  `alias` varchar(100) DEFAULT NULL,
                                  `grade` int DEFAULT NULL,
                                  `count_fan` int DEFAULT NULL,
                                  `count_thumb` bigint DEFAULT NULL,
                                  `count_comment` bigint DEFAULT NULL,
                                  `count_star` int DEFAULT NULL,
                                  `count_original` int DEFAULT NULL,
                                  `rank_week` bigint DEFAULT NULL,
                                  `rank_all` bigint DEFAULT NULL,
                                  `count_scan` bigint DEFAULT NULL,
                                  `blog_level` varchar(100) DEFAULT NULL,
                                  `crawl_time` datetime DEFAULT NULL,
                                  `start_hour` int DEFAULT NULL,
                                  `end_hour` int DEFAULT NULL,
                                  `crawl_date` date DEFAULT NULL,
                                  PRIMARY KEY (`id`)
                                ) ENGINE=InnoDB DEFAULT CHARSET=utf8
                                """
    cursor.execute(sql_create)
    print('==========表创建完成=========')

    curr_time = data_obj['爬取时间']
    # 创建SQL语句并往数据库插入数据
    sql_insert = """insert into csdn_self_blog_data(
                                 account, alias, grade, count_fan, count_thumb
                                ,count_comment, count_star, count_original, rank_week, rank_all
                                ,count_scan, blog_level, crawl_time, start_hour, end_hour
                                ,crawl_date)
                    values( %s, %s, %s, %s, %s
                           ,%s, %s, %s, %s, %s
                           ,%s, %s, %s, %s, %s
                           ,%s)"""			  
    values_list = [data_obj['账号'], data_obj['昵称'], data_obj['积分'], data_obj['粉丝'], data_obj['获赞']
                   , data_obj['评论'], data_obj['收藏'], data_obj['原创'], data_obj['周排名'], data_obj['总排名']
                   , data_obj['访问'], data_obj['等级'], curr_time, curr_time[11:13], int(curr_time[11:13]) + 1
                   , time.strftime("%Y-%m-%d", time.localtime())]
    cursor.execute(sql_insert, tuple(values_list))
    conn.commit()  # 提交请求，不然不会插入数据
    conn.close()
    print("======================保存数据库成功！=======================")


"""
主程序入口
"""
if __name__ == '__main__':
    url = input('请输入您的CSDN网站[我的博客]URL地址:')
    # url = "https://blog.csdn.net/qq_19314763?spm=1010.2135.3001.5113"  # 使用自己的CSDN[我的博客]的URL地址
    # 1、获取整个HTML
    html = download(url)
    # 2、解析HTML获取目标数据，并存储到字典中
    dict_obj = parse_page(html)

    # 打印字典信息，查看效果使用
    # for key, value in dict_obj.items():
    #     print(key + ' = ' + value)

    # 3、将字典数据存入MySQL数据库
    save_to_mysql(dict_obj)

七、相关知识参考

八、程序运行说明

  1. 上述完整代码，可以直接运行使用。如果电脑第一次运行Python程序，有俩种方式可以运行，具体可参考该链接 全世界都公认运行Python的最简单方法
  2. 上述代码运行需要有外网，公司内网一般不行
  3. 上述代码只支持本地运行，控制台输入所需参数，自动将自己的博客数据存储到本地的MySQL数据库的博客数据记录表中(表名可以在代码中修改)
  4. 如果本地未安装MySQL数据库，可以参考MySQL基础知识学习安装，也可以换成Oracle数据库，但是切换为Oracle后，代码需要有所调整

需要输入的参数如下：

  • URL
  • 本地数据库名
  • 本地数据库用户
  • 本地数据库密码
迟到_啦
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Python网络爬虫与信息提取（6）—— 爬取csdn个人博客数据信息
qq_37668436的博客
04-25 448
前言 上一节爬取了网络图片，写的不过瘾，最近发文访问量破1W了，主页看不到具体的访问量数有点小苦恼，刚好写个脚本来解决这个问题，练练手。 技术框架 bs4 + requests库 bs4教程：Python中使用Beautiful Soup库的超详细教程 这兄弟写的很详细，哈哈哈以后可以在这里查找要用的命令 网页分析 右键检查源码打开我自己的博客网站，然后ctrl + f搜索关键字“1万+” 欧...
【python】爬取csdn博客相关数据
gz-郭小敏的博客
03-12 462
代码后续优化请关注：https://github.com/guosimin/python-spider 注意：请限制使用爬虫频率，做一条有道德的爬虫 一，首先要先准备一定量的代理ip并存入到数据库 #!/usr/bin/env python3 # -*- coding: utf-8 -*- import requests,threading,datetime from bs4 impor...
ASP源码—网络直播电视源码爬取 v1.0.zip
10-31
ASP源码—网络直播电视源码爬取 v1.0.zip
最通俗、最详细的 Python3 网络爬虫入门指南
lyy2017175913的博客
04-25 1803
很多朋友学习Python都是先从爬虫开始，其原因不外两方面：其一Python对爬虫支持度较好，类库众多，其二语法简单，入门容易，所以两者形影相随，不离不弃。要使用python语言做爬虫，首先需要学习一下python的基础知识，然后补充学习HTML、CSS、JS、Ajax等相关的知识。
[Python爬虫] 简单网络爬虫抓取博客文章及思想介绍
杨秀璋的专栏
10-04 1万+
前面一直强调Python运用到网络爬虫方面非常有效,这篇文章也是结合学习的Python视频知识及我研究生数据挖掘方向的知识.从而简单介绍下Python是如何爬去网络数据的,文章知识非常简单,但是也分享给大家,就当简单入门吧!同时只分享知识,希望大家不要去做破坏网络的知识或侵犯别人的原创型文章.主要介绍了如何手动爬取新浪播客和CSDN博客的思想和方法.如果有错误或不足之处,请海涵!
Python爬虫系列（一）——手把手教你写Python爬虫
热门推荐
cun的博客
10-23 3万+
适合初学者快速上手入门，以爬取CSDN和百度图片为例。
Python爬取CSDN博客所有文章
seanyang_的博客
08-28 1379
Python爬取某个账号CSDN博客所有文章的标题，类型，创建时间，阅读数量，并将结果保存至Excel。
python3爬取淘宝信息代码分析
09-20
本篇文章通过代码实例给大家分享了python3爬取淘宝信息的过程以及实例分析，对此有兴趣的朋友学习下。
如何使用python爬取csdn博客访问量
09-21
主要介绍了如何使用python爬取csdn博客访问量的相关资料,需要的朋友可以参考下
使用python爬取百度H5相关词推荐代码-python自动爬取百度长尾词
最新发布
12-29
使用python爬取百度H5相关词推荐代码-python自动爬取百度长尾词
基于python的豆瓣top250电影榜单信息爬取源码(注释拉满)-python课程作业.zip
08-26
基于python的豆瓣top250电影榜单信息爬取源码(注释拉满)-python课程作业.zip基于python的豆瓣top250电影榜单信息爬取源码(注释拉满)-python课程作业.zip基于python的豆瓣top250电影榜单信息爬取源码(注释拉满)-...
csdn-spider:爬取CSDN上的博客文章
05-19
基于Python的Csdn博客爬虫(多线程) 说明 爬取Csdn某个博主的所有博文，并下载到本地(暂时只支持保存html格式)，加入了多线程，爬取更快速。 SpiderGui----------------->爬虫gui界面 CsdnBlogSpider------------&...
python爬虫实践之爬取CSDN博主的所有博客文章信息
二木成林
12-02 1674
目录 概述 准备 所需模块 涉及知识点 运行效果 完成爬虫 1. 分析网页 ​ 2. 爬虫代码 概述 爬取CSDN博主的所有博客文章信息并保存到excel中。 准备 所需模块 requests xlrd xlwt lxml xlutils 涉及知识点 python基础 requests模块基础 xpath表达式基础 excel文件的读取 运行效果 控制...
Python爬虫之Scrapy（爬取csdn博客）
LMR的博客
05-03 5894
本博客介绍使用Scrapy爬取博客数据（标题，时间，链接，内容简介）。首先简要介绍Scrapy使用，scrapy安装自行百度安装。 创建爬虫项目 安装好scrapy之后，首先新建项目文件：scrapy startproject csdnSpider 创建项目之后会在相应的文件夹位置创建文件： 创建爬虫模块 首先编写爬虫模块，爬虫模块的代码都放置于spiders文件夹中 。 爬虫模...
python爬虫初探（CSDN文章爬取）
jkchen's Haven
12-27 6265
使用requests库进行 import requests target='https://www.csdn.net/' req=requests.get(target) print(req.text) 输出： </head> <body data-category="home" data-host_type="www"> <script id="tool...
V1.0 教你如何爬取天气数据|超详细
Heart_for_Ling的博客
12-15 4781
标题意思是：爬虫实践；爬取中国天气网天气数据1.0版本，以后如有更新就不更改原博了（记录一下，免得以后忘了就尴尬了） 编程环境：Pycharm 浏览器：Google Chrome 这个实践大概花了两个小时时间，虽然慢了点但是还是很有成就感的嘿，毕竟第一次写爬虫。 爬虫目标是爬取中国天气网上指定城市的7日天气数据并保存。 思路是模块化编程。 以下具体思路！ 第一步：构建url 在中国天气网搜索某城市...
Python动态爬取CSDN博客信息
qq_45279235的博客
01-07 695
动态爬取博客信息前言网页分析功能实现准备工作获取网页 前言 大三上刚接触python，在最后的学期实训中老师想让我们在博客园上写一篇有关于爬虫的博客(说是方便爬取每篇博客的信息)，但是个人属实不喜欢博客园的界面，于是在CSDN上编写了博客然后爬取自己博客的信息。 网页分析 以我之前写的实训博客为例，首先我们在网页上F12通过观察网页，博客名称、浏览量、点赞数、评论数、收藏数都可以很方便的找到对应标签，于是乎我就先用静态的方法爬取。 import requests import re url='https:/
Python番外篇：爬取CSDN博文中所有的代码
有意栽花花不发，无心插柳柳成荫。
03-21 543
hello，大家好，我是wangzirui32，今天我们来学习如何爬取CSDN博文中所有的代码。 1. 分析网页源码 如图： 2.编写代码 代码如下：（不懂看注释） # 导入所需模块 from requests import get from bs4 import BeautifulSoup as bs import re # 正则表达式模块 # 伪造请求头 headers = { "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Ne
爬取猎聘python_爬取猎聘大数据岗位相关信息--Python
05-14
好的，这里提供一个简单的爬取猎聘大数据岗位相关信息的Python代码，具体步骤如下： 1. 导入所需库：requests、bs4、pandas 2. 定义一个函数，用于爬取指定页面的数据，并将数据转换为DataFrame格式 3. 定义一个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

迟到_啦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值