CSDN爬虫抓取博客排名和访问量并发送邮件

最新推荐文章于 2021-03-17 01:33:34 发布
最新推荐文章于 2021-03-17 01:33:34 发布
阅读量515 收藏 1
点赞数
分类专栏： JAVA springboot 文章标签： csdn爬虫 博客排名 jsoup springboot 邮件 springboot 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/diaobatian/article/details/102675323
版权
该博客介绍了一个使用SpringBoot和Jsoup实现的CSDN博客爬虫，它能抓取博客的访问量和全站排名，并将这些信息保存到MySQL数据库。此外，该爬虫还具备发送邮件的功能，可以定期将抓取的数据以邮件形式发送给指定的接收者。注意，如果在云服务器上运行，可能面临被CSDN屏蔽IP的风险。
摘要由CSDN通过智能技术生成

github 地址

csdnranks

csdnranks

CSDN Ranks Autotask

A crawler for CSDN blog,count the visiter number and the rank of the whole station.

一个CSDN博客的爬虫，用来统计访问量和排名。

Function List

1.pull the nums and ranks

2.save data to mysql

3.send email

功能列表

1.爬取访问量和排名

2.保存数据到mysql数据库

3.发送邮件

提示：如果放在云服务器上，需要关注服务器是否被CSDN加入到IP黑名单，回让你无法爬数据。

TIPS:If you run the jar on Aliyun ECS Server,Be careful,CSDN may put your server into the BlackList to Block your IP.

使用方法
修改application.yml的
数据库连接

spring.datasource.url=
spring.datasource.username=
spring.datasource.password=
最低0.47元/天 解锁文章
Sail__
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
爬取自己的csdn访问排名信息
bestsort
03-04 464
爬取自己博客的访问量,积分,排名的信息 学python不久,前一个月看见了一篇爬取csdn的文章,一直想自己试试,今天总算完成了一个比较low的版本了吧 from requests import * import os import time from bs4 import BeautifulSoup try: headers = {'User-Agent':'
python获取csdn的访问量和排名+falcon画图
vbaspdelphi的专栏
02-09 468
打从回到老家，平时没事儿就写写blog，看看访问量和排名，也算有点小成就感。可是CSDN最近啥时候更新排名貌似时间上有点不准，以前的时候大概8点半左右就更新了，可是最近好像有点延迟。可不可以做个监控呢？拿falcon画图吧#!/usr/bin/env python # -*- coding: utf-8 -*- #coding: utf8import sys import json import
Python爬虫抓取最新段子发送到指定邮箱
breeze的博客
12-14 1649
#!usr/bin/env python3 #-*- coding:utf-8 -*-'爬取糗事百科文字版段子，发送到指定邮箱'import requests, refrom email import encoders from email.header import Header from email.mime.text import MIMEText from email.utils impor
爬虫系统邮件发送设置
dieman0446的博客
07-20 150
接收邮件配置，用来设置哪些用户可以接收告警邮件 路径：/root/crawler/run.sh vim /root/crawlert/run.sh 发送邮件配置，用来选择使用哪个用户作为邮件发送者 路径：/etc/mail.rc 转载于:https://www.cnblogs.com/tdcqma/p/5687157.html...
python爬虫实验浏览量——凉凉
苦作舟的空城机
06-09 1万+
我之前的一篇爬虫爬取信息练习里使用了请求头：User-Agent，让网页人为刚刚进行访问的是浏览器，所以我在想是否可以使用这种方法去增加我CSDN博客的访问量，所以我使用这篇博客进行了测试。 第一次我没有使用代理IP去request.get访问这篇博客，也没有使用多个进程，效果成功但访问量刷新效率低，而且IP地址容易被网站的反爬虫检索出来然后封锁。 import requests impor...
如何使用python爬取csdn博客访问量
09-21
本文将详细介绍如何利用Python语言编写一个简单的爬虫程序来抓取CSDN博客的文章访问量。 #### 二、需求分析 本项目的具体目标是通过Python自动获取CSDN博客上特定用户的每篇文章访问量，并将其整理输出以便后续的...
抓取CSDN博客文章的简单爬虫python源码
06-25
【标题】：“抓取CSDN博客文章的简单爬虫python源码” 在这个主题中，我们将探讨如何使用Python编写一个简单的爬虫程序来抓取CSDN博客的文章内容。CSDN（Chinese Software Developer Network）是中国的一个大型...
抓取csdn的个人博客
04-14
【标题】：“抓取csdn的个人博客” 在IT领域，数据抓取（Web Scraping）是一项重要技能，尤其对于网络内容的管理和备份。在这个场景中，我们关注的是抓取CSDN（中国软件开发网）上的个人博客文章。CSDN作为国内知名...
有关爬虫浏览量的问题
ghostloda
11-08 1702
昨天写了一个小爬虫，来爬取58上面商品的浏览量，在58上，商品信息分个人和商家，在爬取个人的商品浏览量时，做一些标签位置的分析，就可以定位到浏览量，但是在运行中出现了错误，原来里面含有商家商品，商家商品浏览量和个人不太一样，浏览量的抓取做了反爬虫，上面的做法，无法爬取，后来我做了一些简单的分析。打开chrome的检查， Counter58.userlist[0]={uid:’0’,uname:”,
Netty-心跳检测
Stormer的博客
11-02 646
Netty-心跳检测IdleStateHandler自定义心跳类 IdleStateHandler IdleStateHandler 是Netty 提供的心跳检测机制。我们先简单的看下这个类的构造函数 readerIdleTime未读到数据的时间 writerIdleTime未写入数据的时间 allIdleTime未读到或者未写入数据的时间 unit对应的时间单位 自定义心跳类 public class IMIdleStateHandler extends IdleStateHandler {
CSDN爬虫（四）——博客专家(所有)爬取+数据分析
高远的博客
10-07 7527
CSDN爬虫（四）——博客专家(所有)爬取+数据分析说明 开发环境：jdk1.7+myeclipse10.7+win74bit+mysql5.5+webmagic0.5.2+jsoup1.7.2 爬虫框架：webMagic 建议：建议首先阅读webMagic的文档，再查看此系列文章，便于理解，快速学习：http://webmagic.io/ 开发所需jar下载（不包括数据库操作相关jar包）：点我下
大专毕业的他却是爬虫领域的大佬！收割阿里等诸多一线大厂offer
吴秋霖的博客
03-20 1万+
大专毕业的他却是爬虫领域的大佬！收割阿里等诸多一线大厂的offer！是运气吗？是天赋吗？是他的努力！
Java多线程：示例代码
热门推荐
寒泉
12-13 6万+
仅供学习、测试使用，不要为了刷数据偷懒噢... 使用方式 将要博客地址(可以是CSDN主页、CSDN任意博客页)填写入第23行的变量MYURL中，点击运行即可 本程序【自动检测】该页所对应博主的【用户ID】，并访问该博主【用户ID】名下所有博客链接 运行效果 代码 package cn.hanquan.file; import java.io.BufferedReader; im...
git的submodule使用方法
如需咨询可联系我，V：chen2318341674
01-27 776
添加子项目： git submodule add https://github.com/xxx/sss.git 当项目git clone之后初始化子项目仓库： git submodule update --init --recursive 举个例子，比如我的子模块叫做a_core 在使用的时候经常会遇到 ‘a_core’ already exists and is not a valid git repo这种情况，我们需要先删除干净错误的子模块数据： rm -rf .git/modules/a_core
netty源码分析(十一)Netty常量池实现及ChannelOption与Attribute作用分析
wzq6578702的专栏
10-28 2153
ServerBootstrap的init方法是服务初始的关键逻辑： void init(Channel channel) throws Exception { final Map<ChannelOption<?>, Object> options = options0();//是一个linkedHashMap synchronized (options) {
文章排名算法
Stay hungry, stay foolish
08-22 1059
在外文IT周刊上看到一个网站的文章排名算法，非常简单，就是一个式子计算得出文章的排名，然后文章根据这个排名数在首页上进行显示，那如果是我们得到这个命题，我们想到这个问题的相关属性和影响因素， 1、文章的喜爱程度，会有人进行投票，所有投票数是一个很关键的属性。 2、文章的存放时间，必然是时间越长的文章投票数会越多，但这对那些刚发表的文章会很不公平，同样老的文章应该被淘汰，如此看来这个排名应该是投
php获取跳转后的域名,php 获取根域名 并301跳转www域名
weixin_31738297的博客
03-17 570
$_zjt = $_SERVER['HTTP_HOST'];$_xxurl = explode(".",$_zjt);$urlqz = $_xxurl[0];$_xxurl = array_reverse($_xxurl);$urlhz = $_xxurl[1].".".$_xxurl[0];$sssxxxddd = "com.cn|net.cn|org.cn|gov.cn|bj.cn|sh.cn...
爬虫，可用于增加访问量和抓取网站全页内容
swjtu_yhz的博客
12-12 5万+
#-*- coding:utf-8 -*- import http import random import urllib import urllib.request as request from urllib.error import URLError import time def get_ip_list_local(file_name): with open(file_
python抓取csdn博客的代码
最新发布
05-03
你可以使用 Python 中的 requests 和 BeautifulSoup 库来抓取 CSDN 博客的内容。下面是一个简单的示例代码： ```python import requests from bs4 import BeautifulSoup # 要抓取的博客链接 url = 'https://blog.csdn.net/xxxxx/article/details/xxxxx' # 发送 GET 请求获取页面内容 response = requests.get(url) # 解析页面内容 soup = BeautifulSoup(response.content, 'html.parser') # 获取文章标题和内容 title = soup.find('h1', {'class': 'title-article'}).text.strip() content = soup.find('div', {'class': 'markdown_views'}).text.strip() # 打印结果 print(f'Title: {title}') print(f'Content: {content}') ``` 你需要将 `url` 变量替换为你要抓取的博客链接。在示例代码中，我们使用了 `requests.get()` 方法来发送 GET 请求并获取页面内容，然后使用 BeautifulSoup 解析页面内容。 你可以通过查看页面 HTML 结构来找到你想要抓取的内容的标签和类名，然后使用 `soup.find()` 方法来获取这些内容。在示例代码中，我们找到了文章标题和内容的标签和类名，并使用 `.text.strip()` 方法来获取它们的文本内容并去除空格。 最后，我们打印了获取到的文章标题和内容。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值