进入博客园已经有5个多月的时间了,自从开始写第一篇博客,积分和排名有了很大的进步,排名从原来的24万多名到了目前的10万多名,时刻激励着我为社区贡献自己的微薄之力(虽然关注我的人很少)。于是为了以数字的形式记录我再社区的成长,我决定用python写一个小程序:每天记录我的博客积分和排名,根据历史记录绘制成图标,最后发送到我的个人邮箱中。
一、实现过程
- 用requests模块获取个人博客园中的所有信息
- 使用正则匹配出积分和排名的数据
- 将数据存入到某个文件中
- 使用matplotlib模块根据文件中的历史记录绘制成一个折线图
- 使用smtplib模块将整理的内容和图片发送到指定的邮箱中
- 编写周期性计划任务执行
二、具体代码
#!/usr/bin/python3
import matplotlib.pyplot as plt
import matplotlib
import requests
import re
import time
import smtplib
from email.mime.multipart import MIMEMultipart
from email.mime.text import MIMEText
from email.mime.image import MIMEImage
#指定将数据存放到哪个文件下
file = "/home/bill/myscript/exportfile/cnblogs.log"
#个人博客园主页url
url = "https://www.cnblogs.com/zqj-blog/mvc/blog/sidecolumn.aspx?blogApp=zqj-blog"
# 用正则获取积分和排名的数据
r = requests.get(url)
str = "".join(r.text.split("\r\n"))
pattern = re.compile(r"积分 -.*?(\d+).*?(\d+)")
match = pattern.findall(str)
score = match[0][0]
rank = match[0][1]
#自定义写入历史文件的格式
date = time.strftime("%Y-%m-%d")
content = "%s score: %s rank: %s " % (date,score,rank)
#以列表的形式读取文件内容
with open(file,"r") as f:
fr = f.readlines()
#为避免脚本多次执行产生过多的历史记录,以下逻辑是为了保证一天只存最后一条记录
if (fr[-1].find(date) != -1):
fr[-1] = content + "\n"
else:
fr.append(content + "\n")
#将调整后的信息写入历史文件中
with open(file,"w") as f:
f.writelines(fr)
#将历史文件中每行数据加上<p>html标识,作用是以段落的形式展现
summaryhtml=""
for i in fr:
i.strip(r"\n")
summaryhtml = summaryhtml + "<p>" + i + "</p>"
#获取最后两天的数据,计算数值的差值,便于展现出每次进步了多少
s1 = fr[-1]
s2 = fr[-2]
p = re.compile(r".*score: (\d+).*rank: (\d+)")
m1 = p.findall( s1 )
m2 = p.findall( s2 )
score1 = m1[0][0]
rank1 = m1[0][1]
score2 = m2[0][0]
rank2 = m2[0][1]
S = int(score1) - int(score2)
R = int(rank2) - int(rank1)
#在写入邮件的html中加上每次分数、排名变化情况
summaryhtml = summaryhtml + "<p> The <big>SCORE</big> increased <strong><big> %d </big></strong></p> <p>The <big>RANK</big> increased <strong><big> %d </big></strong></p>" % (S,R)
# 使用matplotlib模块绘制折线图,并保持下来
#‘agg’表示不显示图片
matplotlib.use('Agg')
pattern = re.compile(r"(\d+-\d+-\d+).*score: (\d+).*rank: (\d+)")
date = []
score = []
rank = []
with open(file,'r') as f:
lines = f.readlines()
for line in lines:
match = pattern.findall( line )
if(len(match[0]) == 3 ):
date.append(match[0][0])
score.append(int(match[0][1]))
rank.append(int(match[0][2]))
#由于折线图显示的问题,因此最多绘制30天的数据
if(len(date) > 30 ):
date = date[-30:]
if( len(score) > 30 ):
date = score[-30:]
if(len(rank) > 30 ):
date = rank[-30:]
#绘制分数排名的折线图
day = date
plt.plot( day , rank ,'o-',color = 'r' ,label = "rank")
#设置x洲字体大小
plt.xticks(fontsize=8)
plt.ylabel("rank")
#显示最后一个点的数值
plt.text(day[-1],rank[-1],rank[-1],ha='center',va='bottom',fontsize=8)
#图示的显示位置
plt.legend(loc=3)
#自动调整横坐标摆放
plt.gcf().autofmt_xdate()
plt.savefig("./rank.jpg")
#清除缓存,便于保存下一张图片
plt.close()
#绘制积分排名的折线图
plt.plot( day , score ,'--*b',color = 'g' ,label = "score")
plt.xticks(fontsize=8)
plt.ylabel("score")
plt.text(day[-1],score[-1],score[-1],ha='center',va='bottom',fontsize=8)
plt.legend(loc=4)
plt.gcf().autofmt_xdate()
plt.savefig("./score.jpg")
plt.close()
#发送邮件
#其中smtplib是用来发送邮件的,email模块是构造邮件的
#由于一般的邮箱都会禁止外链图片,因此想实现在邮件中直接添加图片是不太现实的。
#可以先将图片添加到附件中,然后设定邮件的格式是html,在文件中引用图片。
#cid:image1 表示引用的是ID为image1的图片
msg = MIMEMultipart()
mail_msg = """
<h2>summary:</h2>
<p>%s</p>
<p><img src="cid:image1"></p>
<p><img src="cid:image2"></p>
""" % summaryhtml
msg.attach(MIMEText(mail_msg, 'html', 'utf-8'))
#以二进制的形式读取第一张图片
with open(r'./rank.jpg','rb') as f:
msgimage = MIMEImage(f.read())
# 设置图片ID,在 HTML 文本中引用
msgimage.add_header('Content-ID', '<image1>')
msg.attach(msgimage)
#读取第二张图片,并设置图片的ID
with open(r'./score.jpg','rb') as f:
msgimage = MIMEImage(f.read())
msgimage.add_header('Content-ID', '<image2>')
msg.attach(msgimage)
ctype = 'application/octet-stream'
maintype, subtype = ctype.split('/', 1)
#添加第一个附件
image1 = MIMEImage(open(r'rank.jpg', 'rb').read(),_subtype=subtype )
image1.add_header('Content-Disposition', 'attachment', filename='rank.jpg')
msg.attach(image1)
#添加第二个附件
image2 = MIMEImage(open(r'score.jpg', 'rb').read(),_subtype=subtype )
image2.add_header('Content-Disposition', 'attachment', filename='score.jpg')
msg.attach(image2)
#发送
sender = "bill.zhang@grapecity.com"
receive = 'bill.zhang@grapecity.com'
msg['Subject'] = '监控博客访问量以及排名情况.'
msg['From'] = sender
msg['To'] = receive
smtpobj = smtplib.SMTP("邮件服务器",25)
server.login("发件人", "密码")
smtpobj.sendmail(sender,[receive],msg.as_string())
以上就是具体的代码,最直接的确定是“没有函数化”,以后有时间可以再做修改,将每个功能函数化。
接下来,
按脚本中用到的模块,将所有使用到的模块以每行的形式写入一个文件,比如说是a.txtx,我们可以批量安装某个文件下的所有模块。
sudo apt-get update sudo apt-get install python3-pip sudo pip3 install --upgrade pip sudo pip3 install -r a.txt
将脚本放到linux服务器上(windows也可以,添加计划任务,自行百度),我使用的服务器是ubuntu18.04。python是3以上的版本
sudo crontab -e #编辑周期性计划任务
周期性计划任务内容是:在每天的8:30 执行后续命令,因此每天8:30就能收到邮件
【注意】
1、ubuntu 18.04中默认是没有安装smtp服务器的,因此可能会出现邮件收不到的问题,查看日志
/var/log/syslog
上述原因很有可能是没有安装smtp服务器,执行下述命令即可解决。
sudo apt-get install -y smtp
2、在我查看邮件日志(/var/mail/root)看到提示,但是在命令行执行时有很正常,苦思冥想很久很久之后,意识到,这个模块是用windows上的pycharm软件安装的,此时模块默认的安装位置是:~/.local/lib/python3/site-packages目录下,并没有安装到python3指定的模块目录下。
于是重新安装,需要加一个参数“-H”,即可
sudo -H pip3 install matplotlib
结果展示:
(over)