用Python看我的2018

前言

2018余额已不到两天，2018初的flag完成了几个？今天我利用Python爬虫和数据分析技术，分析我的2018年文章分享情况。

Python爬虫

爬虫分析

爬取的文章为简书网2018年的文章，为什么不选择公众号了？

• 简书好爬
• 公众号有转载
  首先，简书分页使用了异步加载，我们先找下包，发现url很规律，换下page后面的数字就可以了。

现在还需要考虑的是：怎么确保文章都是2018年的。这里的处理方法为：首先多爬一些，然后在数据分析中进行筛选，选出2018年的数据即可。

爬虫代码

import requests
from lxml import etree
import csv
import time

headers={
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'
}

f = open('1.csv','w+',encoding='utf-8',newline='')
writer = csv.writer(f)
writer.writerow(['title','view','comment','good','pub_time'])

def get_info(url):
    res = requests.get(url,headers=headers)
    html = etree.HTML(res.text)
    infos = html.xpath('//ul[@class="note-list"]/li')
    for info in infos:
        title = info.xpath('div/a/text()')[0]
        view = info.xpath('div/div/a[1]/text()')[1].strip()
        comment = info.xpath('div/div/a[2]/text()')[1].strip()
        good = info.xpath('div/div/span[1]/text()')[0].strip()
        pub_time = info.xpath('div/div//span[@class="time"]/@data-shared-at')[0]
        print(title,view,comment,good,pub_time)
        writer.writerow([title,view,comment,good,pub_time])


if __name__ == '__main__':
    urls = ['https://www.jianshu.com/u/9104ebf5e177?order_by=shared_at&page={}'.format(str(i)) for i in range(1,6)]
    for url in urls:
        get_info(url)
        time.sleep(2)

2018文章分析

前文提到，我们没办法确定保证全是2018年的数据，所以选择多爬一点，然后筛选，这里我们通过字符串的处理，把time数据切分年的数据。

data['year'] = data['pub_time'].str.split('T').str[0].str.split('-').str[0]

然后用布尔选择，筛选出2018年的数据，重新保存和读取。

data[data['year'] == '2018'].to_csv('2.csv',index=False)

总体情况

• 2018总共写了42篇文章，相比于2017年，是少了很多的。
• 平均阅读量388，这个比公众号高很多
• 平均点赞7.5，低低低~
  总体来说，并不理想，还是要多输出呀~

阅读量最高的五篇文章

通过排序，看看2018我的爆文是哪些？

• 杨超越一文阅读量最多，果然是锦鲤
• 爬虫+数据分析文（结合热点）更容易上榜
• 广告忽略
• 机器学习系列也还不错

2018年文章月份分布

6月份是高产的一个月，3-5月断更，9月断更。
3-5月，在苏大联培，9月不记得为什么不更了~

哪个时间段发文

三个点：9、下午4、8点。
其实有时间我都会屯几篇文章，早上起来发（公众号首发），导致早上的最多，其实文章大部分都是晚上写的。。。

结语

长沙下雪了
你的城市了？