python爬去微博十大流行语_用python重新定义【2019十大网络流行语】-后台/架构/数据库-敏捷大拇指-一个敢保留真话的IT精英社区...

↑关注 + 置顶 ~ 有趣的不像个技术号

52568040f9313098ffa367d9d9d21437.jpg (5.73 KB, 下载次数: 0)

2019-12-10 04:43 上传

3f4d5fe0016d011a7a68af763314befd.jpg (1.06 KB, 下载次数: 0)

2019-12-10 04:43 上传

“文明互鉴真硬核,

融梗柠檬谁觉得。

霸凌第一九九六,

块链不知太难了。”

12月1日,《咬文嚼字》编辑部以一首“顺口溜”发布2019年度十大流行语。“文明互鉴”、“区块链”、“硬核”、“融梗”、“××千万条,××第一条”、“柠檬精”、“996”、“我太难/南了”、“我不要你觉得,我要我觉得”、“霸凌主义”十条流行语入选。

微博评论下有很多网友纷纷表示,

XXX为什么能上榜?

XXX为什么没上榜?

这点呢,小五表示理解,毕竟采用不同的统计口径得出的结论可能不同。

那么,小五干脆也自己定义个统计口径,重新“定义”一下【2019十大网络流行语】

此处致敬一下重新定义的鼻祖——罗老师。

获取数据

通过搜索“网络流行语”,可以发现已经有网站帮我们做了整理。

223808b7dd600bad228263e287f6b6c7.jpg (47.99 KB, 下载次数: 0)

2019-12-10 04:43 上传

利用python爬虫可以获取该网站的2019年度所有网络流行语。

def main():

data = []

n = 1

for i in range(4542,5589):

dic = {}

url = 'https://www.lxybaike.com/index.php?doc-view-'+str(i)+'.html'

print('已成功采集{}条数据'.format(n))

html = restaurant(url)

doc = pq(html)

dic['tittle'] = doc('#doctitle').text()

dic['num'] = doc('#doc-aside > div.columns.ctxx > ul > li:nth-child(1)').text()

data.append(dic)

time.sleep(random.random())

n = n + 1

return data

爬取成功√

共929个词语。

我们在获取这些热门流行词的同时,也获取了他们的一些其他数据,比如浏览次数和出现时间。

18a8dbac379c61faeac94387d25be66a.jpg (1.45 KB, 下载次数: 0)

2019-12-10 04:43 上传

但浏览次数很难作为评判这个词语是否热门的指标,毕竟大家又不是都来这个网站搜索,所以还是需要一个全网的数据才更准确一点。

一开始选择了百度指数,结果发现很多词语没有收录,需要付费。于是我就选用了搜狗指数!

29ecaeda685986a6d866fe0e71978470.jpg (26.74 KB, 下载次数: 0)

2019-12-10 04:43 上传

将刚才爬取得到的929个网络流行语,可以根据下面式子来构造url。

urls= 'http://zhishu.sogou.com/index/searchHeat?kwdNamesStr='+str(name)+'&timePeriodType=YEAR&dataType=SEARCH_ALL'

再循环爬取依次得到他们的年度平均搜索指数。

成功得到2019年度网络热门流行词排行榜(凹凸玩数据版)!

a3cc1f67bd63f9adfdcf8a0b4092c95a.jpg (1.6 KB, 下载次数: 0)

2019-12-10 04:43 上传

其中标记绿色的词语为2018年末出现,在2019年开始流行,在统计时也列入列入2019流行语中。

2019网络热门流行词排行榜

根据上文得到的热门流行词排行榜,小五又搜集了一些网上的资料 ,利用PS来制作了十张流行词的解释图。

下面开始颁奖:

a6ddbecf687a0b21da59bcf3fbb5c022.jpg (137.57 KB, 下载次数: 0)

2019-12-10 04:43 上传

7e82671017589cdf75d30381e9c6b129.jpg (155.98 KB, 下载次数: 0)

2019-12-10 04:43 上传

c7eb68572d035949321679c8d955028e.jpg (132.74 KB, 下载次数: 0)

2019-12-10 04:43 上传

f20afbd6b6ffd0d7c49190aebc7e7e65.jpg (147.48 KB, 下载次数: 0)

2019-12-10 04:43 上传

0a12d45b2324c0834e6ae80802ddf48a.jpg (127.49 KB, 下载次数: 0)

2019-12-10 04:43 上传

5adda4f906d5307135ab0e1b2a8b4e21.jpg (109.68 KB, 下载次数: 0)

2019-12-10 04:43 上传

a26b0c9b60d0d4dac3650db3c971f766.jpg (147.62 KB, 下载次数: 0)

2019-12-10 04:43 上传

cb511e765a24511056588f0354328596.jpg (156.05 KB, 下载次数: 0)

2019-12-10 04:43 上传

f56d9e9fd888bf96f605046467a89852.jpg (190.74 KB, 下载次数: 0)

2019-12-10 04:43 上传

ae68d36d8cc15a2987db294a3b48e35d.jpg (146.02 KB, 下载次数: 0)

2019-12-10 04:43 上传

一千个人眼中就有一千个哈姆雷特。

相信每个人心里都有自己的一个流行语排行榜。

不知道小五重新定义的排行榜与你心中的相差多少?

相关爬虫源码已上传github:https://github.com/zpw1995/aotodata/tree/master/interest/popular作者:朱小五,互联网公司数据分析师。热衷于Python爬虫,数据分析,可视化,个人公众号《凹凸玩数据》,有趣的不像个技术号~

End

4e7d4b146bb4506a3fbb193f6fc13dd1.jpg (59.72 KB, 下载次数: 0)

2019-12-10 04:43 上传

82a6ccfa8d7c06c0b568e27cf01e7cc3.jpg (58.86 KB, 下载次数: 0)

2019-12-10 04:43 上传

2ca21464023cecc343f6460a5e071775.jpg (73.89 KB, 下载次数: 0)

2019-12-10 04:43 上传

a40d98e451d65736cd8b251f0700a73b.jpg (42.66 KB, 下载次数: 0)

2019-12-10 04:43 上传

游客,本帖隐藏的内容需要积分高于 10240000 才可浏览,您当前积分为 0

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值