python click()打开新网页_用python看日记 | 打开方方日记的新方式-CSDN博客

本文链接：https://blog.csdn.net/weixin_39927059/article/details/111625914

久未联系的女同学打来电话，

说这日子过不下去了，

一定要让阿威开导开导。

阿威瞄了瞄四周，

找了一个安全位置，

打了一通77分41秒的电话。

原来是为了方方，

原来不是找阿威诉衷肠，

害阿威空欢喜一场。

还不停地问：

“这个问题，你怎么看？”

“那个问题，你怎么看？”

能怎么看？

阿威可不想开撕，

那就用python看看吧。

pycharm：现阶段写python最好用的IDE

用python看日记，拢共分5步

Step1：先找到目标文件

财新网上有方方日记专栏，恰好阿威是财新的付费用户。先把文本拿下来，尴尬的是，财新网还有反爬机制，对会话有限制。阿威只能一口气先把网页转存到文本文件，再清洗网页格式的文本文件。需要用到的第三方库： requests库：将网页转换成文本官网： http://docs.python-requests.org 中文文档： https://requests.readthedocs.io/zh_CN/latest/

Step2：清洗文本数据，保存为日记文本文件，同时生存一个合集文件备用

粗略看了一下网页文件格式，既有阳历日期开头，也有农历日期开头的，还有几篇不用日期开头的，手工补上日期。输出60篇日记文本，并自动命名。需要用到的标准库： os：路径生成、文件整理 time：日期计算 re：正则表达式，过滤特定文本串需要用到的第三方库： borax：用于计算并生成农历日期官网： https://github.com/kinegratii/borax

Step3：将日记合集进行分词处理

中文分词比英文分词困难太多，人家英文天生就已经用空格帮你分好了，只需一个内置的split函数就轻松搞定。好在python是胶水语言，常用的轮子早就有人给你造好了，不需要你重新再去造轮子。需要用到的第三方库： jieba库：用于中文分词官网：https://github.com/fxsjy/jieba

过滤掉单字和标点符号后排在前30位的词组

过滤掉单字及双字词后排在前30位的词组

Step4：将分词结果输出为词云

尽管也有第三方库，但词云相对有些复杂。参数太多，需慢慢琢磨。支持两种方式，一种是直接给文本，适合英文。一种是给词频，适合中文。需要用到的第三方库： wordcloud库：用于生成词云官网：https://github.com/amueller/word_cloud 比较细致的教程：https://www.cnblogs.com/aby321/p/10445235.html

过滤掉单字和标点符号后的词云图

过滤单字词和双字词后的词云图

Step5：尝试做文本的情感倾向分析

对方方日记的看法总是两极，我们看看AI怎么看。调用百度的NLP接口，分析每一句的情感倾向，然后再合成整篇日记的情感倾向。百度这个东西还不是很成熟，限制很多，比如：只能处理GBK编码的汉字，文档不全等需要用到的第三方库： baidu-aip库：用于自然语言的情感倾向分析官网： https://github.com/Baidu-AIP

官方文档：https://cloud.baidu.com/doc/NLP/s/xk6z52ac2