【Python爬虫+本科毕业论文速成】豆瓣评论-我是余欢水-数据抓取-情感分析-评分统计-词云制作 笔记

2020-07-19 18:14:07 1219 收藏 30
分类专栏： python 文章标签： python
最后发布:2020-07-19 18:14:07首次发布:2020-07-19 18:14:07
版权声明：本文为博主原创文章，遵循<a href="http://creativecommons.org/licenses/by-sa/4.0/" target="_blank" rel="noopener"> CC 4.0 BY-SA </a>版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43210113/article/details/107442534
版权

〇、前情提要

想随便先爬点什么看看，看到b站这个视频很短，就开搞这个。
参考：

  1. 【Python爬虫+本科毕业论文速成】豆瓣评论-我是余欢水-数据抓取-情感分析-评分统计-词云制作
    https://www.bilibili.com/video/BV18C4y1H7mr?from=search&seid=1875460052043791117
    为支持up已三连~代码请在三连后找他领取
  2. 豆瓣电影-我是余欢水 (2020)
    https://movie.douban.com/subject/33442331/
  3. 【mac】在Safari里复制网页源代码、不可复制内容
    https://blog.csdn.net/weixin_43210113/article/details/107442773
  4. CSV （逗号分隔值文件格式）
    https://baike.baidu.com/item/CSV/10739?fr=aladdin
  5. 揭开正则表达式的神秘面纱
    http://www.regexlab.com/zh/regref.htm
  6. Python—padas(DataFrame)的常用操作
    https://www.jianshu.com/p/4ff1d2b23ab3
  7. pandas的to_csv()使用方法
    https://blog.csdn.net/toshibahuai/article/details/79034829
  8. Python分词、情感分析工具——SnowNLP
    https://www.cnblogs.com/zhuminghui/p/10953717.html

注意事项：
在代码执行时csv都需要为UTF-8格式，用excel打开时都需要为ANSI格式。

一、我是余欢水

豆瓣分长评和短评。
最初电视剧上映时好评多，后来因为某些争议被打一星。
有比较、有突变->适合学术、写论文

二、爬虫的结构

1. 网页地址的结构

我是余欢水 短评 https://movie.douban.com/subject/33442331/comments?start=0&limit=20&sort=new_score&status=P

  • movie.douban.com 网址
  • subject 下属菜单
  • 33442331 我是余欢水在豆瓣电影中的id
  • start=0 从第几条开始，前后页翻动则改变，循环增20

2. 评论的html结构

以此条评论为例，切成静态网页html
在这里插入图片描述此处Safari不会操作的可以看我写的

【mac】在Safari里复制网页源代码、不可复制内容https://blog.csdn.net/weixin_43210113/article/details/107442773

<div class="comment-item" data-cid="2329338634">
        <div class="avatar">
            <a title="弗洛伊彪之怒" href="https://www.douban.com/people/121108591/">
                <img src="https://img9.doubanio.com/icon/u121108591-56.jpg" class="">
            </a>
        </div>
    <div class="comment">
        <h3>
            <span class="comment-vote">
                <span class="votes">4098</span>
                <input value="2329338634" type="hidden">
                <a href="javascript:;" class="j a_show_login" onclick="">有用</a>
            </span>
            <span class="comment-info">
                <a href="https://www.douban.com/people/121108591/" class="">弗洛伊彪之怒</a>	//用户id
                    <span>看过</span>
                    <span class="allstar40 rating" title="推荐"></span>	//用户评分
                <span class="comment-time " title="2020-04-06 20:48:30">
                    2020-04-06	//用户评论时间
                </span>
            </span>
        </h3>
        <p class="">
                <span class="short">太惨了太惨了，但是由于男主是郭京飞还是忍不住发出感慨：“好啊，苏明成你小子也有今天！请不要因为他是TF老boys而怜惜，鞭挞他吧” 。（脑内替余欢水自动播放bgm“百因必有果 明成的报应就是我”）</span>	//评论内容
        </p>
    </div>
        </div>

以上得到评论结构与循环代码，即可开始编程。

三、短评抓取-douban_movie_comment.py

1. 代码解释

在这里插入图片描述

import requests
import pandas as pd	//存储文件使用pandas，然后转成csv文件
import re //正则表达式
import time
import csv
from bs4 import BeautifulSoup //网页解析
import os
from urllib import request //请求网址

CSV （逗号分隔值文件格式）
https://baike.baidu.com/item/CSV/10739?fr=aladdin
逗号分隔值（Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号），其文件以纯文本形式存储表格数据（数字和文本）。纯文本意味着该文件是一个字符序列，不含必须像二进制数字那样被解读的数据。CSV文件由任意数目的记录组成，记录间以某种换行符分隔；每条记录由字段组成，字段间的分隔符是其它字符或字符串，最常见的是逗号或制表符。通常，所有记录都有完全相同的字段序列。通常都是纯文本文件。建议使用WORDPAD或是记事本来开启，再则先另存新档后用EXCEL开启，也是方法之一。

在这里插入图片描述
cookies里的bid是自己豆瓣账号
在这里插入图片描述
每一页改变的量为start值，从0依次增20，url_1为start值的前缀，url_2为start值的后缀，需要后续拼接起来。
在这里插入图片描述
用try、except结构捕捉一些异常。
用request进行请求，得到一个响应。
用BeautifulSoup进行网页的解析。
抓取四个方面的内容：评论时间、评论用户名、评论文本、评分。

  • 评论时间
    <span class="comment-time " title="2020-04-06 20:48:30">2020-04-06</span>
    soup.find_all(‘span’,attrs={‘class’:‘comment-time’})
    寻找所有的类为comment-time的span
    假设抓取了100页，当第100页的抓取到的评论时间数量为0时，将while停止，否则会无限循环下去。
  • 评论用户名
    <span class="comment-info"><a href="https://www.douban.com/people/121108591/" class="">弗洛伊彪之怒</a></span>
    soup.find_all(‘span’,attrs={‘class’:‘comment-info’}).a.string
    寻找所有的类为comment-info的span下的a标签里的内容
  • 评论文本
    <span class="short">太惨了太惨了，但是由于男主是郭京飞还是忍不住发出感慨：“好啊，苏明成你小子也有今天！请不要因为他是TF老boys而怜惜，鞭挞他吧” 。（脑内替余欢水自动播放bgm“百因必有果 明成的报应就是我”）</span>
    soup.find_all(‘span’,attrs={‘class’:‘short’})
    寻找所有的类为short的span
  • 评分
    <span class="allstar40 rating" title="推荐"></span>
    每个评分的class会不同，需要用正则表达式表示class里的内容。
    soup.find_all(‘span’,attrs={‘class’:‘re.compile(r"allstar(\s\w+)?")’})

揭开正则表达式的神秘面纱
http://www.regexlab.com/zh/regref.htm
\s 包括空格、制表符、换页符等空白字符的其中任意一个
\w 任意一个字母或数字或下划线，也就是 AZ,az,0~9,_ 中任意一个
+匹配前面的子表达式一次或多次。要匹配 + 字符，请使用 +。
? 匹配表达式0次或者1次，相当于 {0,1}，比如： "a[cd]?“可以匹配"a”,“ac”,“ad”

抓取到四个数值（均为列表）后，写一个循环（求列表长度，每一个数据是20个），将每页数据存入到data1列表中。
在这里插入图片描述
将列表用pandas转换为DataFrame格式，存储为douban_movie

Python—padas(DataFrame)的常用操作
https://www.jianshu.com/p/4ff1d2b23ab3
1、DataFrame是一种数据框结构,相当于是一个矩阵形式，单元格可以存放数值、字符串等，这和excel表很像；
2、DataFrame是有 行（index）和 列（columns）可以设置的；
创建（pd.DataFrame），to_csv()是DataFrame类的方法。
pandas的to_csv()使用方法
https://blog.csdn.net/toshibahuai/article/details/79034829
to_csv()是DataFrame类的方法。

  • 路径 path_or_buf: A string path to the file to write or a StringIO
    dt.to_csv(‘Result.csv’) #相对位置，保存在getwcd()获得的路径下
  • 是否保留列名 header: Whether to write out the column names (default True)
    dt.to_csv(‘C:/Users/think/Desktop/Result.csv’,header=0) #不保存列名
  • 是否保留行索引 index: whether to write row (index) names (default True)
    dt.to_csv(‘C:/Users/think/Desktop/Result1.csv’,index=0) #不保存行索引
  • mode
    to_csv()方法mode默认为w，我们加上mode=‘a’，便可以追加写入数据。

每次循环结束i++。
每抓一页，休眠2s。

2. 执行结果

豆瓣短评只提供500条数据，抓到第25页后无权限，所以只显示25页，但也足够使用。
在这里插入图片描述
记事本打开，改成ANSI格式。
在这里插入图片描述
关闭后用excel打开。
在这里插入图片描述
查看完后将格式改回UTF-8，接下来对C评论文本进行情感分析，首先要得到情感分支。

四、情感分析-douban_sentiment_analysis.py

1. 代码解释

在这里插入图片描述
pd.read_csv(‘douban_movie.csv’,header=None,useclos=[2])
C列为第三列，序号为2。
将dataframe转换为列表形式。
显示评论有多少条，与后面情感分数长度保持一致，防止数据缺失。
用SnowNLP进行计算，并将评论的数值存储为sentiment.cav

Python分词、情感分析工具——SnowNLP
https://www.cnblogs.com/zhuminghui/p/10953717.html

  • 安装
    pip install snownlp
  • 导入SnowNLP库
    from snownlp import SnowNLP
  • 需要操作的句子 text = ‘你站在桥上看风景，看风景的人在楼上看你。明月装饰了你的窗子，你装饰了别人的梦’
    s = SnowNLP(text)
  • 分词
    print(s.words)
  • 主要功能（请移步原链接查看）
    中文分词（Character-Based Generative Model）
    词性标注（TnT 3-gram 隐马）
    情感分析（现在训练数据主要是买卖东西时的评价，所以对其他的一些可能效果不是很好，待解决）
    文本分类（Naive Bayes）
    转换成拼音（Trie树实现的最大匹配）
    繁体转简体（Trie树实现的最大匹配）
    提取文本关键词（TextRank算法）
    提取文本摘要（TextRank算法）
    tf，idf（信息衡量）
    Tokenization（分割成句子）
    文本相似（BM25）
  • 关于训练
    现在提供训练的包括分词，词性标注，情感分析
    from snownlp import seg
    seg.train(‘data.txt’)
    seg.save(‘seg.marshal’)
    这样训练好的文件就存储为seg.marshal了，之后修改snownlp/seg/init.py里的data_path指向刚训练好的文件即可

2. 运行结果

在这里插入图片描述
500条评论，500条得分。

打开sentiment.cav文件，可得到所有情感得分。
在这里插入图片描述
并将A列数据复制粘贴到douban_mov.csvF列中。
在这里插入图片描述
添加标题列，方便统计。
在这里插入图片描述
time user recommend recommend title score
allstar10-50替换为1-5。（456一星 14二星 4三星 15四星 11五星）

在这里插入图片描述
替换完成后保存。
在这里插入图片描述

五、统计分析-douban_score_analysis.py

1. 代码解释

在这里插入图片描述
from collections import Counter 导入计数包
先读取文件，再统计每个评分的打分数量并显示。
按每个评分得出情感平均值。

2. 运行结果

在这里插入图片描述
与在【四】中的替换数量相同。
SnowNLP越倾向于1情感越正向，而此结果中1星得分比2星高，3星分值最高。
情感分析的结果是SnowNLP的锅，我们只需要知道代码实现即可。

六、词云制作-douban_wordcloud.py

1. 代码解释

在这里插入图片描述
import PIL.Image as Image
chinese_jieba在分词。
读取douban_movie.csv，读取comment和recommend两列。
做循环，当评分为1星时，将评分的文本分词。
调用PIL包方法制作词云。
在这里插入图片描述
找背景图片，设置字体等，设置停用词余欢水不显示。

2. 运行结果

在这里插入图片描述
字体越大，出现的频率越高。
在这里插入图片描述

七、请保持理智

已标记关键词 清除标记
基于Python网络爬虫毕业论文.doc
05-12
这是一份同学的爬虫的毕业论文，完整的。需要的赶紧拿走
表情包
插入表情
还能输入1000个字符 “速评一下”
基于Python的可视化数据分析系统设计与实现.zip
05-22
基于Python的可视化数据分析系统采Django框架进行开发，功能包括缺失值处理、异常值处理、重复值处理、探索性数据分析、决策树、线性回归、KNN分类、k-means聚类、PCA数据降维。数据可视化
爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文
12-22
爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文
基于Python智联招聘牌爬虫+本科毕业论文（完整版）.doc
05-12
这里是一份同学的本科毕业论文基于Python的智联招聘的爬虫论文。有需要的赶紧拿走。
是！“不会数据分析的，全是假程序员！”HR：太真实......（附资料，建议白嫖）
CSDN学院
11-10 4万+
数据正在变得越来越常见，小到我们每个人的社交网络、消费信息、运动轨迹……大到企业的销售、运营数据，产品的生产数据，交通网络数据…… 如何从海量数据中获得别人看不见的知识，如何利用数据来武装营销工作、优化产品、用户调研、支撑决策，数据分析可以将数据的价值最大化。 所以无论你做产品，运营，HR，财务，还是做研发，系统架构，在数不清的场景下，数据分析都是基本功，它不是一个职位，而是一个技能。 因此，我们才会说，学习数据分析，无论你的职场目标是什么，基本都是必须的，而且不会过时。 但是一提数据分析，很多人就
基于python的数据分析论文集
10-25
基于python的数据分析论文集（cnki），973、863计划项目以及国家自然科学基金项目
网络爬虫的设计与实现-毕业设计（毕业论文）
06-15
网络爬虫 毕业设计 很实用 网络爬虫 信息抓获 信息获取 对于相关毕业设计很有用
基于Python网络爬虫的设计与实现
12-23
基于Python网络爬虫的设计与实现，论文有20000多字。详细涉及到定向网络爬虫的各个细节与应用环节。
基于Python的网络爬虫系统的设计与实现（毕业论文）.caj
04-14
基于Python的网络爬虫系统的设计与实现
Python爬虫学习笔记——豆瓣登陆(二)
weixin_34221073的博客
12-30 32
昨天能够登陆成功，但是不能使用cookies，今天试了一下requests库的Session()，发现可以保持会话了，代码只是稍作改动。 #-*- coding:utf-8 -*- import requests from bs4 import BeautifulSoup import html5lib import re import urllib s = requests...
Python爬虫，抓取淘宝商品评论内容!
云飞学编程
06-24 1万+
作为一个资深吃货，网购各种零食是很频繁的，但是能否在浩瀚的商品库中找到合适的东西，就只能参考评论了！今天给大家分享用python做个抓取淘宝商品评论的小爬虫！ 思路 我们就拿“德州扒鸡”做为参考目标吧~！如果想抓其他商品的话，自行更换目标即可！打开淘宝，搜索目标，随便点击一个商品进入,在点击累计评论，打开F12开发者工具——网络，先清除现有的所有内容，然后点击下一页评论，在弹出的内容中查找...
基于Linux的网络爬虫系统(本科毕业论文)
02-26
本文通过C++实现了一个基于广度优先算法的多线程爬虫程序。本论文阐述了网络爬虫实现中的一些问题：为何使用广度优先的爬行策略，以及如何实现广度优先爬行；为何要使用多线程，以及如何实现多线程；系统实现过程
基于python的网络爬虫设计
11-05
以世纪佳缘网为例，思考自己所需要的数据资源，并以此为基础设计自己的爬虫程序。应用python伪装成浏览器自动登陆世纪佳缘网，加入变量打开多个网页。通过python的urllib2函数进行世纪佳缘网源代
python爬虫毕业设计题目-Python爬虫面试题170道：2019版【1】
weixin_37988176的博客
11-01 1130
语言特性1.谈谈对 Python 和其他语言的区别语言特点：简洁、优雅，省略了各种大括号和分号，还有一些关键字，类型说明；语言类型：解释型语言，运行的时候是一行一行的解释，并运行，所以调试代码很方便，开发效率很高；第三方库：python是开源的，并且python的定位时任由其发展，应用领域很多比如Web，运维，自动化测试，爬虫，数据分析，人工智能。Python具有非常完备的第三方库；Python和...
python爬虫论文总结与展望怎么写_论文总结与展望怎么写
weixin_39789399的博客
12-18 138
1.论文的总结和展望怎么写你好，可以这样写总结通过三个月的努力，在老师与同学们的指导帮助下，陶瓷专卖电子商务系统顺利的完成了。本电子商务系统是按照软件工程学的方法来进行设计和开发的，用来对陶瓷商品等信息进行有效的管理。本系统分为前台和后台两大功能模块，前台和后台模块又都分为几个小模块。前台模块主要实现商品展示功能和用户购物功能。后台模块主要实现管理用户信息，管理陶瓷商品，以及处理订单信息等功能。各...
python爬虫综合大作业_爬虫综合大作业
weixin_39936403的博客
12-04 570
# -*- coding: utf-8 -*-"""Spyder EditorThis is a temporary script file."""import requestsimport jsonimport timeimport randomimport pymysqlimport pandas as pdfrom sqlalchemy import create_enginedef fet...
使用python爬虫抓取学术论文
lin370的专栏
03-25 4万+
介绍这是一个很小的爬虫，可以用来爬取学术引擎的pdf论文，由于是网页内容是js生成的，所以必须动态抓取。通过selenium和chromedriver实现。可以修改起始点的URL从谷粉搜搜改到谷歌学术引擎，如果你的电脑可以翻墙。
Python毕业设计网络爬虫
qq_25934043的博客
10-16 3002
1.前知识点有帅哥做了我也懒得打，一心准备专升本和毕业设计……链接挂上：https://blog.csdn.net/qq_39029546/article/details/83045991明天开始整理自己的关键点 2.偷个懒后在摸个鱼。 3.整个项目的大概顺序！！！ ...
Python爬虫根据关键词爬取知网论文摘要并保存到数据库中
崩坏的芝麻
06-23 1万+
Python爬虫根据关键词爬取知网论文摘要并保存到数据库中 由于实验室需要一些语料做研究，语料要求是知网上的论文摘要，但是目前最新版的知网爬起来有些麻烦，所以我利用的是知网的另外一个搜索接口
豆瓣图书爬虫项目 一、网络爬虫
大哥的叔的博客
07-25 1万+
用的库： import requests（第三方库要下载）import reimport threading 1、获取网页源代码 使用requests.get(‘网址’)获取网页源代码 获取网页源代码 获取结果 2、正则表达式 使用re.findall()进行正则匹配 正则匹配 正则匹配结果 3、获取网页源代码函数 获取网页源代码函数 GUI程序设计 GUI部分 其他代码...
©️2020 CSDN 皮肤主题: 1024 设计师:上身试试 返回首页