三国演义书评数据爬取与可视化

最新推荐文章于 2024-02-20 15:17:14 发布
最新推荐文章于 2024-02-20 15:17:14 发布
阅读量507 收藏 1
点赞数
分类专栏： 爬虫 可视化 文章标签： python 数据可视化 数据分析 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45767564/article/details/111353741
版权

爬虫–scrapy

根据豆瓣读书书评绘制评价词云图–三国演义

搭建环境

建议换成国内镜像
豆瓣 https://pypi.douban.com/simple/
阿里云 https://mirrors.aliyun.com/pypi/simple/
清华：https://pypi.tuna.tsinghua.edu.cn/simple

import scrapy
import numpy as np
import matplotlib.pyplot as plt

加载scrapy框架

# terminal 终端实现
cd .. # 跳转到上一层目录
scrapy startproject 当前项目名 # 和项目同名的scrapy框架项目

setting配置

ROBOTSTXT_OBEY = False # 君子协议 false 不遵守
USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36
(KHTML, like Gecko) Chrome/85.0.4183.121 Safari
最低0.47元/天 解锁文章
魏谦
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python爬取三国演义的实现方法
09-21
通过实例给大家演示了利用python如何爬取三国演义，对于学习python的朋友们来说是个不错的实例，有需要的朋友可以参考借鉴，下面来一起看看吧。
Python 三国演义文本可视化(词云,人物关系图,主要人物出场次数,章回字数)
热门推荐
闲时不练功，忙时一场空
07-10 1万+
文章目录效果展示介绍软件架构使用说明导入需要的库执行main.py下载 这里以三国演义为例 三国演义.txt alice_mask.png 效果展示 介绍 Python读取小说文本，绘制词云图，主要人物出场次序，社交网络关系图，章回字数 软件架构 环境准备：Python3 主要模块：networkx wordcloud matplotlib pyecharts imageio jieba 使用说明 导入需要的库 先进行 pip install #导入networkx，matplotlib包
利用python语言分析小说的词频、词性、词云、小说人物出场次数排序以及小说人物关系
weixin_53170628的博客
03-21 4225
tingyong.txt：停用词文件。sgyy.txt：三国演义原文。bird.png：云底图片。
scrapy爬取三国演义并存入数据库
weixin_45925906的博客
02-16 576
scrapy爬取三国演义 之前的博客中有一篇是用request模块进行三国演义的爬取，这次我们使用scrapy框架来爬取，同时涉及到scrapy的一个新知识点 import scrapy from ..items import SanguoItem class SpidersanguoSpider(scrapy.Spider): name = 'spidersanguo' # allowed_domains = ['www.xxxx.com'] start_urls = ['htt
python爬虫框架-----Scrapy
weixin_44568633的博客
04-23 408
文章目录一、Scrapy爬虫框架1.架构流程2.优势3.爬虫步骤4.基于Scrapy框架的三国演义、红楼梦等多文件爬取项目代码二、item1.为什么用item2.item介绍3.三、Ajax爬虫1.为什么用Ajax2.什么是Ajax3.Ajax则呢么分析页面4.基于Ajax和requests采集器的微博爬虫5.基于selenium实现爬虫 一、Scrapy爬虫框架 官方文档：https://doc...
三国演义人物出场统计代码含义_R语言—三国演义人物关系可视化
weixin_42353258的博客
01-13 1031
本文将会介绍如何使用《三国演义》的数据，利用R语言构建人物关系网络并可视化。在网络中节点为人物名称，边则是根据相关系数进行设置。首先获取网络中表示边的数据表，程序如下所示：library(igraph)library(tidyr)## 数据准备,读取每个人物在各章(回)出现的次数数据load(file = "data/三国人物在各章出现的次数.RData")name_cor name_c...
三国演义人名-数据脱敏.xlsx
01-10
三国演义所有人名，1117个人名，可用于数据脱敏
基于知识图谱的《三国演义》人物关系可视化及问答系统.zip
最新发布
03-17
知识图谱是一种结构化的知识表达形式，它以图形的方式组织和存储了大量实体（如人、地点、事件等）及其相互关系。在知识图谱中，实体作为节点，实体之间的各种语义关联则通过边进行连接，形成了一个庞大的数据网络。...
使用python对三国演义爬取.py
08-07
三国演义爬取
python——三国演义词云.zip
06-07
设计一个程序，读出threekingdoms.txt文件中的三国演义全文，将常见人名进行去重后生成词云，并列出词频最高的5个词。 例：'玄德'，'刘备','玄德曰','刘皇叔','皇叔'都是同一个人。 可利用字典来保存需要去重的词。 ...
KGQA_SG:基于知识图谱的《三国演义》人物关系可视化及问答系统
03-11
这个项目的代码基于这个红楼梦项目的 。现在只实现了all_relation.html 所有人物关系页面的部分，代码也比较乱，之后我会慢慢整理这个项目的，试图创建一个知识图谱来教程方便大家学习。 <!--|-index.html 欢迎界面<br> --> <!--|-search.html 搜索人物关系页面<br>--> <!--|-all_relation.html 所有人物关系页面<br>--> <!--|-KGQA.html 人物关系问答页面<br>--> <!--|-config.py 配置参数<br>--> <!--|-create_graph.py 创建知识图谱，图数据库的建立<br>--> <!--|-query_graph.py 知识图谱的查询<br>--> <!--|-ltp.py 分词、词性标注、命名实体识别<br>--> <!--|- get_*.py
三国演义.txt（wordcloud词云制作）
04-08
该文件是https://blog.csdn.net/weixin_44957635/article/details/105389218博客里面的示例三国演义.txt.
pyecharts基础图表汇总（三国演义可视化）
魏振东
05-23 1017
Draw.py 算是我造的第一个轮子吧，绝大多数可以用，但是如果有问题就改源码，源码在这里呢是吧。 from pyecharts import options as opts from pyecharts.charts import Bar from pyecharts.charts import Pie from pyecharts.charts import Line from pyecharts.charts import Graph from pyecharts.charts import Word
对三国演义的简单数据分析
qq_69209924的博客
02-20 248
① 结合实际词频发现：孔明的出场频次实际为1352次（孔明821次，孔明曰385次，诸葛亮146次），玄德的出场频次实际为1220次（分别是玄德565次，玄德曰384次，刘备271次），曹操位列第三，为919次。文章中，荆州是出现频率较高的地名，可以侧面说明三国演义中荆州其重要的战略地理意义。② 孔明和玄德的出场部分携带“曰”字，侧面可以说明其长者的身份。ps：因单词中出现将军、丞相等名词不易分类，因此暂以忽略处理。针对词频前100个的单词，筛选出具备地理意义的单词。附：前100个的词频单词中的人物。
python对三国演义，水浒传，红楼梦人物关系与出场频率进行文本分析，数据可视化，词云分析
david2000999的博客
09-28 5227
python对文本进行分析和数据可视化，主要运用到了jieba，worldcloudmatplotlib,nxwworkx,pandas库，其他库在代码中给出。 1.首先准备好这三本名著 2.准备好停词词库 代码如下： import matplotlib.pyp...
050_Scrapy 爬虫框架 & 案例四大名著爬取
煮面要加牛奶的博客
04-23 850
文章目录1. 认识 Scrapy2. Scrapy 项目——四大名著爬取2.1 items2.2 spiders2.3 Scrapy shell2.4 Item Loaders2.5 pipelines2.6 settings 1. 认识 Scrapy Scrapy爬虫框架的优势： 用户只需要定制开发几个模块， 就可以轻松实现爬虫，用来抓取网页内容和图片， 非常方便。 Scrapy 使用了 Tw...
手把手带你学python爬虫
12-05
课程名称：手把手带你学会Python爬虫课程特色：大量的课堂案例，让你解决疑难杂症能力更上一层楼学习建议：建议懂前端基础和后端基础的人观看课程简介：课程包含urllib、requests、正则、xpath、bs4、selenium、js破解、滑动验证码、模拟登陆、字体破解、多任务爬虫、Scrapy框架、分布式爬虫、增量爬虫、代理池、手机抓包、爬虫部署等知识。还等什么？快来让幽默老司机手把手带你学会Python爬虫吧。
《三国演义》人物数据分析
weixin_33910137的博客
12-28 1229
题目源自编程教室的“每周一坑”栏目：【每周一坑】三国演义中谁的存在感最强 本文是一位同学（王文亚）提交的解答，因为做得挺好，特转载至专栏，供各位参考。 更多练习题可以在公众号（Crossin的编程教室）里回复关键字 习题 主要任务 找出《三国演义》中名字出现最多的10人； 分析主要几个人物120回中，每回出现的次数，结合具体内容，...
Python 基于jieba的三国演义词频分析与可视化
hello world
07-08 5177
本项目主要利用python的jieba库对三国演义进行词频分析，并通过WordCloud、networkx，matplotlib等库进行可视化分析. 将停用词文件的词读入到列表stopwords中 分词并统计词频 分词结果 看来托孤白帝城之后就少被后人提及了，果然滚滚长江东逝水 曹贼和汉贼还是多的 曹老板的基业还是强大在这里统计前30个出现次数最多的人物 赞赏100，备注jieba三国，评论留下个人邮箱，收到即回复...
Python 三国演义文本可视化
06-06
Python 可以用来进行三国演义文本可视化，具体步骤如下： 1. 选择一本三国演义的文本文件，将其读入 Python 中。 2. 使用正则表达式或其他方法，将文本中的人物名字提取出来，并存储为一个列表。 3. 统计每个人物...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值