使用SiliconCloud尝试GraphRag——以《三国演义》为例（手把手教程，适合小白）

已于 2024-08-10 12:08:04 修改
阅读量529 收藏 8
点赞数 10
分类专栏： AI相关 文章标签： python 人工智能
于 2024-08-10 12:00:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mingupup/article/details/141088694
版权

使用SiliconCloud尝试GraphRag——以《三国演义》为例（手把手教程，适合小白）

使用OpenAI模型体验GraphRag——以《边城》为例

在使用SiliconCloud之前，先使用OpenAI的模型看看GraphRag的效果。

GraphRAG是一种基于AI的内容理解和搜索能力，利用LLMs，解析数据以创建知识图谱，并对用户提供的私有数据集回答用户问题的方法。

GitHub地址：https://github.com/microsoft/graphrag

官网：https://microsoft.github.io/graphrag

现在正式开始体验GraphRag吧。

温馨提示

GraphRag Token的消费量比较大，刚开始体验可以不按照官方的配置，改用字数少一点的文本以及换成gpt-4o-mini模型。

以沈从文的《边城》为例。

创建一个Python虚拟环境，安装GraphRag：

pip install graphrag

安装好了之后：

mkdir biancheng
mkdir input

就是创建两个文件夹，也可以手动操作，然后将《边城》txt文件放到input文件夹下，如下所示：

image-20240810091951237

开始初始化：

python -m graphrag.index --init --root ./biancheng

完成后，会出现一些文件，如下所示：

image-20240810092251562

在.env文件中输入OpenAI Api Key，如下所示：

image-20240810092403747

在settings.yaml文件中做一些配置，在这里我的配置如下：

encoding_model: cl100k_base
skip_workflows: []
llm:
  api_key: ${GRAPHRAG_API_KEY}
  type: openai_chat # or azure_openai_chat
  model: gpt-4o-mini
  model_supports_json: true # recommended if this is available for your model.
  # max_tokens: 4000
  # request_timeout: 180.0
  # api_base: https://<instance>.openai.azure.com
  # api_version: 2024-02-15-preview
  # organization: <organization_id>
  # deployment_name: <azure_model_deployment_name>
  # tokens_per_minute: 150_000 # set a leaky bucket throttle
  # requests_per_minute: 10_000 # set a leaky bucket throttle
  # max_retries: 10
  # max_retry_wait: 10.0
  # sleep_on_rate_limit_recommendation: true # whether to sleep when azure suggests wait-times
  # concurrent_requests: 25 # the number of parallel inflight requests that may be made
  # temperature: 0 # temperature for sampling
  # top_p: 1 # top-p sampling
  # n: 1 # Number of completions to generate

parallelization:
  stagger: 0.3
  # num_threads: 50 # the number of threads to use for parallel processing

async_mode: threaded # or asyncio

embeddings:
  ## parallelization: override the global parallelization settings for embeddings
  async_mode: threaded # or asyncio
  llm:
    api_key: ${GRAPHRAG_API_KEY}
    type: openai_embedding # or azure_openai_embedding
    model: text-embedding-3-small
    # api_base: https://<instance>.openai.azure.com
    # api_version: 2024-02-15-preview
    # organization: <organization_id>
    # deployment_name: <azure_model_deployment_name>
    # tokens_per_minute: 150_000 # set a leaky bucket throttle
    # requests_per_minute: 10_000 # set a leaky bucket throttle
    # max_retries: 10
    # max_retry_wait: 10.0
    # sleep_on_rate_limit_recommendation: true # whether to sleep when azure suggests wait-times
    # concurrent_requests: 25 # the number of parallel inflight requests that may be made
    # batch_size: 16 # the number of documents to send in a single request
    # batch_max_tokens: 8191 # the maximum number of tokens to send in a single request
    # target: required # or optional
  


chunks:
  size: 1200
  overlap: 100
  group_by_columns: [id] # by default, we don't allow chunks to cross documents
    
input:
  type: file # or blob
  file_type: text # or csv
  base_dir: "input"
  file_encoding: utf-8
  file_pattern: ".*\\.txt$"

cache:
  type: file # or blob
  base_dir: "cache"
  # connection_string: <azure_blob_storage_connection_string>
  # container_name: <azure_blob_storage_container_name>

storage:
  type: file # or blob
  base_dir: "output/${timestamp}/artifacts"
  # connection_string: <azure_blob_storage_connection_string>
  # container_name: <azure_blob_storage_container_name>

reporting:
  type: file # or console, blob
  base_dir: "output/${timestamp}/reports"
  # connection_string: <azure_blob_storage_connection_string>
  # container_name: <azure_blob_storage_container_name>

entity_extraction:
  ## llm: override the global llm settings for this task
  ## parallelization: override the global parallelization settings for this task
  ## async_mode: override the global async_mode settings for this task
  prompt: "prompts/entity_extraction.txt"
  entity_types: [organization,person,geo,event]
  max_gleanings: 1

summarize_descriptions:
  ## llm: override the global llm settings for this task
  ## parallelization: override the global parallelization settings for this task
  ## async_mode: override the global async_mode settings for this task
  prompt: "prompts/summarize_descriptions.txt"
  max_length: 500

claim_extraction:
  ## llm: override the global llm settings for this task
  ## parallelization: override the global parallelization settings for this task
  ## async_mode: override the global async_mode settings for this task
  # enabled: true
  prompt: "prompts/claim_extraction.txt"
  description: "Any claims or facts that could be relevant to information discovery."
  max_gleanings: 1

community_reports:
  ## llm: override the global llm settings for this task
  ## parallelization: override the global parallelization settings for this task
  ## async_mode: override the global async_mode settings for this task
  prompt: "prompts/community_report.txt"
  max_length: 2000
  max_input_length: 8000

cluster_graph:
  max_cluster_size: 10

embed_graph:
  enabled: false # if true, will generate node2vec embeddings for nodes
  # num_walks: 10
  # walk_length: 40
  # window_size: 2
  # iterations: 3
  # random_seed: 597832

umap:
  enabled: false # if true, will generate UMAP embeddings for nodes

snapshots:
  graphml: true
  raw_entities: false
  top_level_nodes: false

local_search:
  # text_unit_prop: 0.5
  # community_prop: 0.1
  # conversation_history_max_turns: 5
  # top_k_mapped_entities: 10
  # top_k_relationships: 10
  # llm_temperature: 0 # temperature for sampling
  # llm_top_p: 1 # top-p sampling
  # llm_n: 1 # Number of completions to generate
  # max_tokens: 12000

global_search:
  # llm_temperature: 0 # temperature for sampling
  # llm_top_p: 1 # top-p sampling
  # llm_n: 1 # Number of completions to generate
  # max_tokens: 12000
  # data_max_tokens: 12000
  # map_max_tokens: 1000
  # reduce_max_tokens: 2000
  # concurrency: 32

为了节约成本，把模型换成了gpt-4o-mini：

image-20240810092653575

为了后面在Gephi等软件中查看graphml文件，这里改成了true：

image-20240810093039475

这样就配置好了，现在开始索引化：

python -m graphrag.index --root ./biancheng

索引化完成截图：

img

现在可以查看一下生成的节点和边：

image-20240810093551574

image-20240810093633997

现在就可以开始查询了。

先来全局查询：

python -m graphrag.query --root ./biancheng --method global "这篇小说讲了什么主题？"

image-20240810093814596

再来局部查询：

python -m graphrag.query --root ./biancheng --method local "翠翠在白鸡关发生了什么？"

image-20240810093934417

《边城》的字数大约在5万到6万字之间，查看成本：

image-20240810094208222

只花了0.18美元，gpt-4o-mini性价比还是很高的。

使用SiliconCloud尝试GraphRag——以《三国演义》为例

虽然使用OpenAI的模型效果很好，但是在国内使用OpenAI会有一些限制，可能很多人还没有OpenAI Api Key，而且可能暂时也没法弄到，因此可以选择SiliconCloud做替代，SiliconCloud同时提供了兼容OpenAI格式的对话模型与嵌入模型，并有多款先进开源大模型可用，刚注册SiliconCloud会送一些额度，感兴趣就可以马上上手尝试。

在使用SiliconCloud尝试GraphRag时，为了快速把流程跑通，尝试换一个小一点的文本，先以《嫦娥奔月》的故事为例，进行说明。

步骤跟之前的步骤一样，就是在配置的时候，要改一些地方。

首先将Api Key改成SiliconCloud的Api Key：

image-20240810095355942

settings中需要更改的地方。

首先是对话模型部分：

image-20240810095744402

这里我选用的是meta-llama/Meta-Llama-3.1-70B-Instruct模型，关于模型名字怎么写，参考SiliconCloud的文档，文档地址：https://docs.siliconflow.cn/docs/getting-started

image-20240810100146593

接下来是嵌入模型部分：

image-20240810100316696

这里使用的嵌入模型是BAAI/bge-large-en-v1.5，使用BAAI/bge-large-zh-v1.5我这里会出错，大家也可以试一下，目前不知道什么原因。

嵌入模型名称该怎么写也是见文档：

image-20240810100757105

开始索引化：

image-20240810100903227

查看节点：

image-20240810101324223

查看边：

image-20240810101359837

全局提问：

python -m graphrag.query --root ./change1 --method global "这篇故事讲了什么主题？"

image-20240810100944628

局部提问：

python -m graphrag.query --root ./change1 --method local "嫦娥送了什么礼物给天帝？"

image-20240810101052387

现在把流程跑通了，可以尝试《三国演义》了！！

使用同样的设置，三国字数比较多，比较慢，耐心等待：

img

流程完成：

image-20240810101939345

查看节点：

image-20240810102239596

查看边：

image-20240810102601774

全局提问：

python -m graphrag.query --root ./sanguo --method global "三国讲了什么故事？"

image-20240810102020083

局部提问：

python -m graphrag.query --root ./sanguo --method local "赤壁之战是怎么打败曹操的？"

image-20240810102106817

使用本地模型尝试GraphRag

本地尝试GraphRag可以使用Ollama的对话模型，由于Ollama的嵌入模型没有兼容OpenAI的格式，所以嵌入模型可以使用LM Studio。

配置：

encoding_model: cl100k_base
skip_workflows: []
llm:
  api_key: ${GRAPHRAG_API_KEY}
  type: openai_chat # or azure_openai_chat
  model: llama3.1:70b
  model_supports_json: true # recommended if this is available for your model.
  # max_tokens: 4000
  # request_timeout: 180.0
  api_base: http://localhost:11434/v1
  # api_version: 2024-02-15-preview
  # organization: <organization_id>
  # deployment_name: <azure_model_deployment_name>
  # tokens_per_minute: 150_000 # set a leaky bucket throttle
  # requests_per_minute: 10_000 # set a leaky bucket throttle
  # max_retries: 10
  # max_retry_wait: 10.0
  # sleep_on_rate_limit_recommendation: true # whether to sleep when azure suggests wait-times
  # concurrent_requests: 25 # the number of parallel inflight requests that may be made
  # temperature: 0 # temperature for sampling
  # top_p: 1 # top-p sampling
  # n: 1 # Number of completions to generate

parallelization:
  stagger: 0.3
  # num_threads: 50 # the number of threads to use for parallel processing

async_mode: threaded # or asyncio

embeddings:
  ## parallelization: override the global parallelization settings for embeddings
  async_mode: threaded # or asyncio
  llm:
    api_key: ${GRAPHRAG_API_KEY}
    type: openai_embedding # or azure_openai_embedding
    model: nomic-ai/nomic-embed-text-v1.5-GGUF/nomic-embed-text-v1.5.Q2_K.gguf
    api_base: http://localhost:1234/v1
    # api_version: 2024-02-15-preview
    # organization: <organization_id>
    # deployment_name: <azure_model_deployment_name>
    # tokens_per_minute: 150_000 # set a leaky bucket throttle
    # requests_per_minute: 10_000 # set a leaky bucket throttle
    # max_retries: 10
    # max_retry_wait: 10.0
    # sleep_on_rate_limit_recommendation: true # whether to sleep when azure suggests wait-times
    # concurrent_requests: 25 # the number of parallel inflight requests that may be made
    # batch_size: 16 # the number of documents to send in a single request
    # batch_max_tokens: 8191 # the maximum number of tokens to send in a single request
    # target: required # or optional
  


chunks:
  size: 300
  overlap: 100
  group_by_columns: [id] # by default, we don't allow chunks to cross documents
    
input:
  type: file # or blob
  file_type: text # or csv
  base_dir: "input"
  file_encoding: utf-8
  file_pattern: ".*\\.txt$"

cache:
  type: file # or blob
  base_dir: "cache"
  # connection_string: <azure_blob_storage_connection_string>
  # container_name: <azure_blob_storage_container_name>

storage:
  type: file # or blob
  base_dir: "output/${timestamp}/artifacts"
  # connection_string: <azure_blob_storage_connection_string>
  # container_name: <azure_blob_storage_container_name>

reporting:
  type: file # or console, blob
  base_dir: "output/${timestamp}/reports"
  # connection_string: <azure_blob_storage_connection_string>
  # container_name: <azure_blob_storage_container_name>

entity_extraction:
  ## llm: override the global llm settings for this task
  ## parallelization: override the global parallelization settings for this task
  ## async_mode: override the global async_mode settings for this task
  prompt: "prompts/entity_extraction.txt"
  entity_types: [organization,person,geo,event]
  max_gleanings: 1

summarize_descriptions:
  ## llm: override the global llm settings for this task
  ## parallelization: override the global parallelization settings for this task
  ## async_mode: override the global async_mode settings for this task
  prompt: "prompts/summarize_descriptions.txt"
  max_length: 500

claim_extraction:
  ## llm: override the global llm settings for this task
  ## parallelization: override the global parallelization settings for this task
  ## async_mode: override the global async_mode settings for this task
  # enabled: true
  prompt: "prompts/claim_extraction.txt"
  description: "Any claims or facts that could be relevant to information discovery."
  max_gleanings: 1

community_reports:
  ## llm: override the global llm settings for this task
  ## parallelization: override the global parallelization settings for this task
  ## async_mode: override the global async_mode settings for this task
  prompt: "prompts/community_report.txt"
  max_length: 2000
  max_input_length: 8000

cluster_graph:
  max_cluster_size: 10

embed_graph:
  enabled: false # if true, will generate node2vec embeddings for nodes
  # num_walks: 10
  # walk_length: 40
  # window_size: 2
  # iterations: 3
  # random_seed: 597832

umap:
  enabled: false # if true, will generate UMAP embeddings for nodes

snapshots:
  graphml: false
  raw_entities: false
  top_level_nodes: false

local_search:
  # text_unit_prop: 0.5
  # community_prop: 0.1
  # conversation_history_max_turns: 5
  # top_k_mapped_entities: 10
  # top_k_relationships: 10
  # llm_temperature: 0 # temperature for sampling
  # llm_top_p: 1 # top-p sampling
  # llm_n: 1 # Number of completions to generate
  # max_tokens: 12000

global_search:
  # llm_temperature: 0 # temperature for sampling
  # llm_top_p: 1 # top-p sampling
  # llm_n: 1 # Number of completions to generate
  # max_tokens: 12000
  # data_max_tokens: 12000
  # map_max_tokens: 1000
  # reduce_max_tokens: 2000
  # concurrency: 32

理论上跑的起来，但是我的电脑配置不行，跑不了稍微大一点的模型，没法实测。

混合使用

可以接入在线的对话模型Api，嵌入模型用本地的，但是SiliconCloud目前嵌入模型免费使用，也可以直接使用SiliconCloud的嵌入模型。

为了测试有哪些模型能把GraphRag流程跑通，但有些厂商只提供对话模型没有提供嵌入模型或者提供的嵌入模型也不兼容OpenAI格式该怎么办？

可以使用两个Key，一个Key是SiliconCloud用于使用嵌入模型，一个Key是其它厂商的，用于使用对话模型。

比如可以这样设置：

image-20240810103933743

配置文件可以这样写：

encoding_model: cl100k_base
skip_workflows: []
llm:
  api_key: ${Other_API_KEY}
  type: openai_chat # or azure_openai_chat
  model: glm-4-air 
  model_supports_json: true # recommended if this is available for your model.
  # max_tokens: 4000
  # request_timeout: 180.0
  api_base: https://open.bigmodel.cn/api/paas/v4
  # api_version: 2024-02-15-preview
  # organization: <organization_id>
  # deployment_name: <azure_model_deployment_name>
  # tokens_per_minute: 150_000 # set a leaky bucket throttle
  # requests_per_minute: 10_000 # set a leaky bucket throttle
  # max_retries: 10
  # max_retry_wait: 10.0
  # sleep_on_rate_limit_recommendation: true # whether to sleep when azure suggests wait-times
  # concurrent_requests: 25 # the number of parallel inflight requests that may be made
  # temperature: 0 # temperature for sampling
  # top_p: 1 # top-p sampling
  # n: 1 # Number of completions to generate

parallelization:
  stagger: 0.3
  # num_threads: 50 # the number of threads to use for parallel processing

async_mode: threaded # or asyncio

embeddings:
  ## parallelization: override the global parallelization settings for embeddings
  async_mode: threaded # or asyncio
  llm:
    api_key: ${GRAPHRAG_API_KEY}
    type: openai_embedding # or azure_openai_embedding
    model: BAAI/bge-large-en-v1.5
    api_base: https://api.siliconflow.cn/v1
    # api_version: 2024-02-15-preview
    # organization: <organization_id>
    # deployment_name: <azure_model_deployment_name>
    # tokens_per_minute: 150_000 # set a leaky bucket throttle
    # requests_per_minute: 10_000 # set a leaky bucket throttle
    # max_retries: 10
    # max_retry_wait: 10.0
    # sleep_on_rate_limit_recommendation: true # whether to sleep when azure suggests wait-times
    # concurrent_requests: 25 # the number of parallel inflight requests that may be made
    # batch_size: 16 # the number of documents to send in a single request
    # batch_max_tokens: 8191 # the maximum number of tokens to send in a single request
    # target: required # or optional
  


chunks:
  size: 300
  overlap: 100
  group_by_columns: [id] # by default, we don't allow chunks to cross documents
    
input:
  type: file # or blob
  file_type: text # or csv
  base_dir: "input"
  file_encoding: utf-8
  file_pattern: ".*\\.txt$"

cache:
  type: file # or blob
  base_dir: "cache"
  # connection_string: <azure_blob_storage_connection_string>
  # container_name: <azure_blob_storage_container_name>

storage:
  type: file # or blob
  base_dir: "output/${timestamp}/artifacts"
  # connection_string: <azure_blob_storage_connection_string>
  # container_name: <azure_blob_storage_container_name>

reporting:
  type: file # or console, blob
  base_dir: "output/${timestamp}/reports"
  # connection_string: <azure_blob_storage_connection_string>
  # container_name: <azure_blob_storage_container_name>

entity_extraction:
  ## llm: override the global llm settings for this task
  ## parallelization: override the global parallelization settings for this task
  ## async_mode: override the global async_mode settings for this task
  prompt: "prompts/entity_extraction.txt"
  entity_types: [organization,person,geo,event]
  max_gleanings: 1

summarize_descriptions:
  ## llm: override the global llm settings for this task
  ## parallelization: override the global parallelization settings for this task
  ## async_mode: override the global async_mode settings for this task
  prompt: "prompts/summarize_descriptions.txt"
  max_length: 500

claim_extraction:
  ## llm: override the global llm settings for this task
  ## parallelization: override the global parallelization settings for this task
  ## async_mode: override the global async_mode settings for this task
  # enabled: true
  prompt: "prompts/claim_extraction.txt"
  description: "Any claims or facts that could be relevant to information discovery."
  max_gleanings: 1

community_reports:
  ## llm: override the global llm settings for this task
  ## parallelization: override the global parallelization settings for this task
  ## async_mode: override the global async_mode settings for this task
  prompt: "prompts/community_report.txt"
  max_length: 2000
  max_input_length: 8000

cluster_graph:
  max_cluster_size: 10

embed_graph:
  enabled: false # if true, will generate node2vec embeddings for nodes
  # num_walks: 10
  # walk_length: 40
  # window_size: 2
  # iterations: 3
  # random_seed: 597832

umap:
  enabled: false # if true, will generate UMAP embeddings for nodes

snapshots:
  graphml: true
  raw_entities: false
  top_level_nodes: false

local_search:
  # text_unit_prop: 0.5
  # community_prop: 0.1
  # conversation_history_max_turns: 5
  # top_k_mapped_entities: 10
  # top_k_relationships: 10
  # llm_temperature: 0 # temperature for sampling
  # llm_top_p: 1 # top-p sampling
  # llm_n: 1 # Number of completions to generate
  # max_tokens: 12000

global_search:
  # llm_temperature: 0 # temperature for sampling
  # llm_top_p: 1 # top-p sampling
  # llm_n: 1 # Number of completions to generate
  # max_tokens: 12000
  # data_max_tokens: 12000
  # map_max_tokens: 1000
  # reduce_max_tokens: 2000
  # concurrency: 32

我尝试了多个大模型，经过我这个简单的测试，能把GraphRag流程跑通的（只是跑通，回答效果不一定好）的有如下这些：

image-20240810104317340

image-20240810104349626

温馨提示

GraphRag Token消耗量很大，请注意额度！！

对于一个两千多字的文本，一次GraphRag基本上就要耗费十多万的Token：

image-20240810105125183

image-20240810105429469

参考

1、https://microsoft.github.io/graphrag/posts/get_started/

2、https://siliconflow.cn/zh-cn/siliconcloud

3、https://github.com/microsoft/graphrag/discussions/321

4、https://github.com/microsoft/graphrag/issues/374

5、https://www.youtube.com/watch?v=BLyGDTNdad0

mingupup
关注
专栏目录
Python利用jieba库实现中文词频统计：以三国演义为例
吉大秦少游
02-24 1万+
词频统计 #CalThreeKingdoms.py import jieba txt=open("threekingdoms.txt",'r',encoding="utf-8").read() words=jieba.lcut(txt) #jieba库函数 count={} #创建字典 for word in words: if len(word)==1: c...
python3+pycharm实现将txt文件 使用jieba分词 wordcloud制作词云 ——以《三国演义》的txt文件为例
weixin_43508670的博客
04-21 3945
代码以及释义如下： import jieba import jieba.analyse import wordcloud from PIL import Image, ImageSequence import numpy as np import matplotlib.pyplot as plt from wordcloud import WordCloud, ImageColorGenerat...
python面向对象程序设计实践（高级）——以《三国演义》中三英大战吕布为例
hard_coding_wang
11-09 637
python面向对象程序设计实践（初级） ——以《三国演义》中三英大战吕布为例 设计实现思路： 设计类 定义武器类：武器名，攻击力 定义人物类：继承武器类，姓名，生命值 设计函数简化对象的使用 延时函数：延时0.5秒 查看生命值：查看所有对象的生命值 统一回复生命值：所有对象生命值+1 选择英雄 攻击：进攻者发起攻击， 使被进攻者生命值减少 三连击：进攻者连续三次攻击被进攻者 宣布战斗结果 辅助方法打印显示功能 打印符号 打印菜单 显示英雄列表 测试实例化对象，调用编写方法 测试对象、类及函数
python面向对象程序设计实践（初级）——以《三国演义》中三英大战吕布为例
hard_coding_wang
11-09 721
python面向对象程序设计实践（初级） ——以《三国演义》中三英大战吕布为例 设计实现思路： 定义武器类：武器名，攻击力 定义人物类：继承武器类，姓名，生命值 延时函数：延时0.5秒 实例化人物类为4个对象如：刘关张三兄弟及吕布 对象分别调用相关实例方法 #定义武器类：武器名，攻击力 class Wuqi(): def __init__(self,tools,fight): self.fight = fight self.tools = tools #定义人物
Jieba与三国？——使用jieba统计《三国演义》词频
Funny_Cheng的博客
06-19 3183
《三国演义》词频统计 （原创文章，转载请标明出处） 使用Jieba分词，统计《三国演义》的词频，最后生成词云 主要特点如下： 1. 制作了两个自定义字典（三国演义人物名、三国演义官职一览表） 2. 使用停用词词典 import re import jieba import csv from collections import Counter from pyecharts import options as opts from pyecharts.charts import Page, WordClou
bs4解析案例实战——爬取三国演义小说所有章节标题和章节内容
RM_Jin的博客
01-10 2193
目标 爬取三国演义小说所有章节标题和章节内容 网址：https://www.shicimingju.com/book/sanguoyanyi.html 思路 先使用通用爬虫爬取当前页面 解析页面当中提供的所有页面标题 获取标题所对应内容的详情页的链接地址 将详情页中的章节内容提取出来 对首页页面数据进行爬取 import requests url = 'https://www.shicimingju.com/book/sanguoyanyi.html' page_text = requests.get(ur
python——三国演义 制作词云
qq_45072087的博客
05-17 6414
python——三国演义制作词云 题目： 设计一个程序，读出threekingdoms.txt文件中的三国演义全文，将常见人名进行去重后生成词云，并列出词频最高的5个词。 例：'玄德'，'刘备','玄德曰','刘皇叔','皇叔'都是同一个人。 可利用字典来保存需要去重的词。 dupDict={'曹操' : ['孟德','丞相'], '玄德' : ['刘备','皇叔','刘皇叔','玄德曰'], '云长' : ['关羽','关云长','关公'], '...
Python爬虫实战（02）—— 爬取诗词名句三国演义
猫猫可达鸭
10-20 2154
使用BeautifulSoup 模块从某名句网上爬取《三国演义》章节
三国演义python分析系统_Python之三国演义(上)
weixin_40002692的博客
12-28 2499
一、设计实现详细说明1.1 任务详细描述以中国四大名著之一——《三国演义》为蓝本，结合python数据分析知识进行本次的文本分析。《三国演义》全书共120回。本次的分析主要基于统计分析、文本挖掘等知识。1.2 设计思路详细描述数据准备、数据预处理、分词等全书各个章节的字数、词数、段落等相关方面的关系整体词频和词云的展示全书各个章节进行聚类分析并可视化，主要进行了根据IF-IDF的系统聚类和根据词频...
python——三国演义词云.zip
06-07
设计一个程序，读出threekingdoms.txt文件中的三国演义全文，将常见人名进行去重后生成词云，并列出词频最高的5个词。 例：'玄德'，'刘备','玄德曰','刘皇叔','皇叔'都是同一个人。 可利用字典来保存需要去重的词。 ...
三国演义OL架设视频教程.mp4
08-09
三国演义OL架设视频教程
蒙特卡罗方法——布丰投针实验近似计算圆周率python代码实现
2301_79376014的博客
09-09 484
蒙特卡罗——布丰实验
Python实现多线程、多进程及协程
qq_42568323的博客
09-09 1072
本文详细介绍了 Python 中多线程、多进程和协程的并发模型及其实现方式，并通过具体场景演示了如何使用面向对象思想实现这些模型。在实际应用中，应根据任务的类型和需求选择合适的并发模型，从而优化程序的性能和资源利用率。本文将详细介绍 Python 中的多线程、多进程和协程的概念及其实现方式，并通过具体场景展示如何在 Python 中使用面向对象的思想实现这些并发模型。接下来，我们通过一个计算密集型任务的示例来演示多进程的实现：计算一系列大数字的阶乘。主程序中创建并启动了多个计算进程，并使用。
pip-tools：打造可重复、可控的 Python 开发环境，解决依赖关系，让代码更稳定
weixin_53707653的博客
09-09 825
是一个强大且易用的工具，可以帮助开发者轻松管理 Python 项目的依赖关系，确保代码的可重复性和稳定性。是一组命令行工具，旨在简化 Python 依赖关系的管理，确保项目环境的稳定性和可重复性。可以确保每次构建环境时都使用相同的依赖项版本，从而避免由于依赖项版本不一致导致的错误，提高代码可重复性和稳定性。自动化了依赖关系管理过程，节省了开发者的时间和精力，可以将更多时间投入到实际的开发工作中。文件中的信息，更新虚拟环境，安装、升级或卸载所需的软件包，确保虚拟环境与。命令可以从你的项目配置文件中生成。
[Python]生成器和yield关键字
weixin_57336987的博客
09-07 432
概述:​ 它指的是 generator, 类似于以前学过的: 列表推导式, 集合推导式, 字典推导式…作用:​ 降低资源消耗, 快速(批量)生成数据.实现方式:​ 1.推导式写法.​ 2.yield写法.yield i # yield会记录每个生成的数据, 然后逐个的放到生成器对象中, 最终返回生成器对象.问题: 如何从生成器对象中获取数据?​ 答案:​ 1.for循环遍历​ 2.next()函数, 逐个获取.
Django-Celery-Flower实现异步和定时爬虫及其监控邮件告警
最新发布
weixin_50556117的博客
09-11 987
【代码】Django-Celery-Flower实现异步和定时爬虫及其监控邮件告警。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值