运用爬虫和分词库统计nga某板块标题词频

最新推荐文章于 2024-04-18 23:16:41 发布

雪姬姬

最新推荐文章于 2024-04-18 23:16:41 发布

阅读量424

点赞数 1

文章标签：爬虫 python

本文链接：https://blog.csdn.net/heixueji233/article/details/120231111

版权

NGA论坛标题统计分词关键词分析 jieba库

关键词由CSDN通过智能技术生成

import requests
from bs4 import BeautifulSoup
import jieba
import os
import re


"""让jieba库不显示红字，并且调用自定义分词词典"""
jieba.setLogLevel(20)
jieba.load_userdict("dict.txt")



"""在该处字典内输入板块的网页编号id，即可提取相应页面的标题"""
nga_dict = {
   
    '网事杂谈':'-7',
    '守望先锋':'459',
    '守望先锋联赛': '587',
    '炉石传说':'422',
    '晴风村':'-7955747',
    'PC软硬件': '334',
    '酒馆战棋': '690',
    '大时代': '706',
    '二次元国家地理': '-447601',
    'Nintendo游戏综合讨论': '616'
}



name = input("请输入板块名称：").strip()                                                #获取板块名称，即使输入者输入了空格也无所谓
number = int(input("请输入想统计该板块前多少页的数据：").strip())                        #获取想要获取页的数据，即使输入者输入了空格也无所谓


"""如果文件夹内已存在该板块标题统计过的数据，则删除该文件，以保留最新数据"""
path = '{}.txt'