2021.02.04——用爬虫爬取nga ow区1-10页的帖子并生成词云图

前言

最近在学习爬虫的相关知识，思考做一个案例，平常nga ow区逛的也挺多，就爬取一下前10页帖子的标题，并以此生成词云图吧！

查阅相关链接

词云的简单实现
爬取网站多页数据实现方法
静态爬取方法

代码

import requests
from bs4 import BeautifulSoup
import jieba
from wordcloud import WordCloud
import matplotlib.pyplot as plt
import numpy as np
from PIL import Image
import os

path = 'topic.txt'
if os.path.exists(path):
    os.remove(path)

for page in range(10):                                              #提取前10页的标题，此处用for构建10次
    url = 'https://bbs.nga.cn/thread.php?fid=459&page=%s' %page     #构建url，nga的url很规律，就是page=某个数字就代表第几页
    headers = {
   
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)