网络爬虫爬取某网数据并制作词云全过程【内附可执行代码注释完整】

已于 2023-06-05 18:40:00 修改
阅读量3.1k 收藏 52
点赞数 9
分类专栏： 数据分析与挖掘 文章标签： 爬虫 python 开发语言
于 2022-12-15 15:24:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jacksqh/article/details/128320482
版权

文章目录

前言

快期末了，有个数据挖掘的大作业需要用到python的相关知识（这太难为我这个以前主学C++的人了，不过没办法还是得学😂🚀🚀），下面是我在学习制作词云知识时总结的一些东西（本篇文章主要包含数据爬取以及词云制作），我对于python不是很熟悉，如果下面的一些知识点有哪里出问题或者有不同理解的，请一定一定要在评论区提出来，让我这个菜鸡学习学习~~/(ㄒoㄒ)/~~

网络爬取数据部分

这次期末的大作业主要是要分析俄乌冲突的内容，所以需要爬取相关网站的内容，以下是我爬取某华网的整个过程（我对于数据爬虫并不是特别熟悉，请大家多多包含）

在正式开始爬取之前，我们先来学习一些字符串的处理操作吧👇

小知识点

利用正则表达式在字符串中提取到url（https以及http）

为什么我要提取url呢，那是因为我提取的网站源代码，他就会包含很多子窗口的url，我把这些子窗口的url进行保存，最终目的就是为了读取子窗口的正文信息。

直接看运行效果吧👇

import re

def findUrl(string):
    # findall() 查找匹配正则表达式的字符串

    url = re.findall('https?://[a-zA-Z0-9\.\?/%-_]*', string)

    return url


if __name__ == '__main__':
    strTest = "url1=https://cn.bing.com sda" \
              "url2 = https://baidu.com sd" \
              "asdjaslkdjaskld http://taobao.com"

    print(strTest)

    listUrl = findUrl(strTest)

    print(listUrl)

运行效果：
在这里插入图片描述

仅仅只保存字符串中的中文字符

核心思想：通过比对字符串中字符的unicode编码看是不是中文字符

def is_chinese(uchar):
    """判断一个unicode是否是汉字"""
    if uchar >= u'\u4e00' and uchar <= u'\u9fa5':
        return True
    else:
        return False

def format_str(content):
    content.encode("UTF-8")
    content_str = ''
    for i in content:
        if is_chinese(i):
            content_str = content_str+i
    return content_str

if __name__ == '__main__':
    contentStr = "1231231231我在北京邮电大学西土城10十号！！！！！"
    formatStr = format_str(contentStr)

    print(formatStr)

运行效果：
在这里插入图片描述

爬取数据

在这里插入图片描述

通过f12我们可以发现网页的请求方式是Ajax请求
如何判断是否是Ajax请求👇

  • 当我们将滚动条往下拉后，看到滚动条越来越短（整个网页的数据增多了，观察f12的Network慢慢的它会添加一些东西），但是整体的页面没有刷新
  • f12的element存在的一些"元素"（比如我们的图片名字），而当我们去f12的source中是找不到该"元素"的

在这里插入图片描述

我们拿到Ajax的url，观察其规律
在这里插入图片描述

所以我这决定爬取数据的步骤是：

  • 爬取10个页面的信息，将其中子窗口（单独的新闻）的网址进行记录保存
  • 对子窗口网址进行爬取，将新闻的正文部分进行爬取（采用BeautifulSoup进行数据解析）
  • 将爬取到的正文部分进行处理（去除’ '，“\r”，“\n”…），然后将字符串全部保存到一个文件中

代码：

import requests
from lxml import etree
import re
from bs4 import BeautifulSoup
import jieba
from wordcloud import WordCloud

def is_chinese(uchar):
    """判断一个unicode是否是汉字"""
    if uchar >= u'\u4e00' and uchar <= u'\u9fa5':
        return True
    else:
        return False

def format_str(content):
    content.encode("UTF-8")
    content_str = ''
    for i in content:
        if is_chinese(i):
            content_str = content_str+i
    return content_str

def Find(string):
    # findall() 查找匹配正则表达式的字符串
    url = re.findall('https?://[a-zA-Z0-9\.\?/%-_]*', string)

    return url

def getUrl(string):
    resp2 = requests.get(string)
    return Find(resp2.text)

def getData(string):
    data = set()
    resp = requests.get(string)
    resp.encoding = "utf-8"
    # 使用lxml解析器解析html
    bs = BeautifulSoup(resp.text, "lxml")
    # 将换行符，空格以及回车进行去除
    stringTitle = bs.title.text.replace(" ","").replace("\n","").replace("\r","")
    stringTitle = format_str(stringTitle)
    data.add(stringTitle)
    
    for item in bs.select("#DH-PLAYERID"):
        stringTitle1 = item.text.replace(" ","").replace("\n", "").replace("\r","")
        stringTitle1 = format_str(stringTitle1)
        data.add(stringTitle1)
        
    for item in bs.select("#detail"):
        stringTitle2 = item.text.replace(" ","").replace("\n", "").replace("\r","")
        stringTitle2 = format_str(stringTitle2)
        data.add(stringTitle2)
    # for item in data:
    #     print(item)
    return data

if __name__ == '__main__':
    news_data = set()
    m_urlList = []
    strNews = ""

    # 获取新华网疫情模块的前20页疫情新闻
    for i in range(20):
        url = "http://so.news.cn/getNews?keyword=" \
              "%E4%BF%84%E4%B9%8C%E5%86%B2%E7%AA%81&curPage="+str(i+1)+"&sortField=0&searchFields=1&lang=cn"
        m_urlList = m_urlList+getUrl(url)

    for url in m_urlList:
        news_data=news_data|getData(url)

    # 将列表中的字符串合并到一个字符串中
    for item in news_data:
        #print(item)
        strNews = strNews+item

	# 爬取到的数据进行保存
    with open('新华网爬到的数据.txt', 'w', encoding='utf-8') as f:
        f.write(strNews)
        f.close()

运行结果：
在这里插入图片描述

生成词云

生成词云部分步骤分为：

  • 将刚刚爬取下来的文本文件进行分词（在这使用jieba分词）
  • 生成词云

jieba分词

import jieba

text = "您好呀我是来自北京邮电大学的一名学生"
#print(text)
# 1.结巴中文分词，生成字符串，默认精确模式
cut_text = jieba.cut(text)
# 2.必须给个符号分隔开分词结果来形成字符串，才可以打印和分词
result = " ".join(cut_text)
print(result)

运行结果：
在这里插入图片描述

生成词云

生成词云的步骤：

  • 读取之前网络爬虫爬取的数据文件，并将其分词生成分词结果result
  • 将本地的字体文件拷贝到代码的同级目录（需要有字体文件要不然后面生成的词云可能会是"框框"）
  • 生成词云

1.将本地的字体文件拷贝到代码同级目录

在这里插入图片描述
拷贝到代码同级目录下会有这三个文件，用第一个就行（看后面操作）
在这里插入图片描述

2.生成词云
直接看代码吧，注释都在代码里面了👇

代码

import matplotlib.pyplot as plt
import jieba
from wordcloud import WordCloud

text = "您好您好您好呀我是来自北京邮电大学的一名学生"
#print(text)
# 1.结巴中文分词，生成字符串，默认精确模式
cut_text = jieba.cut(text)
# 2.必须给个符号分隔开分词结果来形成字符串，才可以打印和分词
result = " ".join(cut_text)
print(result)
wc = WordCloud(
        # 设置字体，不指定就会出现乱码
        # 设置背景色
        background_color='white',
        # 设置背景宽
        width=500,
        # 设置背景高
        height=350,
        # 最大字体
        max_font_size=50,
        # 最小字体
        min_font_size=10,
        mode='RGBA',
        font_path =  "msyh.ttc" # 字体信息
        #colormap='pink'
        )
# 产生词云
wc.generate(result)

# 3.显示图片
# 指定所绘图名称
plt.figure("jay")
# 以图片的形式显示词云
plt.imshow(wc)
# 关闭图像坐标系
plt.axis("off")
plt.show()

运行效果：
在这里插入图片描述

生成词云最终版代码

这里也没啥好说的，该说的知识点前面都已经说完了，下面直接看代码吧

import matplotlib.pyplot as plt
import jieba
from wordcloud import WordCloud


# 1.读入txt文本数据
f = open('新华网爬到的数据.txt','r',encoding = 'utf-8')    
text = f.read()
f.close
# 2.结巴中文分词，生成字符串，默认精确模式，如果不通过分词，无法直接生成正确的中文词云
cut_text = jieba.cut(text)
# 必须给个符号分隔开分词结果来形成字符串,否则不能绘制词云
result = " ".join(cut_text)
# 3.生成词云图，这里需要注意的是WordCloud默认不支持中文，所以这里需已下载好的中文字库
# 无自定义背景图：需要指定生成词云图的像素大小，默认背景颜色为黑色,统一文字颜色：mode='RGBA'和colormap='pink'
wc = WordCloud(
        # 设置字体，不指定就会出现乱码
        # 设置背景色
        background_color='white',
        # 设置背景宽
        width=500,
        # 设置背景高
        height=350,
        # 最大字体
        max_font_size=50,
        # 最小字体
        min_font_size=10,
        mode='RGBA',
        font_path =  "msyh.ttc" # 我们刚刚copy来的字体文件
        #colormap='pink'
        )
# 产生词云
wc.generate(result)
# 4.显示图片
# 指定所绘图名称
plt.figure("jay")
# 以图片的形式显示词云
plt.imshow(wc)
# 关闭图像坐标系
plt.axis("off")
plt.show()

运行结果（我还是打码吧）：
在这里插入图片描述

总结

谢谢大家能够看到这，真心希望对您有所帮助，我学python的时间也不长，如果同学们对于本文的一些知识点或者一些概念存在疑问或者是不同理解欢迎在评论区中提出来，让我也可以学习学习，谢谢大家🚀🚀
在这里插入图片描述

CAccept
关注
专栏目录
python爬虫生成词云
qq_40024605的博客
05-30 6925
python爬虫生成词云只生成词云还是比较简单的，网上教程还是比较多的，在这作为爬虫菜鸟就稍稍献丑献丑，请勿多怪一、首先，我们需要用到的库有 jieba、matplolib、wordcloud。 jieba 是一个python实现的分词库，对中文有着很强大的分词能力。（了解请戳 https://www.cnblogs.com/jiayongji/p/7119065.html）Matplotlib是...
Python数据挖掘-词云
anrao9657的博客
10-01 220
词云绘制 1、语料库的搭建、分词来源、移除停用词、词频统计 使用方法：os.path.join(path,name) #连接目录与文件名或目录 结果为path/name import os import os.path import codecs filePaths=[] fileContents=[] for root,dirs,files in ...
python爬虫词云
05-26
简单好用的词云程序包。可以连接微信朋友圈，内置爬虫程序。
爬虫爬取新闻并生成词云
m0_73442004的博客
11-04 1102
用jiaba函数进行分词。然后把内容用循环遍历转成字符串。用词云函数代码中有注释。大体就是这样，不过在爬取时可以简化。所有的新闻都有一个相同点可以用来爬取。首先用来隐藏成正常的电脑IP。正则表达式主要用F12进行查取。爬取豆瓣应用的函数同样可以用来爬取新闻。这里面主要是正则表达式的提取和对爬出的链接再进行爬取解析。同的地方位置重复爬取。我这里对新闻不同位置元素爬取。
网络爬虫爬取b站励志弹幕并生成词云(精心笔记总结)！
爬遍所有网站
02-21 1081
bilibili献给新一代的演讲《后浪》 此文转载文，著作权归作者所有，如有侵权联系小编删除！ 前言 在进入本文之前，我很想给大家推荐b站这个视频，3080.2万播放，27.9万条弹幕。这个视频之火不是因为漂亮的小姐姐，也不是什么很傻，很逗人发笑的视频，而是因为那满满的正能量，以及对于年轻人的激励，我们要活成我们的样子，我们是后浪，我们遇见这个时代，时代遇见今天的我们。 弱小的人才习惯嘲讽和否定，而内心强大的人从不吝啬赞美和鼓励！我们就是后浪，奔涌吧！后浪，奔涌吧！新一代！相信你们看了这个视频会内心
爬虫+数据采集+数据分析+可视化 完整教程
m0_69536520的博客
04-13 2010
本章带你学习基于Python3的Scrapy 爬虫框架中数据爬取过程中的下载器中间件是一个挂钩 Scrapy 的请求/响应处理的框架。是一个轻量级的低级系统，用于全局更改 Scrapy 的请求和响应。 其主要作用如下： 在 Scrapy 将请求发送到网站之前修改/处理请求，如：更换代理ip，headers 等。 在响应信息传递给引擎之前处理收到的响应信息，例如：响应失败重新请求，或将失败的信息进行加工处理再返回给引擎。 并且可以设置忽略一些响应或者请求。 代码内容基于「Scrapy 爬虫框架...
Python爬虫和数据可视化
中國颜值半壁江山的博客
04-21 3499
qq
我的当当图书爬虫
qq_38779009的博客
12-18 836
我的当当图书爬虫一、项目简介二、爬取数据（scrapy框架）scrapy框架的简单介绍scrapy框架的安装爬取过程增量爬取功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章U...
全网目前最全python例子（附源码）
热门推荐
不想当码农的程序员
12-30 7万+
源码 https://github.com/javanan/python-small-examples 告别枯燥，60秒学会一个小例子，系统学习Python，从入门到大师。Python之路已有190个例子： 第零章：感受Python之美 第一章：Python基础 第二章：Python之坑 第三章：Python字符串和正则 第四章：Python文件 第五章：Python日期 第六章：Python利器...
卷积神经网络的Python实现,python卷积神经网络训练
super67269的博客
08-14 6952
对于想要自学Python的小伙伴，这里整理了一份系统全面的学习路线，按照这份大纲来安排学习可以少走弯路，事半功倍。第一阶段：专业核心基础阶段目标：1.熟练掌握Python的开发环境与编程核心知识2.熟练运用Python面向对象知识进行程序开发3.对Python的核心库和组件有深入理解4.熟练应用SQL语句进行数据库常用操作5.熟练运用Linux操作系统命令及环境配置6.熟练使用MySQL，掌握数据库高级操作7.能综合运用所学知识完成项目知识点：Python编程基础、Python面向对象、Python高级进阶
利用Python爬取微博数据生成词云图片实例代码
09-21
主要给大家介绍了关于利用Python爬取微博数据生成词云图片的相关资料，文中通过示例代码介绍非常详细，对大家学习或者使用python具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧。
python爬虫词云_利用爬虫做词云分析
weixin_39885469的博客
12-08 1564
首先跟大家解释下，为什么更新的是关于爬虫的内容而不是open.cv。因为小编想继承上一篇帖子(python数据可视化之WordCloud)的内容，上篇帖子只是简单的介绍了wordcloud的安装和使用方法，但是应用部分却没有怎么提及。今天，我们用爬虫来获取网页，然后再用word cloud做词云分析。一、爬虫框架的搭建1.1网络爬虫的基本思路爬虫的目的是获取网页的信息，一般的应用就是搜索引擎了。今...
网络爬虫做词云分析
qq_40738137的博客
04-21 1350
转自本人简书地址 首先跟大家解释下，为什么更新的是关于爬虫的内容而不是open.cv。因为小编想继承上一篇帖子（python数据可视化之WordCloud）的内容，上篇帖子只是简单的介绍了wordcloud的安装和使用方法，但是应用部分却没有怎么提及。今天，我们用爬虫来获取网页，然后再用word cloud做词云分析。 一、爬虫框架的搭建 1.1网络爬虫的基本思路 爬虫的目的是获取网页的信息，一般...
爬虫和词云
weixin_73273440的博客
11-03 402
爬虫和词云
【Python学习】网络爬虫-制作词云图
最新发布
u014481728的博客
06-09 1605
【Python学习】网络爬虫-制作词云图：本实例中，我们将关于庆余年的豆瓣电影评论进行了中文分词，并制作了一张词云图。使用了jieba、pyecharts模块。jieba：（结巴分词）是一个开源的中文分词工具，用于将中文文本切分成词语或词汇单位。它是一个 Python 库，广泛用于自然语言处理（NLP）和文本分析领域。
Python网络爬虫（一）爬取、存储、生成词云
cungudafa的博客
01-26 6152
目录一、环境搭建二、网络爬取数据以txt格式保存数据（一）爬取入门（二）教程示例三、生成词云图片 一、环境搭建 pip install requests pip install bs4 pip install wordcloud pip install jieba pip install cv2 库名 作用 requests 访问网页 bs4 使用 BeautifulSoup...
数据挖掘之wordcloud词云
qq_39409944的博客
05-19 338
#-*- coding:utf-8 -*- """ 优化词云 显示指定图片 """ import jieba import matplotlib.pyplot as plt from wordcloud import WordCloud,STOPWORDS,ImageColorGenerator from scipy.misc import imread #引入读取图片的库 import ...
Python爬虫入门教程06：爬取数据后的词云图制作
人生苦短， 还不用Python？
01-25 6643
前言???? 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 前文内容???? Python爬虫入门教程01：豆瓣Top电影爬取 Python爬虫入门教程02：小说爬取 Python爬虫入门教程03：二手房数据爬取 Python爬虫入门教程04：招聘信息爬取 Python爬虫入门教程05：B站视频弹幕的爬取 PS：如有需要 Python学习资料 以及 解答 的小伙伴可以加点击下方链接自行获取 python免费学习资料以及群交流解答点击即可加入 基本开发环
网络爬虫爬取数据保存到数据库过程
05-25
网络爬虫是一种自动化程序，可以在网站上收集信息并将其存储在数据库中。下面是一个将爬取的数据保存到数据库的过程： 1. 创建数据库和表：首先需要创建一个数据库和一个表来存储数据。可以使用MySQL或其他关系数据库来创建数据库和表。 2. 连接到数据库：使用Python的MySQLdb模块或其他数据库驱动程序连接到创建的数据库。 3. 爬取网站数据：使用Python的Requests或Scrapy等框架来爬取网站数据。可以使用BeautifulSoup或其他解析库来处理HTML或XML内容。 4. 解析数据：将爬取的数据解析为需要的格式，并将其存储在Python对象中。 5. 将数据存储到数据库中：使用Python的MySQLdb模块或其他数据库驱动程序将解析后的数据存储到数据库中。可以使用INSERT语句或其他ORM（对象关系映射）工具来执行此操作。 6. 断开数据库连接：在程序结束时，使用Python的MySQLdb模块或其他数据库驱动程序断开与数据库的连接。 以上是一个基本的将爬取的数据保存到数据库的过程，但具体实现过程会因为不同的爬虫框架和数据库而有所不同。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值