python爬虫爬取虎扑湖人论坛专区帖子数据，并存入MongoDB数据库中

最新推荐文章于 2023-09-17 21:48:11 发布
最新推荐文章于 2023-09-17 21:48:11 发布
阅读量2.1k 收藏 4
点赞数 2
分类专栏： Python 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lzx159951/article/details/103172041
版权

今天就带大家从头到尾一步一步带着大家爬取虎扑论坛帖子的数据，里面涉及到的一些知识，我会给出学习的连接，大家可以自行去学习查看。

前期准备

首先我们打开虎扑NBA论坛，我选择的是湖人专区(小湖迷一个)。虎扑湖人专区
我们需要爬取的数据有这些
在这里插入图片描述
好了 每一个小帖子我们需要爬取图中的这七个数据，接下来我们利用浏览器的开发者模型，查看我们需要的东西。

我举个例子：
首先打开浏览器的开发者模式，谷歌浏览器快捷键是F12
在这里插入图片描述
点击蓝色方框内的小箭头，点击后放在帖子主题上我们会定位到该主题所在的前端位置。

在这里插入图片描述
右侧蓝框内就是左边主题所在的位置，我们可以看到，这个主题是在 a 标签内部 同时又被b标签包括着。
这里，咱们需要注意一下，因为论坛的第一条帖子主题是加粗的，其他的帖子并没有加粗。
好了 我们可以将这条信息 写为 【帖子主题 |a class_truetit】

接着就是按照

最低0.47元/天 解锁文章
梁先森-在技术的路上奔跑
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
爬取虎扑社区，存入MongoDB数据库
若尘的博客
03-27 2561
爬取虎扑社区，存入MongoDB数据库
python爬虫爬取虎扑步行街爆照区图片
kawhi849
07-27 2981
开始动手的时候毫无头绪，主要借鉴了以下帖子： https://blog.csdn.net/sinat_28797501/article/details/70195443 但是后来发现代码中还是有一些不太妥当之处，不知是因为网站更新换代、结构改变，还是代码或环境有所差异，修修补补之后，还是完成了图片的爬取。（ps：原贴做的还是很好的哈哈哈膜一波） 主要修改的几个地方： 原帖中图片存储时，格式...
爬取虎扑步行街论坛数据保存到MySQL、MongoDB
My_daily_life的博客
11-17 1440
    本文内容围绕获取虎扑步行街论坛上所有帖子的数据开展的，爬取的内容包括帖子名称、帖子链接、作者、作者链接、创建时间、回复数、浏览数、最后回复用户和最后回复时间，将爬取的数据分别保存在MongoDB和MySQL里 网页地址： https://bbs.hupu.com/bxj     在运行代码前记得启动MySQL、MongoDB，还需要在MySQL中创建所使用到的库与表 在MySQL中可能将要使用到的命令： 创建mypyt
Python爬取数据并存入MongoDB
12-21
最近和朋友一起开发APP，需要大量数据，而”互联网”与”共享”融合发展的理念，遂资源的可重用给予了当代骚客文人获得感与幸福感…好了，不日白了（正宗重庆话，吹牛的意思），开始正题 BeautifulSoup4 本人是做JavaWeb的，可能多多少少还是遗留了Java的一些格式及规范，但爬虫千千万，却是Python最好使 Beautiful Soup4作为HTML/XML的解析器，其使用、解析难度都较为简单； 人性化的API，支持 lxml 的 XML解析器； 同样也支持CSS选择器、Python标准库中的HTML解析器； 在整个DOM树中，能够快速定位到理想位置节点，并获取相应的内容； 自动将输
爬取湖人队球员的薪资，可视化显示数据，詹姆斯一人顶全队
Python案例分享，B站视频教程：https://space.bilibili.com/523606542
10-13 904
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 以下文章来源于明日IT部落，作者 明日科技 2020年10月12日，也就是昨天。这支由詹姆斯所率领的老年湖人梦想团，在经历了近两个月的比拼后，终于收获了梦寐以求的最终胜利。湖人再次站在了NBA的潮头。36岁的勒布朗詹姆斯，34岁的拉简隆多，34岁的德怀特霍华德，32岁的贾维尔麦基，31岁的马基夫莫里斯，五名老将给这支夕阳梦想团注入了最强大的活力。27岁的安东尼戴维斯，25岁的.
Python学习MongoDB之虎扑数据爬取与上传
Python学习之旅
03-26 227
构建一个模块，调用就能实现数据查看，上传，删除 Mongomodel模块 from pymongo import MongoClient class MongoMdel(object): def __init__(self,db_ip,db_port,db_name,table_name): self.db_ip = db_ip self.db_port ...
在python开发环境下爬虫爬取手机App数据实战并存入MongoDB.zip
最新发布
06-27
在python开发环境下爬虫爬取手机App数据实战并存入MongoDB.zip
python3 实现爬取TOP500的音乐信息并存储到mongoDB数据库中
01-20
爬取TOP500的音乐信息，包括排名情况、歌曲名、歌曲时间。 网页版酷狗不能手动翻页进行下一步的浏览，仔细观察第一页的URL： http://www.kugou.com/yy/rank/home/1-8888.html 这里尝试将1改为2，再进行浏览，恰好是...
python爬虫，Scrapy抓手机App数据并存入MongoDB（今日头条）
01-17
python爬虫，Scrapy抓手机App数据并存入MongoDB（今日头条）python爬虫，Scrapy抓手机App数据并存入MongoDB（今日头条）python爬虫，Scrapy抓手机App数据并存入MongoDB（今日头条）python爬虫，Scrapy抓手机App数据...
Python爬虫 scrapy框架爬取某招聘网存入mongodb解析
09-09
本教程将详细介绍如何使用Scrapy框架来爬取特定招聘网站的数据，并将这些数据存储到MongoDB数据库中。 首先，我们需要创建一个Scrapy项目。在命令行中，运行`scrapy startproject zhaoping`来初始化一个新的Scrapy...
python爬虫获取多页天涯帖子
12-24
今天练习了抓取多页天涯帖子，重点复习的知识包括 soup.find_all和soup.selcet两个筛选方式对应不同的参数； 希望将获取到的多个内容组合在一起返回的时候，要用’zip()’的代码来实现； 两层代码结构之间的关系如何构造； 这里有一个疑问：有时候一个标签可以有多个属性，不知道soup.find_all()能不能接受不止一个属性以缩小查找的范围。 # 引入库和请求头文件 import requests from bs4 import BeautifulSoup headers = { 'User-Agent':'Mozilla/5.0 (Macintosh; I
python scrapy爬虫爬取虎扑NBA新闻前十页，以及所有现役球星信息虎扑
10-31
运行scrapy，可获得虎扑NBA新闻前十页信息以及现役所有NBA球员信息，还有flask把获取的数据渲染出来
Python实现批量读取图片并存入mongodb数据库的方法示例
09-09
主要介绍了Python实现批量读取图片并存入mongodb数据库的方法,涉及Python文件读取及数据库写入相关操作技巧,需要的朋友可以参考下
BeautifulSoup爬取虎扑步行街信息到Mysql
Kobe_WEZ的博客
06-21 398
人生苦短，我用python 今天给大家爬取虎扑步行街的详细信息 效果图如下： 首先根据虎扑步行街链接获取前十个页面链接 for i in range(1, 10): link = "https://bbs.hupu.com/bxj-" + str(i) 接着根据链接获取到页面html headers = {'User-Agent' : 'Mozilla/5.0 (Windows; ...
Python3 爬虫实战 — 虎扑论坛步行街【requests、Beautiful Soup、MongoDB】
BOB'S BLOG
10-13 1713
爬取时间：2019-10-12 爬取难度：★★☆☆☆☆ 请求链接：https://bbs.hupu.com/bxj 爬取目标：爬取虎扑论坛步行街的帖子，包含主题，作者，发布时间等，数据保存到 MongoDB 数据库 涉及知识：请求库 requests、解析库 Beautiful Soup、数据库 MongoDB 的操作 完整代码：https://github.com/TRHX/Python3-...
实战爬虫：python爬虫之爬取虎扑湖人专区新闻中科比相关新闻
KaiSarH
11-08 1965
python爬虫之爬取虎扑湖人专区新闻中科比相关新闻
Python爬虫：从社交媒体收集帖子和评论的完整指南
2201_76125393的博客
09-17 411
在今天的数字时代，社交媒体成为了信息传播和交流的主要平台之一。因此，了解如何使用Python爬虫工具来收集社交媒体上的帖子和评论是非常有用的技能。本文将为您提供一个清晰的思路，帮助您编写一个功能强大的Python爬虫，从社交媒体上抓取帖子和评论。
利用网络爬虫备份某论坛历史数据
sinat_32092165的博客
02-07 306
前一阵子铁血网站关闭了，姥爷是铁血十多年的老用户，就委托我帮他把历史文章导出。导出后是这个样子。 点开txt文件，我们能发现，图片以链接的形式存在文本文档中。 因为用了十多年，文字和图片的量真的不小。如何把这些图片也全部保存下来？这正好是爬虫的用武之地。 总体思路如下： 1.遍历文件夹中所有的txt文件。 2.对每个txt进行读取，利用正则表达式，提取其中的图片网址url，加入到列表中。 3.遍历列表中的url，进行保存 代码如下所示： import os import re imp.
Python爬虫新手入门教学（八）：爬取论坛文章保存成PDF
深蓝旭的博客
05-11 369
前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 Python爬虫、数据分析、网站开发等案例教程视频免费在线观看 https://space.bilibili.com/523606542 前文内容 Python爬虫新手入门教学（一）：爬取豆瓣电影排行信息 Python爬虫新手入门教学（二）：爬取小说 Python爬虫新手入门教学（三）：爬取链家二手房数据 Python爬虫新手入门教学（四）：爬取前程无忧招聘信息 Python爬虫新手入门教学（.
pycharm爬取虎扑湖人社区标题内容，并且导入mongodb数据库
05-17
好的，你可以按照以下步骤来实现： 1. 安装 pymongo 和 requests 库，使用以下命令进行安装： ``` pip install pymongo requests ``` 2. 打开 PyCharm，创建一个新的 Python 项目。 3. 在项目中创建一个名为 `spider.py` 的文件。 4. 导入所需的库： ```python import requests from bs4 import BeautifulSoup from pymongo import MongoClient ``` 5. 连接到 MongoDB 数据库： ```python client = MongoClient('mongodb://localhost:27017/') db = client['hupu'] collection = db['lakers'] ``` 6. 爬取虎扑湖人社区的标题和内容： ```python url = 'https://bbs.hupu.com/lakers' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') titles = soup.select('.titlelink > a') for title in titles: href = title['href'] titleText = title.text contentResponse = requests.get(href, headers=headers) contentSoup = BeautifulSoup(contentResponse.text, 'html.parser') content = contentSoup.select('.quote-content') if len(content) > 0: contentText = content[0].text post = { 'title': titleText, 'content': contentText } collection.insert_one(post) ``` 7. 运行代码，爬取数据并将其导入到 MongoDB 数据库中。 完整代码如下： ```python import requests from bs4 import BeautifulSoup from pymongo import MongoClient client = MongoClient('mongodb://localhost:27017/') db = client['hupu'] collection = db['lakers'] url = 'https://bbs.hupu.com/lakers' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') titles = soup.select('.titlelink > a') for title in titles: href = title['href'] titleText = title.text contentResponse = requests.get(href, headers=headers) contentSoup = BeautifulSoup(contentResponse.text, 'html.parser') content = contentSoup.select('.quote-content') if len(content) > 0: contentText = content[0].text post = { 'title': titleText, 'content': contentText } collection.insert_one(post) ``` 注意：在运行代码之前，请确保你的 MongoDB 服务已经启动。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值