爬虫入门学习：爬取股票论坛信息

最新推荐文章于 2024-04-24 11:09:01 发布

暗色光

最新推荐文章于 2024-04-24 11:09:01 发布

阅读量1k

点赞数 2

文章标签： python 爬虫 html

本文链接：https://blog.csdn.net/qq_44859952/article/details/114532247

版权

本文介绍了如何使用Python爬虫进行股票论坛信息的抓取。首先，安装requests和bs4库，获取headers和目标网址。接着，通过开发者工具分析网页结构，以茅台讨论区为例，展示如何获取帖子的标题和时间。通过修改URL后缀实现多页爬取，最终呈现完整代码实现。

摘要由CSDN通过智能技术生成

准备工作

安装requests、bs4库。
获取headers，目标网址guba.eastmoney.com，
先打开一个网页标签，进入开发人员工具，选择network网络，
在这里插入图片描述
然后进入目标网址，找到下图所示的

点击可得，

正式爬取

此处选择茅台的讨论区进行爬取，其url为http://guba.eastmoney.com/list,600519_1.html。
首先测试能否访问网址，

import requests
import csv
from requests.exceptions import RequestException
from bs4 import BeautifulSoup

headers = {
   
    'Host': 'guba.eastmoney.com',
    'User-agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36 Edg/88.0.705.81"
}
url = 'http://guba.eastmoney.com/list,600519_1.html'
response = requests.get(url, headers=headers)
print(response.status_code)

输出200即为成功访问。
观察网页信息及结构，获取想要的信息，

page = BeautifulSoup(response.content, "lxml")
print(page)

此处展示其中一段普通帖子的，

<div class="articleh normal_post">
<span class="l1 a1">12064</span>
<span class="l2 a2">66</span>
<span class="l3 a3"><em class="icon icon_list_hot"></em><a href="/news,600519,1009915816.html" title=