雪球网基于沪深300的评论爬虫

最新推荐文章于 2024-04-24 15:45:00 发布
最新推荐文章于 2024-04-24 15:45:00 发布
阅读量3.8k 收藏 34
点赞数 5
分类专栏： 爬虫 雪球网 文章标签： 爬虫 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39459398/article/details/114828992
版权

文章目录

概要

这个博客主要实现了雪球网股票评论的爬取，爬取的内容为沪深300股票的评论。
在这里插入图片描述

一、爬虫的原理

这部分就不多提了，一些基础的博客我也整理过爬虫从零开始。python爬虫第N课系列学完前十课就对这篇博客的代码完全清楚明白了，因为用到的技术都是最基本的，没有用到什么scrapy框架或者是多线程爬虫

二、分析雪球网的网站

网站结构如上图所示，我原本的思路是希望正常的通过Xpath解析得到需要的部分，但是我们试着看看网站的评论，你会发现它是一个动态刷新的过程，并不是网页一打开就有了。而且要是经常点击下一页评论，你会尴尬地发现刷新不出来。

在这里插入图片描述
不过不用慌，要是看过这篇博客Python爬虫第四课：Network、XHR、json的同学基本上就知道怎么解决这个问题了（一定一定要看！里面技术问题和细节非常清楚）

  1. 我们打开在网页空白处，点击右键-检查，第一个是Elements，往右看就能找到Network
    在这里插入图片描述

  2. 我们随便点击讨论或者是下一页的评论，会发现多出很多链接，同时我们对每一条链接都分析看看，会发现一个（红圈）的链接，右键 Open in new tab
    在这里插入图片描述

  3. 会出现两种情况：
    一种是{"code":501,"message":"超出请求限制","success":false}
    第二种就是一大堆json数据
    分别代表着一个数据访问失败，另一个访问成功
    同时我们对访问成功的数据进行分析，会发现数据就是所要的评论数据
    来段代码康康

import  requests
import  time
from fake_useragent import UserAgent
import re
import pandas as pd

ua = UserAgent()
headers = {'user-agent':ua.random}
data_list=[]

#对数据提取重要部分，评论文本，评论时间
def get_comment(data):
    #data = json.load()
    pinglun_len = len(data["list"])
    i = 0
    print(pinglun_len)
    #data_list.clear()

    while i < pinglun_len:
        temp_data = data["list"][i]
        # url = base_url+temp_data["target"]
        pre = re.compile('>(.*?)<')
        text = ''.join(pre.findall(temp_data['text']))
        # text = temp_data['text']
        timeBefore = temp_data['timeBefore']
        data_list.append([text, timeBefore])
        #print(text , timeBefore)
        i += 1

url = 'https://xueqiu.com/query/v1/symbol/search/status?u=381615786351364&uuid=1371340614335082496&count=10&comment=0&symbol=SH000300&hl=0&source=user&sort=time&page=2&q=&type=12&last_id=174442514&session_token=null&access_token=a4b3e3e158cfe9745b677915691ecd794b4bf2f9'
flag = 0
#访问的次数
#因为可能存在多次访问都不能得到数据
times = 0
while flag == 0:
    response = requests.get(url,  headers=headers)
    temp = response.json()
    if 'code' in temp:#访问失败
        time.sleep(0.5)
    else:#访问成功，不用再访问，跳出循环
        flag = 1
    times += 1
    # print(times)
get_comment(temp)

data_csv = pd.DataFrame(data_list)
data_csv.to_csv("./data_test.csv", encoding="utf_8_sig", index=False)

okk看看输出的结果在这里插入图片描述
基本上我们已经实现了单页评论的爬取，那我们怎么实现多页呢？

三、多页评论爬取

大家有没有发现我们的链接其实是一条带参数请求数据（不懂赶紧看那篇博客 *六、拿到周杰伦所有歌曲清单 *）

url = 'https://xueqiu.com/query/v1/symbol/search/status?u=381615786351364&uuid=1371340614335082496&count=10&comment=0&symbol=SH000300&hl=0&source=user&sort=time&page=2&q=&type=12&last_id=174442514&session_token=null&access_token=a4b3e3e158cfe9745b677915691ecd794b4bf2f9'

#我们把url的链接 & 每个都分开，会得到下面下面这样
'https://xueqiu.com/query/v1/symbol/search/status?
u=381615786351364&
uuid=1371340614335082496&
count=10&
comment=0&
symbol=SH000300&
hl=0&
source=user&
sort=time&
page=2&
q=&
type=12&
last_id=174442514&
session_token=null&
access_token=a4b3e3e158cfe9745b677915691ecd794b4bf2f9'

如果这样看的话，会很明显发现这是一条由不同参数组成的链接
因为我们这个是要实现多页爬虫，你会发现一个很重要的参数就是page！也就是说我们只要修改下page 的参数就能实现自动访问新的页面数据了！

此处我们看到URL显得又臭又长，一方面是不方便观看，另一方面是不方便修改。要怎么才能优雅又美观的实现呢？
requests模块里的requests.get()提供了一个参数叫params，可以让我们用字典的形式，把参数传进去。
https://blog.csdn.net/fightingoyo/article/details/104563419 还是这个博客

import  requests
import  time
from fake_useragent import UserAgent
import re
import pandas as pd

ua = UserAgent()
headers = {'user-agent':ua.random}
data_list=[]

def get_comment(data):
    #data = json.load()
    pinglun_len = len(data["list"])
    i = 0
    print(pinglun_len)
    #data_list.clear()

    while i < pinglun_len:
        temp_data = data["list"][i]
        # url = base_url+temp_data["target"]
        pre = re.compile('>(.*?)<')
        text = ''.join(pre.findall(temp_data['text']))
        # text = temp_data['text']
        timeBefore = temp_data['timeBefore']
        data_list.append([text, timeBefore])
        #print(text , timeBefore)
        i += 1
#这里修改了！
url='https://xueqiu.com/query/v1/symbol/search/status'

#这里取决于你要爬多少页，目前我只要爬9，最大可以调到100
for i in range(1,10):    
    params={
        "u": 381615786351364,
        "uuid": 1371340614335082496,
        "count": 10,
        "comment": 0,
        "symbol": "SH000300",
        "hl": 0,
        "source": "user",
        "sort": "time",
        "page": i,#是这里做循环
        "q":"" ,
        "type": 12,
        "last_id":174442514,
        "session_token":"null",
        "access_token": "a4b3e3e158cfe9745b677915691ecd794b4bf2f9"
    }
    flag = 0
    #访问的次数
    times = 0
    while flag == 0:
        response = requests.get(url,  params=params ,headers=headers)
        temp = response.json()
        if 'code' in temp:
            time.sleep(0.5)
        else:
            flag = 1
        times += 1
        print(times)
    get_comment(temp)

data_csv = pd.DataFrame(data_list)
data_csv.to_csv("./data_test_plus.csv", encoding="utf_8_sig", index=False)

代码更改的地方不多，其实就是加了循环和params实现了多页爬虫

五、多只股票爬虫

上部分要是弄得非常清楚的话，这部分已经做完了，因为这部分的关键是我怎么实现多股票爬虫。
在沪深300ETF中每一只股票是有自己的一个编号的，其实就是在参数那一块会发现"symbol": "SH000300"，我们只用自己修改这部分即可实现多只股票爬虫。两层循环即可实现：第一层：股票symbol 第二层是页数page
代码如下，但是还需要一个沪深300成分股.xlsx，这可以在我的github上下载

import  requests
import  time
import  fake_useragent
from fake_useragent import UserAgent
import json
import re
import pandas as pd

ua = UserAgent()
headers = {'user-agent':ua.random}
data_list=[]
file = pd.read_excel("./沪深300成分股.xlsx")
def get_comment(data):
    #data = json.load()
    pinglun_len = len(data["list"])
    i = 0
    print(pinglun_len)
    #data_list.clear()

    while i < pinglun_len:
        temp_data = data["list"][i]
        # url = base_url+temp_data["target"]
        pre = re.compile('>(.*?)<')
        text = ''.join(pre.findall(temp_data['text']))
        # text = temp_data['text']
        timeBefore = temp_data['timeBefore']
        data_list.append([text, timeBefore])
        #print(text , timeBefore)
        i += 1


url='https://xueqiu.com/query/v1/symbol/search/status'
for gupiao_index in range(0,300):
    print(format(file["股票代码"][gupiao_index],"06"),"START")
    data_list.clear()
    for i in range(1,101):
        params={
        "u": 271614261599941,
        "uuid": 1364939774078627840,
        "count": 20,
        "comment": 0,
        #"symbol": "SH601607",
        "symbol": "SH"+format(file["股票代码"][gupiao_index],"06"),
        "hl": 0,
        "source": "all",
        "sort": "time",
        "page": i,
        "q":"" ,
        "type": 11,
        "session_token":"null",
        "access_token": "62effc1d6e7ddef281d52c4ea32f6800ce2c7473"
        }
        #是否正常得到数据
        flag = 0
        #访问的次数
        times = 0
        while flag == 0:
            response = requests.get(url, params,headers=headers)
            temp = response.json()
            if 'code'  in temp:
                time.sleep(0.5)
            else:
                flag = 1
            times += 1
            #print(times)
        get_comment(temp)
        print("Page {} OK!".format(i))

    data_csv = pd.DataFrame(data_list)
    data_csv.to_csv("./data_沪深300/{}_data_{}.csv".format(gupiao_index,params["symbol"]),encoding="utf_8_sig",index=False)
    print(format(file["股票代码"][gupiao_index], "06"), "END")

最后

因为本博客没有使用多线程和分布式爬虫，所以爬虫速度会比较慢。
但是！我们可以多个程序设置不同页面一起跑 嘿嘿（主要是太懒了当时项目急着要数据，智能赶紧先实现 这可能就是dirty but work ）

最后的最后，就简单介绍下我们课题，

本课题旨在研究VIX、投资者恐慌情绪和沪深300ETF收益率这三个变量组成的系统，探究变量之间的冲击关系，同时研究COVID-19疫情对其的影响。

这爬虫只是基于我们大创课题下面的一小部分工作，我们需要爬虫得到评论数据，对数据进行下一步情感分析处理，构造投资者恐慌情绪。对我们课题还有兴趣的可进一步了解github

Python 爬虫实战：如何爬取雪球用户数据并进行分析
2201_76125261的博客
03-17 1099
requests：用于发送 HTTP 请求并获取响应数据。json：处理 JSON 格式的数据，解析接口返回的数据。：用于解析 HTML 网页，提取所需的内容。pandas：用于处理和分析数据。matplotlibseaborn：用于数据的可视化。Selenium：模拟浏览器操作，处理动态加载的数据。本文介绍了如何使用 Python 编写爬虫，爬取雪球用户的数据，并对数据进行了分析和可视化。通过这篇博客，读者可以学习到如何编写爬虫、如何处理反爬虫机制、如何分析和可视化爬取的数据。
雪球网股票用户评论爬虫
且视他人之疑目如盏盏鬼火,大胆地去走你的夜路
01-06 2693
一、什么是爬虫？ 网络爬虫，其实叫作网络数据采集更容易理解。 就是通过编程向网络服务器请求数据（HTML表单），然后解析HTML，提取出自己想要的数据。 归纳为四大步： 1.根据url获取HTML数据 2.解析HTML，获取目标信息 3.存储数据 4.重复第一步 二、HTML 什么是HTML？ 超文本标记语言（英语：HyperTextMarkupLanguage，简称：HTML）是一种用于创建网页的标记语言，里面嵌入了文本、图像等数据，可以被浏览器读取，并渲染成我们看到的网页样子。 所以我们才会从先爬取HT
python爬虫程序源代码-新浪微博hao123网站知乎豆瓣社交数据沪深股票数据爬虫.zip
12-22
python爬虫程序源代码-新浪微博hao123网站知乎豆瓣社交数据沪深股票数据爬虫.zip
Python爬虫 获取雪球网股票讨论内容（ 获取json文件的内容）
m0_51952698的博客
07-09 9050
由于期末课程作业的数据需要用到投资网站的评论，所以就准备从雪球网上爬取了。话不多说，下面就进入正题。 新的改变 首先登入雪球网，输入自己的关键词查找相关评论。 然后通过F12或者右键-检查进入控制台。 再点击网络查找我们需要的内容封装在哪里。第一次点击时会发现只有如下所示的空白页面，只需要再刷新一下就可以了。 之后发现我们需要的评论内容封装在左侧所示的json文件中，预览以后可见每一条评论都以字典的方式存储，当页的（每页有十条，通过“size:10”可知）所有都评论存在list列表中。 展开每一条评
雪球网沪深全站股票评论爬虫
weixin_33924220的博客
03-14 1454
这个爬虫写得好累，就简单讲一下思路吧。雪球网股票的评论内容是不能直接访问的，必须要携带在第一次访问时雪球网写进本地的cookie（其实你随便打开一次官网就是属于第一次访问了，那时候 不需要cookie），先放上github地址： https://github.com/xiaobeibei26/xueiqiu_spider 爬取思路是这样的，先挖取所...
雪球网相关Python爬虫
09-26
一些雪球网的Python爬虫整理～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～～不知道什么鬼策略，莫名把下载积分提了这么高.～～～～～～～～～～～～～～～
爬虫-----雪球网的房产信息
Jason 宋的博客
08-15 373
import json import requests #urllib 的相关操作 url ='https://xueqiu.com/v4/statuses/public_timeline_by_category.json?since_id=-1&amp;max_id={}&amp;count={}&amp;category=111' def lei (num,max_id = None,cou...
vc6.0获取沪深股票实时五档行情代码
01-28
5. **API调用**：沪深股市的实时数据通常由交易所或第三方提供，例如雪球、同花顺等。需要找到合适的API接口并学习如何调用，获取所需数据。这些API可能需要注册应用并获得API Key。 6. **数据结构与算法**：存储和...
利用scrapyd监控爬取雪球网股市行情教程
资源摘要信息:"爬取雪球网沪深、港股、美股的行情，通过scrapyd监视_xueqiu.zip" 1. 网络爬虫技术：网络爬虫是一种自动提取网页内容的程序，也被称为蜘蛛、机器人。在本项目中，爬虫技术被用于爬取雪球网上的股票...
肝了N小时，整理了100+Python爬虫项目
weixin_68056852的博客
09-14 1756
总结了很多有关于python面试的资料，希望能够帮助正在学习python的小伙伴。由于资料过多不便发表文章，创作不易，望小伙伴们能够给我一些动力继续创建更好的python类学习资料文章，提到爬虫，相信绝大部分人的第一反应就是 Python，尽管其他编程语言一样能写爬虫，但在人们的印象中，爬虫似乎与 Python 绑定了一样，由此可见爬虫在 Python 中的份量。最近小二做了个免费的 Python 爬虫项目库，目前初步已经收录了 100+ Python 爬虫项目。
以股票历史数据抓取为例，浅谈踩过的VBA网抓的“坑”
m0_64899365的博客
09-18 2057
用Excel VBA网抓的经验分享
爬虫抓取雪球网用户动态（Tweets）作者 Runsen 代码可用
06-27
**@Author：Runsen** #### 介绍 爬虫抓取雪球网用户动态（Tweets），接口：https://xueqiu.com/v4/statuses/user_timeline.json #### 使用说明 1. 使用前对脚本关键位置进行如下修改： 打开浏览器并登录雪球网账号，获取cookie并替换代码中的相应部分 userid填写你要爬取的账号id 2. 双击“xueqiu_getTweets.py”进行爬取或控制台运行 3. 结果保存至脚本所在目录以所爬取账号昵称命名的CSV文件中
爬虫 - 股票爬虫实例之雪球网
celine11111的博客
04-12 5633
视频连接：https://www.bilibili.com/video/BV1kx411S7Fh?p=47 跟着老师做的，但是老师讲的百度股票已经没有了，所以用雪球网替代了，不过没有输出，也没有报错，请大神帮忙看看什么问题，谢谢！ import re import requests from bs4 import BeautifulSoup def getHTMLText(url,header)...
【项目总结】雪球爬虫完结（附Snowball模块代码）
梦想破三的奔三狗
12-07 1万+
作为https://blog.csdn.net/CY19980216/article/details/82770410的一个完结。 暂时先把代码搬上来，注释已经写的很详细了。顺带做一个备份。 目前除了调仓记录的获取外其他都已经可以用多进程进行，由于采用了多进程，速度有明显提升。目前测试结果为1500000只组合数据爬取需要200分钟，获取10000只优质组合的净值数据需要不到300分钟。 问...
【项目记录】雪球网股票组合数据爬虫（包括雪球模拟登录代码）
热门推荐
梦想破三的奔三狗
09-20 2万+
室友上半年跟了一个做机器学习方向的导师做股票投资组合的项目，暑假来找我帮忙弄点股票组合的数据来测试算法。目前国内股票资讯网站大约只有雪球能够比较方便地获取大规模的股票组合数据，七月疲于双专生活不能自理，八月断断续续地弄了一阵子，碰了一鼻子灰总算有些摸透了雪球网的套路。这里分享一下我在爬取雪球网数据时遇到的问题，一方面是对自己项目的一个小结，另一方面给其他需要爬取雪球网数据的小伙伴们提供一些参考，也...
c++读取csv文件_用Python读取csv文件中的沪深300指数历史交易数据
weixin_39791349的博客
11-17 482
保存路径：D:python用Python读取csv文件中的沪深300指数历史交易数据程序名称：readcsvhs300.py；数据名称：沪深300指数历史交易数据.csv；开发环境：Win7； 开发工具：Python 3.8.2 IDLE；Python安装路径：D:python。1、下载沪深300指数历史交易数据在浏览器中打开网址http://quotes.money.163.com/trade/...
python爬虫爬取雪球网_Python爬虫：Selenium+ BeautifulSoup 爬取JS渲染的动态内容（雪球网新闻）...
weixin_29974217的博客
02-10 1023
最近要有一个任务，要爬取https://xueqiu.com/#/cn网页上的文章，作为后续自然语言处理的源数据。爬取目标：下图中红色方框部分的文章内容。(需要点击每篇文章的链接才能获得文章内容) 注：该文章仅介绍爬虫爬取新闻这一部分，爬虫语言为Python。乍一看，爬虫的实现思路很简单：(1)从原始页面https://xueqiu.com/#/cn上爬取各篇文章的URL(2)通过第一步所获得的...
python爬虫爬取雪球网_XueQiuSuperSpider python开发一个用于爬取雪球网上股票信息和数据的网络爬虫(Python develops a web crawler for cra...
weixin_29531989的博客
01-30 998
XueQiuSuperSpiderXueQiuSuperSpider\.gitXueQiuSuperSpider\.git\branchesXueQiuSuperSpider\.git\configXueQiuSuperSpider\.git\descriptionXueQiuSuperSpider\.git\HEADXueQiuSuperSpider\.git\hooksXueQiuSuperS...
python爬虫 - 爬取 json 格式数据（股票行情信息：雪球网，自选股）
最新发布
BullKing8185的博客
04-24 2247
python爬虫五部曲： 第一步：安装requests库 第二步：获取爬虫所需的header和cookie 第三步：获取网页 第四步：解析网页 第五步：分析得到的Json数据
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值