python爬取雪球网交易数据

最新推荐文章于 2024-05-09 18:26:19 发布
最新推荐文章于 2024-05-09 18:26:19 发布
阅读量5.3k 收藏 12
点赞数 2
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jerry_wo/article/details/107981463
版权

雪球网交易数据爬取，python源码。
雪球是一个投资者的社交网络平台，爬取交易数据。

代码：

def get_trade_behavior(uid):
    import requests
    import random
    import time
    import json
    result = []
    res = []
    headers = [{
                   'User-Agent': "Mozilla/5.0 (X11; CrOS x86_64 10066.0.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36",
                   'Accept': 'text/html;q=0.9,*/*;q=0.8',
                   'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
                   'Connection': 'close'},
               {
                   'User-Agent': "Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1 (KHTML, like Gecko) CriOS/69.0.3497.100 Mobile/13B143 Safari/601.1.46",
                   'Accept': 'text/html;q=0.9,*/*;q=0.8',
                   'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
                   'Connection': 'close'},
               {
                   'User-Agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.75.14 (KHTML, like Gecko) Version/7.0.3 Safari/7046A194A",
                   'Accept': 'text/html;q=0.9,*/*;q=0.8',
                   'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
                   'Connection': 'close'},
               {'User-Agent': "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:46.0) Gecko/20100101 Firefox/46.0",
                'Accept': 'application/json, text/plain, */*',
                'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
                'Connection': 'close'},
               {'User-Agent': "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko",
                'Accept': 'application/json, text/plain, */*',
                'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
                'Connection': 'close'}]

    s = requests.Session()
    s.keep_alive = False
    # t = 1
    try:
        # while True:
        url = "https://xueqiu.com/service/tc/snowx/PAMID/cubes/rebalancing/history?cube_symbol=SP" + uid + "&count=20&page=1"
        obj = s.get(url, headers=random.choice(headers), stream=True, allow_redirects=False).json()
        time.sleep(random.random() * 3)
        maxpage = obj["maxPage"]
        # if obj["list"] != []:
        for k in range(1, maxpage + 1):
            url = "https://xueqiu.com/service/tc/snowx/PAMID/cubes/rebalancing/history?cube_symbol=SP" + uid + "&count=20&page=" + str(k)
            print("正在检索{%s}-第%d页-总共%d页" % (uid, k, maxpage))
            obj = s.get(url, headers=random.choice(headers), stream=True, allow_redirects=False).json()
            time.sleep(random.random() * 3)
            for i in obj["list"]:
                res.append(uid)
                time_stamp = i["updated_at"]
                time_stamp_10 = int(round(time_stamp) / 1000)
                time_local = time.localtime(time_stamp_10)
                trade_time = time.strftime("%Y-%m-%d %H:%M:%S", time_local)
                trade_history_stock_name = i["rebalancing_histories"][0]["stock_name"]
                trade_history_stock_symbol = i["rebalancing_histories"][0]["stock_symbol"]
                trade_history_stock_prev_weight = i["rebalancing_histories"][0]["prev_weight_adjusted"]
                trade_history_stock_target_weight = i["rebalancing_histories"][0]["target_weight"]
                trade_history_stock_exec_price = i["rebalancing_histories"][0]["price"]
                res.append(trade_time)
                res.append(trade_history_stock_name)
                res.append(trade_history_stock_symbol)
                res.append(trade_history_stock_prev_weight)
                res.append(trade_history_stock_target_weight)
                res.append(trade_history_stock_exec_price)
                res_copy = res.copy()
                result.append(res_copy)
                res.clear()
        print("{%s} 检索完毕！" % uid)
        return result
    except:
        print("{%s} 异常！" % uid)
        return [uid, "异常"]





def read_csv(name):
    import csv
    '''读取CSV文件数据'''
    csv_file = csv.reader(open("C:\\Users\\viemax\\Desktop\\" + name + ".csv", "r"))
    object_website = []
    for i in csv_file:
        object_website.append(i)
        # print(i)
    return object_website



no_data_id = read_csv("no_data_id")

obj = []
for i in no_data_id[2:]:
    obj.append(i[1])


res = []
for i in obj[0::2]:
    r = get_trade_behavior(i)
    res.append(r)




def xueqiu(num):
    import requests
    from bs4 import BeautifulSoup
    import random
    import time
    url = u"https://xueqiu.com/P/SP" + num
    headers = [{'User-Agent': "Mozilla/5.0 (X11; CrOS x86_64 10066.0.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36",
                'Accept': 'text/html;q=0.9,*/*;q=0.8',
                'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
                'Connection': 'close'},
               {'User-Agent': "Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1 (KHTML, like Gecko) CriOS/69.0.3497.100 Mobile/13B143 Safari/601.1.46",
                'Accept': 'text/html;q=0.9,*/*;q=0.8',
                'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
                'Connection': 'close'},
               {'User-Agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.75.14 (KHTML, like Gecko) Version/7.0.3 Safari/7046A194A",
                'Accept': 'text/html;q=0.9,*/*;q=0.8',
                'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
                'Connection': 'close'},
               {'User-Agent': "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:46.0) Gecko/20100101 Firefox/46.0",
                'Accept': 'application/json, text/plain, */*',
                'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
                'Connection': 'close'},
               {'User-Agent': "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko",
                'Accept': 'application/json, text/plain, */*',
                'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
                'Connection': 'close'}]
    cookie = [dict(cookies_are="device_id=33a80200aacb73cf594a45942b285a12; _ga=GA1.2.312459015.1529772425; s=ey177hmx06; bid=ae1522508305909e11f0ccaefc21ae37_jn93s7rs; __utmz=1.1539536073.4.2.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; Hm_lvt_fe218c11eab60b6ab1b6f84fb38bcc4a=1539591917; _gid=GA1.2.758749044.1540657586; aliyungf_tc=AQAAAIe8YFC/zwwAKvJZ2tC9k8DvMt34; __utmc=1; __utma=1.312459015.1529772425.1540825606.1540828390.19; remember=1; remember.sig=K4F3faYzmVuqC0iXIERCQf55g2Y; xq_a_token.sig=p4pCAuWXphKrks3IjEzTbJFCcb4; xqat.sig=uWTQIYsOCqtgymFewPvkgLk8CyM; xq_r_token.sig=Q9P70D5S5ZuHuFEXVJ6umTRqL1o; xq_is_login.sig=J3LxgPVPUzbBg3Kee_PquUfih7Q; u.sig=Ra3Ht4oGmAXu5VtkPBpRXum-Ntc; Hm_lvt_1db88642e346389874251b5a1eded6e3=1540825899,1540828382,1540829378,1540829450; snbim_minify=true; __utmt=1; _gat_gtag_UA_16079156_4=1; xq_a_token=18b7f7dec4f54032863219716eaf839ee940199d; xqat=18b7f7dec4f54032863219716eaf839ee940199d; xq_r_token=f27bcc9f6c7b6446279ee9448db195b118b8f17c; xq_token_expire=Sat%20Nov%2024%202018%2001%3A55%3A26%20GMT%2B0800%20(CST); xq_is_login=1; u=7147604028; __utmb=1.52.10.1540828390; Hm_lpvt_1db88642e346389874251b5a1eded6e3=1540835763"),
              dict(cookie_are="device_id=33a80200aacb73cf594a45942b285a12; _ga=GA1.2.312459015.1529772425; s=ey177hmx06; bid=ae1522508305909e11f0ccaefc21ae37_jn93s7rs; __utmz=1.1539536073.4.2.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; Hm_lvt_fe218c11eab60b6ab1b6f84fb38bcc4a=1539591917; _gid=GA1.2.758749044.1540657586; aliyungf_tc=AQAAAIe8YFC/zwwAKvJZ2tC9k8DvMt34; __utmc=1; __utma=1.312459015.1529772425.1540825606.1540828390.19; Hm_lvt_1db88642e346389874251b5a1eded6e3=1540825899,1540828382,1540829378,1540829450; snbim_minify=true; __utmt=1; xq_token_expire=Sat%20Nov%2024%202018%2001%3A55%3A26%20GMT%2B0800%20(CST); __utmb=1.52.10.1540828390; _gat_gtag_UA_16079156_4=1; remember=1; remember.sig=K4F3faYzmVuqC0iXIERCQf55g2Y; xq_a_token=b2f21e25cd1817bf15c1c89cc72b25ad537495de; xq_a_token.sig=p4pCAuWXphKrks3IjEzTbJFCcb4; xqat=b2f21e25cd1817bf15c1c89cc72b25ad537495de; xqat.sig=uWTQIYsOCqtgymFewPvkgLk8CyM; xq_r_token=bb8e27cca180872ab70314097a5077578ff119c8; xq_r_token.sig=Q9P70D5S5ZuHuFEXVJ6umTRqL1o; xq_is_login=1; xq_is_login.sig=J3LxgPVPUzbBg3Kee_PquUfih7Q; u=1559188240; u.sig=Ra3Ht4oGmAXu5VtkPBpRXum-Ntc; Hm_lpvt_1db88642e346389874251b5a1eded6e3=1540835848"),
              dict(cookie_are="device_id=33a80200aacb73cf594a45942b285a12; _ga=GA1.2.312459015.1529772425; s=ey177hmx06; bid=ae1522508305909e11f0ccaefc21ae37_jn93s7rs; __utmz=1.1539536073.4.2.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; Hm_lvt_fe218c11eab60b6ab1b6f84fb38bcc4a=1539591917; _gid=GA1.2.758749044.1540657586; aliyungf_tc=AQAAAIe8YFC/zwwAKvJZ2tC9k8DvMt34; __utmc=1; __utma=1.312459015.1529772425.1540825606.1540828390.19; Hm_lvt_1db88642e346389874251b5a1eded6e3=1540825899,1540828382,1540829378,1540829450; snbim_minify=true; __utmt=1; remember=1; remember.sig=K4F3faYzmVuqC0iXIERCQf55g2Y; xq_a_token.sig=p4pCAuWXphKrks3IjEzTbJFCcb4; xqat.sig=uWTQIYsOCqtgymFewPvkgLk8CyM; xq_r_token.sig=Q9P70D5S5ZuHuFEXVJ6umTRqL1o; xq_is_login.sig=J3LxgPVPUzbBg3Kee_PquUfih7Q; u.sig=Ra3Ht4oGmAXu5VtkPBpRXum-Ntc; xq_a_token=b70e7188d32f804237b6a42c052b5bcf74ebeea2; xqat=b70e7188d32f804237b6a42c052b5bcf74ebeea2; xq_r_token=b004ebba4649dfef7bba54f6ae7b703e5bca6a61; xq_token_expire=Sat%20Nov%2024%202018%2001%3A58%3A30%20GMT%2B0800%20(CST); xq_is_login=1; u=1497969916; __utmb=1.56.10.1540828390; _gat_gtag_UA_16079156_4=1; Hm_lpvt_1db88642e346389874251b5a1eded6e3=1540835925"),
              dict(cookie_are="device_id=33a80200aacb73cf594a45942b285a12; _ga=GA1.2.312459015.1529772425; s=ey177hmx06; bid=ae1522508305909e11f0ccaefc21ae37_jn93s7rs; __utmz=1.1539536073.4.2.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; Hm_lvt_fe218c11eab60b6ab1b6f84fb38bcc4a=1539591917; _gid=GA1.2.758749044.1540657586; __utma=1.312459015.1529772425.1540825606.1540828390.19; xq_token_expire=Sat%20Nov%2024%202018%2001%3A58%3A30%20GMT%2B0800%20(CST); aliyungf_tc=AQAAAAVyoiWa1w4AKvJZ2ozyzTPwnciM; Hm_lvt_1db88642e346389874251b5a1eded6e3=1540829378,1540829450,1540836740,1540866196; remember=1; remember.sig=K4F3faYzmVuqC0iXIERCQf55g2Y; xq_a_token=4458f8df93a013c35835d0320917b19dcaab0a24; xq_a_token.sig=FfAS5LGC_XBO11rmXuA6Nb3o4VI; xqat=4458f8df93a013c35835d0320917b19dcaab0a24; xqat.sig=t2g7eE2UG80Frcg03R-7nudVIBA; xq_r_token=4812b56991883e9913998e8816706912bff911e8; xq_r_token.sig=R6AgMpKf0fhe6GkWdS_etJ0Y3Dw; xq_is_login=1; xq_is_login.sig=J3LxgPVPUzbBg3Kee_PquUfih7Q; u=6146826778; u.sig=h5P6Xki5cmObHzNcRMVufpWUnZc; _gat_gtag_UA_16079156_4=1; Hm_lpvt_1db88642e346389874251b5a1eded6e3=1540866325")]
    s = requests.Session()
    # s.keep_alive = False
    try:
        cookies = random.choice(cookie)
        obj = s.get(url, headers=random.choice(headers), cookies=cookies, stream=True, allow_redirects=False, timeout=20)
        time.sleep(8 + random.random() * 3.2)
        bs = BeautifulSoup(obj.content, 'lxml')
    except requests.exceptions.Timeout:
        print([num, "timeout", "timeout"])
        return [num, "timeout", "timeout"]
    try:
        try:
            res_current = bs.find_all(attrs={"class": "cube-closed"})[0].get_text()
        except IndexError:
            res_current = "未关停！"
        res_id = bs.find_all(attrs={"class": "creator fn-clear"})[0].attrs["href"]
        s.close()
        print([num, res_id[1:], res_current])
        return [num, res_id[1:], res_current]
    except IndexError:
        try:
            res_404 = bs.find("title").get_text()
            if res_404 == "404_雪球":
                s.close()
                print([num, "NaN", res_404])
                return [num, "NaN", res_404]
        except AttributeError:
            s.close()
            print([num, "AttributeError", "page_error"])
            return [num, "AttributeError", "page_error"]

result = []
res_final = []
res_final.extend(res)
res_final.extend(res_0)


for i in res_final:
    if i != []:
        result.append(i)

final = []
for i in result:
    if i[1] != "异常":
        final.append(i)


except_id = []
for i in result:
    if i[1] == "异常":
        except_id.append(i)
        

need = []
for i in final:
    need.extend(i)
Jerry_wo
关注
  • 2
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python爬虫-雪球网
Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
10-16 925
本文是该专栏的第8篇，后面会持续分享python爬虫案例干货，记得关注。​观察控制台区域是否有数据刷新，先定位到Network的Fetch/XHR，并尝试用鼠标下拉页面，会看到如下所示结果：直接点击目标地址，并查看请求方式和目标参数信息目标数据只需从json里面提取即可。至于数据保存，可以将目标数据存储在一个目标dict字典中，之后再使用pandas做数据存储即可。不太明白的同学，可以查看本专栏前面的几篇文章，文章都有关于数据存储的详细介绍
python爬虫爬取雪球网_Python爬虫：Selenium+ BeautifulSoup 爬取JS渲染的动态内容（雪球网新闻）...
weixin_29974217的博客
02-10 871
最近要有一个任务，要爬取https://xueqiu.com/#/cn网页上的文章，作为后续自然语言处理的源数据。爬取目标：下图中红色方框部分的文章内容。(需要点击每篇文章的链接才能获得文章内容) 注：该文章仅介绍爬虫爬取新闻这一部分，爬虫语言为Python。乍一看，爬虫的实现思路很简单：(1)从原始页面https://xueqiu.com/#/cn上爬取各篇文章的URL(2)通过第一步所获得的...
[python爬虫]爬寻雪球网
Black_God1的博客
08-16 1241
from urllib import request,parse from piaot import * import json import pymysql yeshu是输入的页数 def sql(sql_z): # 打开数据库连接 db = pymysql.connect(“192.168.43.128”, “root”, “123456”, “xq”, ch...
使用Python爬虫雪球APP基金数据
最新发布
weixin_65701931的博客
05-09 1365
通过以上代码分析，我们实现了从雪球网站APP获取数据并保存到CSV文件的功能。这个实践展示了如何利用Python编程和网络请求库来进行简单的数据爬取操作，为进一步的数据分析和处理提供了基础。在实际应用中，需要注意网站的使用条款和隐私政策，避免对网站造成不必要的负担或侵犯用户隐私。同时，代码中也可以进一步优化，例如添加异常处理、日志记录等功能，以提高代码的稳定性和可维护性。希望本篇博客能对您理解数据爬取和Python编程有所帮助，欢迎留言讨论和分享您的想法！代码import csv。
【日常点滴013】python雪球网沪深港美股情爬取
weixin_43521165的博客
09-01 4188
仅供参考 爬取逻辑过程分析数据请求来源分析点击行情链接进来后的页面有数据禁止js以后发现页面无数据链接分析代码测试测试爬虫能否获取到数据提取需要的股票数据写入数据多页爬取循环条件分析代码优化多交易所爬取逻辑分析沪深港美股市信息爬取结果演示代码运行文件保存结果 过程分析 数据请求来源分析 浏览器操作 演示过程 通过使用浏览器浏览发现，雪球网的股票数据都是通过js异步加载的，而且返回的是 json 数据，这样的话我们只需要拿到 json 数据后解析即可 所以我们需要去浏览器控制台中找到对应的异步链接 然后再进行
爬虫抓取雪球网用户动态（Tweets）作者 Runsen 代码可用
06-27
**@Author：Runsen** #### 介绍 爬虫抓取雪球网用户动态（Tweets），接口：https://xueqiu.com/v4/statuses/user_timeline.json #### 使用说明 1. 使用前对脚本关键位置进行如下修改： 打开浏览器并登录雪球网账号，获取cookie并替换代码中的相应部分 userid填写你要爬取的账号id 2. 双击“xueqiu_getTweets.py”进行爬取或控制台运行 3. 结果保存至脚本所在目录以所爬取账号昵称命名的CSV文件中
Python爬虫 获取雪球网股票讨论内容（ 获取json文件的内容）
m0_51952698的博客
07-09 7323
由于期末课程作业的数据需要用到投资网站的评论，所以就准备从雪球网上爬取了。话不多说，下面就进入正题。 新的改变 首先登入雪球网，输入自己的关键词查找相关评论。 然后通过F12或者右键-检查进入控制台。 再点击网络查找我们需要的内容封装在哪里。第一次点击时会发现只有如下所示的空白页面，只需要再刷新一下就可以了。 之后发现我们需要的评论内容封装在左侧所示的json文件中，预览以后可见每一条评论都以字典的方式存储，当页的（每页有十条，通过“size:10”可知）所有都评论存在list列表中。 展开每一条评
python爬虫 - 爬取 json 格式数据（股票行情信息：雪球网，自选股）
BullKing8185的博客
04-24 1290
python爬虫五部曲： 第一步：安装requests库 第二步：获取爬虫所需的header和cookie 第三步：获取网页 第四步：解析网页 第五步：分析得到的Json数据
如何用python爬取_如何使用python 抓取雪球网页
weixin_39790510的博客
12-04 782
若吾皇现在关注一个组合，就会有持仓变动的提示了。不过我觉得这事情挺有意思的。比如可以把很多持仓的数据都抓下来，做一些综合的分析，看看现在网站上被持有最多的股票是哪一支，某一天被调入最多的又是哪一支之类。于是我决定来抓抓看，顺便借此说说我通常用程序做自动抓取的过程。Step.1 分析页面要抓一个网页，首先自然是要“研究”这个网页。通常我会用两种方式：一个是 Chrome 的 Developer To...
python爬虫 - 爬取html中的script数据（股票行情信息 - 雪球网 ）
BullKing8185的博客
04-24 2284
1. 分析页面内容数据格式 2. 使用re.findall方法，爬取股票行情（返回信息异常） 3. 使用re.findall方法，爬取股票行情（正常） 4. 使用re.search 方法，爬取股票行情（返回信息异常） 5. 使用re.search 方法，爬取股票行情（正常）
Python爬虫 爬取雪球网部分数据
weixin_42980582的博客
08-15 3954
import requests import json url = { 'https://xueqiu.com/v4/statuses/public_timeline_by_category.json?since_id=-1&max_id=-1&count=10&category=111', 'https://xueqiu.com/v4/statuses/...
Python爬取京东商品信息（方式①）
12-22
 互联网中最有价值的便是数据，比如天猫商城的商品信息，链家网的租房信息，雪球网的证券投资信息等等，这些数据都代表了各个行业的真金白银，可以说，谁掌握了行业内的第一手数据，谁就成了整个行业的主宰，如果把...
Python爬取股票信息，并可视化数据的示例
09-27
2. **目标网站**：我们打算爬取的数据来源于雪球（Xueqiu）平台，它提供了一个股票筛选器的API接口，通过访问`https://xueqiu.com/service/v5/stock/screener/quote/list`这个URL，我们可以获取到股票的相关信息。...
Python从雪球爬取股票信息爬虫，获取A股总市值、总资产、总利润、市净率、净资产收益率
02-18
本教程将详细讲解如何利用Python从雪球网站（Xueqiu.com）爬取A股市场的关键数据，如总市值、总资产、总利润、市净率和净资产收益率等。 首先，你需要了解Python的网络爬虫基础，这通常包括使用requests库进行HTTP...
雪球网相关Python爬虫
09-26
在爬取雪球网数据时，首先要学习如何使用这些库来构造请求、解析响应内容。例如，通过Requests库的get()函数发送GET请求到目标URL，然后使用BeautifulSoup解析返回的HTML内容，找到需要的数据。 对于JavaScript渲染...
雪球网股票用户评论爬虫
且视他人之疑目如盏盏鬼火,大胆地去走你的夜路
01-06 2338
一、什么是爬虫？ 网络爬虫，其实叫作网络数据采集更容易理解。 就是通过编程向网络服务器请求数据（HTML表单），然后解析HTML，提取出自己想要的数据。 归纳为四大步： 1.根据url获取HTML数据 2.解析HTML，获取目标信息 3.存储数据 4.重复第一步 二、HTML 什么是HTML？ 超文本标记语言（英语：HyperTextMarkupLanguage，简称：HTML）是一种用于创建网页的标记语言，里面嵌入了文本、图像等数据，可以被浏览器读取，并渲染成我们看到的网页样子。 所以我们才会从先爬取HT
【项目记录】雪球网股票组合数据爬虫（包括雪球模拟登录代码）
热门推荐
一只热爱奔跑的程序猿
09-20 2万+
室友上半年跟了一个做机器学习方向的导师做股票投资组合的项目，暑假来找我帮忙弄点股票组合的数据来测试算法。目前国内股票资讯网站大约只有雪球能够比较方便地获取大规模的股票组合数据，七月疲于双专生活不能自理，八月断断续续地弄了一阵子，碰了一鼻子灰总算有些摸透了雪球网的套路。这里分享一下我在爬取雪球网数据时遇到的问题，一方面是对自己项目的一个小结，另一方面给其他需要爬取雪球网数据的小伙伴们提供一些参考，也...
Python爬取雪球7*24小时信息
卡卡
06-07 2913
目的 由于工作需要，尝试爬取雪球7*24小时信息。 需要的数据就是下图红框框起来的部分。 运行环境 操作系统：windows 10 浏览器：Chrome Python版本：3.8 使用的第三方库：requests、json、time 查看数据 我们需要知道目标数据是一次性加载全部，还是动态地从某个特定的接口不断的获取数据，所以我们需要先在浏览器上查看一些数据。 将页面往下翻一段之后，发现网页内容是动态加载的，往下翻一段加载一段。继续往下翻，发现网页停住了，出现了一个加载更多的按钮。点一次按钮就会加载一部分
python 爬取雪球股票代码
06-06
Python已经成为了网络爬虫的常用语言，在爬取雪球股票代码时也是如此。 首先，我们需要安装需要的依赖包，例如requests、beautifulsoup4等。然后，通过requests库来获取页面的HTML代码，接着通过beautifulsoup4库来解析HTML代码，从而获取需要的信息。 在爬取雪球股票代码时，我们可以使用以下代码： ```python import requests from bs4 import BeautifulSoup # 雪球股票代码列表的URL地址 url = 'https://xueqiu.com/hq#exchange=CN&firstName=%E6%B0%B4%E6%B3%A5%E9%9D%A9%E5%91%BD' # 请求页面并获取HTML代码 r = requests.get(url) html = r.content # 解析HTML代码 soup = BeautifulSoup(html, 'html.parser') table = soup.find_all('table')[0] tbody = table.find_all('tbody')[0] tr_list = tbody.find_all('tr') for tr in tr_list: # 获取股票代码和名称 td_list = tr.find_all('td') code = td_list[0].text name = td_list[1].text # 打印股票代码和名称 print(code, name) ``` 在运行该代码后，将输出雪球上所有沪深A股的股票代码和名称，可以根据自己的需要再进行进一步处理或存储。需要注意的是，在爬取网页时应该注意遵守网站的爬虫规则，防止被封IP或其他处罚。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值