如何爬取Tushare数据并存入mongodb

最新推荐文章于 2024-08-10 15:27:53 发布
最新推荐文章于 2024-08-10 15:27:53 发布
阅读量3.8k 收藏 8
点赞数
分类专栏： python 数据库 文章标签： mongodb tushare 数据库 python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hrainning/article/details/79768400
版权

获取tushare中的数据可以通过tushare接口来实现

首先使用tushare接口必须要先安装pymongo 、json、于tushare库

可以用pip install tushare 之类的来安装来安装

tushare 官网中直接就提供了调用接口代码，找到自己想要的数据对应调用代码贴入

我以爬取中小板分类作为例子来说明

首先先在官网上找到大标题


其下有调用接口代码


直接就可以使用


然后得到了以下数据



从中可以挑选其中任意一所企业进行爬取，以名为新和成的企业为例

引入pymongo与json并将mongodb与Ipyhon连接

获取新和成18年2月22日的数据(code:002001）


建立名为db目录下的tickdata表并将数据插入


最终可以在mongodb campass里看见获取的数据



虽然这一天没有数据。。。。。


hrainning
关注
专栏目录
tushare库简介及数据获取方法
Cachel Wood的博客
10-03 903
tushare库是一个用于抓取中国股票的历史和实时报价数据的工具。易于使用，因为返回的大部分数据都是pandas的DataFrame对象可以轻松保存为csv, excel或json文件可以插入到MySQL或Mongodb使用对象包括金融市场分析师、使用学习金融数据分析、对金融数据感兴趣的人。
金融数据接口tushare爬取数据
我真的太想进步了~tx
07-24 760
import matplotlib.pyplot as plt import seaborn as sns import tushare as ts from datetime import datetime import csv stock1 = ts.get_profit_statement('600498') stock1.to_csv('利润表.csv',encoding...
golang爬虫将爬取的数据存入mongodb
07-22
golang爬虫将爬取的数据存入mongodb
Tushare股票数据获取并用pymongo存储到MongoDB数据库
yutian1320789的博客
09-27 3073
操作环境win10 64位专业版 1、安装Tushare https://tushare.pro/document/1?doc_id=7 注意根据新版本要求需要注册，获取token，注册地址 https://tushare.pro/register?reg=302393 2、下载安装MongoDB，安装过程可能卡死，不要勾选MongoDB compass，单独下载安装即可 https:...
python字典导入mongodb_python操作mongodb，将从tushare下载的数据导入mongodb
weixin_39947501的博客
12-06 278
以下内容分两部分，一部分是使用python对mongodb进行基本操作，另一部分是利用tushare下载数据并存入mongodb。对mongodb进行基本操作的思路是导入pymongo，建立连接，指定数据库，指定集合(表)，对集合进行增删改查操作。利用tushare下载数据并存入mongodb，通过该操作能够充分掌握mongodb在数据存储方面的用途。对mongodb进行基本操作from pymo...
Python-TuShare是爬取中国股票历史数据的工具
08-10
TuShare是实现对股票/期货等金融数据从**数据采集**、**清洗加工** 到 **数据存储**过程的工具
tushare正确爬取 指数数据
王亨的博客
07-28 3419
相信很搞金融数据分析的人，都知道Tushare，一个免费、开源的python财经数据接口包。可以非常简单爬取股票、宏观经济数据、新闻时事、银行间同业拆放利率、甚至电影票房数据都可以爬取，比起国外的雅虎财经，爬取的数据那是非常快，另外一个优点就是返回的绝大部分的数据格式都是pandas DataFrame类型，可以直接用 pandas直接进行处理。 今天就不介绍股票数据查询，直接用6位数字代码就行，网上也是一大堆资料。主要和大家分享一下，用tushare爬取股票指数数据，比如上证指数、上证50、沪深300这
Python爬虫 scrapy框架爬取某招聘网存入mongodb解析
09-09
本教程将详细介绍如何使用Scrapy框架来爬取特定招聘网站的数据，并将这些数据存储到MongoDB数据库中。 首先，我们需要创建一个Scrapy项目。在命令行中，运行`scrapy startproject zhaoping`来初始化一个新的Scrapy...
爬取链家二手房房价数据存入mongodb并进行分析
06-23
在本项目中，我们将探讨如何使用Python爬虫技术获取链家网站上的二手房房价数据，并将这些数据存储到MongoDB数据库中，以便后续进行数据分析。首先，让我们逐一了解涉及的关键知识点。 1. **Python爬虫**：Python是...
Tushare财务报表爬取到excel
zwlalalala的博客
09-02 598
利用tushare接口爬取财务数据到excel和mysql
TuShare金融数据获取接口（Python）
05-17
用于各类金融数据获取和分析
tushare指定股票导入mongodb,并以升序方式排序。
m0_51416705的博客
04-05 538
import pymongo import time import json import tushare as ts import pandas as pd #数据获取 ts.set_token('your are token') pro = ts.pro_api() def get_from_tushare_pro(code,adj='hfq',start='2021-01-01',end='2022-04-01'): if code.startswith('6'): co
利用tushare获取股票数据并实现导入数据库和数据库插入当日数据等操作
m0_74172918的博客
07-13 5598
这里笔者使用的是mysql的数据库和datagrip的可视化应用，datagrip能够直接导入文件，由于我们上面刚刚得到了一个csv文件，所以我们直接使用mysql的导入功能即可。tushare下载的价格数据，每个字段的名称，以及排列顺序可能不符合PyAlgoTrade的格式要求，所以需要对文件进行改写（当然根据读者的需求来看是否要进行改写）。由于笔者对于线程和进程的学习不够深入，暂时无法做到每日定时更新，所以在这里我们可以获取每日的股票数据，然后在通过pymysql插入到mysql数据库当中。
如何用Tushare获取金融数据
最新发布
Mrrunsen的博客
08-10 1106
Tushare提供以下股票行情数据：日线行情、周线行情、月线行情、复权行情、复权因子、每日停复牌信息、每日指标、个股资金流向、每日涨跌停价格、沪深港通资金流向、沪深股通十大成交股、港股通十大成交股、港股通每日成交统计、港股通每月成交统计等。Tushare提供的市场参考数据包括：融资融券交易汇总、融资融券交易明细、融资融券标的、前十大股东、前十大流通股东、龙虎榜每日明细、龙虎榜机构明细、股权质押统计数据、股权质押明细、股票回购、限售股解禁、大宗交易、股东人数、股东增减持等。
[044]量化交易]python tushare行情数据写入MongoDB数据库中
weixin_33595571的博客
09-25 513
【代码】[044]量化交易]python tushare行情数据写入MongoDB数据库中。
如何在Python中将数据存储到MongoDB中？
Where
08-04 3878
目录一、前期准备1.1 MongoDB安装1.2 PyMongo驱动安装二、常见用法2.1 创建数据库2.2 创建collection2.32.4 一、前期准备 1.1 MongoDB安装 MongoDB 是目前最流行的 NoSQL 数据库之一，具体的下载与安装过程见MongoDB安装办法 1.2 PyMongo驱动安装 1.在完成第一步安装后，还需要实现python和MongoDB的连接，这时需要安装PyMongo驱动，安装办法： 在命令行中，转入python安装文件夹中的Script目录下，输入命令
关于利用Tushare构建自己的股票数据库
weixin_44049356的博客
11-27 1563
关于利用Tushare构建自己的股票数据库 1.安装MongoDB数据库 2.抓取股票行情数据 3.抓取股票基本数据 安装MongoDB数据库 MongoDB作为一个非关系型数据库，储存我们的股票数据是非常合适的，因为很对时候我们的数据都是键值对的形式，同时格式并不完全一致。可以去MongoDB官网去下载下载网址，安装完成后可以下载一个可视化的操作软件叫MongoDBCompass，我们能够像navicat那样对数据进行操作。 ...
python爬取数据并将其存入mongodb
热门推荐
小树苗的博客
05-05 1万+
python爬取数据并将其存入mongodb
python爬取天气数据并导入mongodb中进行增删查改
06-12
好的，我可以帮你解决这个问题。 首先，你需要使用 Python 的 requests 库来获取天气数据。你可以选择使用一个天气数据的 API 来获取数据，这里以「心知天气」为例。 ``` python import requests # 查询北京市的天气情况 url = 'https://api.seniverse.com/v3/weather/now.json' params = { 'key': 'your_api_key', 'location': 'beijing', 'language': 'zh-Hans', 'unit': 'c' } response = requests.get(url, params=params) data = response.json() # 打印获取到的数据 print(data) ``` 接下来，你需要使用 pymongo 库来连接 MongoDB 数据库，并将数据存储到数据库中。具体的实现方法如下： ``` python import pymongo # 连接 MongoDB 数据库 client = pymongo.MongoClient('mongodb://localhost:27017/') db = client['weather'] collection = db['weather_data'] # 将获取到的数据存储到 MongoDB 数据库中 collection.insert_one(data) ``` 为了方便查询和修改数据，你可以为数据库中的数据建立索引。具体的实现方法如下： ``` python # 为 location 字段建立索引 collection.create_index([('results.location.name', pymongo.ASCENDING)]) ``` 最后，你可以使用 MongoDB 的查询语法来查询和修改数据。具体的实现方法如下： ``` python # 查询北京市的天气情况 result = collection.find_one({'results.location.name': '北京'}) print(result) # 修改北京市的温度值 collection.update_one({'results.location.name': '北京'}, {'$set': {'results.now.temperature': '20'}}) # 删除北京市的天气数据 collection.delete_one({'results.location.name': '北京'}) ``` 以上就是 Python 爬取天气数据并导入 MongoDB 中进行增删查改的实现方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值