RestTemplate采集股票数据

最新推荐文章于 2024-10-29 16:28:27 发布
最新推荐文章于 2024-10-29 16:28:27 发布
阅读量1.8k 收藏 11
点赞数 53
分类专栏： 今日指数 文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiugtt6141121/article/details/142662843
版权

第一章 股票数据采集环境准备

1、股票数据采集背景说明

​ 当前项目中的股票数据都是历史数据，不是实时最新的数据，而要想获取股票最新的数据，就需要定时调用第三方接口拉取最新数据流水；

​ Spring框架已为我们封装了一套访问远程http接口的模板工具：RestTemplate，借助于该工具，我们可访问第三方股票接口，获取股票最新数据。
​ RestTemplate本质上就是一个非常轻量级http客户端，使用简单且容易上手；

​ 股票数据采集核心流程如下：

在这里插入图片描述

常见http客户端组件：

RestTemplate:Spring提供，轻量易上手；
HttpClient:apache提供；
OkHttpClient

整体工程结构：

在这里插入图片描述

2、构建股票数据采集工程

2.1 工程搭建

在stock_parent工程下构建stock_job子工程，并在pom中引入依赖：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>stock_parent</artifactId>
        <groupId>com.itheima.stock</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>
    <packaging>jar</packaging>
    <artifactId>stock_job</artifactId>
    <description>核心功能:拉去股票数据</description>
    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
    </properties>

    <dependencies>
        <dependency>
            <groupId>com.itheima.stock</groupId>
            <artifactId>stock_common</artifactId>
            <version>1.0-SNAPSHOT</version>
        </dependency>

        <!-- 基本依赖 -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
        </dependency>
    </dependencies>

    <build>
        <!--打包名称-->
        <finalName>${project.artifactId}</finalName>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>
</project>

application.yml主配置文件与stock_backend工程一致：

# 配置服务端口
server:
  port: 8092
spring:
  # 配置mysql数据源
  datasource:
    druid:
      username: root
      password: root
      url: jdbc:mysql://192.168.200.130:3306/stock_db?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false&serverTimezone=Asia/Shanghai
      driver-class-name: com.mysql.jdbc.Driver
      # 初始化时建立物理连接的个数。初始化发生在显示调用 init 方法，或者第一次 getConnection 时
      initialSize: 6
      # 最小连接池数量
      minIdle: 2
      # 最大连接池数量
      maxActive: 20
      # 获取连接时最大等待时间，单位毫秒。配置了 maxWait 之后，缺省启用公平锁，
      # 并发效率会有所下降，如果需要可以通过配置 useUnfairLock 属性为 true 使用非公平锁。
      maxWait: 60000
# 配置mybatis
mybatis:
  type-aliases-package: com.itheima.stock.pojo.* # 配置实体类扫描，取别名
  mapper-locations: classpath:mapper/*.xml # 配置扫描的xml的位置
  configuration:
    map-underscore-to-camel-case: true # 开启驼峰映射 table:user_name-->entity:userName

# pagehelper配置
pagehelper:
  helper-dialect: mysql #指定分页数据库类型（方言）
  reasonable: true #合理查询超过最大页，则查询最后一页

添加main启动类：

package com.itheima.stock;
import org.mybatis.spring.annotation.MapperScan;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
@SpringBootApplication
@MapperScan("com.itheima.stock.mapper")
public class JobApp {
    public static void main(String[] args) {
        SpringApplication.run(JobApp.class, args);
    }
}

2.2 配置RestTemplate

在stock_job工程下配置RestTemplate bean对象：

package com.itheima.stock.config;

import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.web.client.RestTemplate;

/**
 * @author by itheima
 * @Date 2022/1/1
 * @Description 定义访问http服务的配置类
 */
@Configuration
public class HttpClientConfig {
    /**
     * 定义restTemplate bean
     * @return
     */
    @Bean
    public RestTemplate restTemplate(){
        return new RestTemplate();
    }
}

说明：RestTemplate是一个java Http的客户端，可以模拟浏览器的访问行为，获取接口数据；

3、RestTemplate快速入门

3.1 RestTemplate API入门-1

测试环境准备: IDEA导入测试工程：day05\资料\http测试接口工程\test4http，该工程为restTemplate提供测试接口；

3.1.1 get请求携带参数访问外部url
package com.itheima.stock;

import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.http.HttpHeaders;
import org.springframework.http.HttpStatus;
import org.springframework.http.ResponseEntity;
import org.springframework.web.client.RestTemplate;

/**
 * @author by itheima
 * @Date 2022/1/1
 * @Description
 */
@SpringBootTest
public class TestRestTemplate {

    @Autowired
    private RestTemplate restTemplate;

    /**
     * 测试get请求携带url参数，访问外部接口
     */
    @Test
    public void test01(){
        String url="http://localhost:6666/account/getByUserNameAndAddress?userName=itheima&address=shanghai";
        /*
          参数1：url请求地址
          参数2：请求返回的数据类型
         */
        ResponseEntity<String> result = restTemplate.getForEntity(url, String.class);
        //获取响应头
        HttpHeaders headers = result.getHeaders();
        System.out.println(headers.toString());
        //响应状态码
        int statusCode = result.getStatusCodeValue();
        System.out.println(statusCode);
        //响应数据
        String respData = result.getBody();
        System.out.println(respData);
    }
}
3.1.2 get请求响应数据自动封装vo实体对象
    /**
     * 测试响应数据自动封装到vo对象
     */
    @Test
    public void test02(){
        String url="http://localhost:6666/account/getByUserNameAndAddress?userName=itheima&address=shanghai";
        /*
          参数1：url请求地址
          参数2：请求返回的数据类型
         */
        Account account = restTemplate.getForObject(url, Account.class);
        System.out.println(account);
    }

    @Data
    public static class Account {

        private Integer id;

        private String userName;

        private String address;
        
    }
3.1.3 请求头携带参数访问外部接口
    /**
     * 请求头设置参数，访问指定接口
     */
    @Test
    public void test03(){
        String url="http://localhost:6666/account/getHeader";
        //设置请求头参数
        HttpHeaders headers = new HttpHeaders();
        headers.add("userName","zhangsan");
        //请求头填充到请求对象下
        HttpEntity<Map> entry = new HttpEntity<>(headers);
        //发送请求
        ResponseEntity<String> responseEntity = restTemplate.exchange(url, HttpMethod.GET, entry, String.class);
        String result = responseEntity.getBody();
        System.out.println(result);
    }

3.2 RestTemplate API入门-2

3.2.1 POST请求模拟form表单访问外部接口
    /**
     * post模拟form表单提交数据
     */
    @Test
    public void test04(){
        String url="http://localhost:6666/account/addAccount";
        //设置请求头，指定请求数据方式
        HttpHeaders headers = new HttpHeaders();
       //告知被调用方，请求方式是form表单提交，这样对方解析数据时，就会按照form表单的方式解析处理
        headers.add("Content-type","application/x-www-form-urlencoded");
        //组装模拟form表单提交数据，内部元素相当于form表单的input框
        LinkedMultiValueMap<String, Object> map = new LinkedMultiValueMap<>();
        map.add("id","10");
        map.add("userName","itheima");
        map.add("address","shanghai");
        HttpEntity<LinkedMultiValueMap<String, Object>> httpEntity = new HttpEntity<>(map, headers);
        /*
            参数1：请求url地址
            参数2：请求方式 POST
            参数3：请求体对象，携带了请求头和请求体相关的参数
            参数4：响应数据类型
         */
        ResponseEntity<Account> exchange = restTemplate.exchange(url, HttpMethod.POST, httpEntity, Account.class);
        Account body = exchange.getBody();
        System.out.println(body);
    }
3.2.2 POST请求发送JSON数据
    /**
     * post发送json数据
     */
    @Test
    public void test05(){
        String url="http://localhost:6666/account/updateAccount";
        //设置请求头的请求参数类型
        HttpHeaders headers = new HttpHeaders();
       //告知被调用方，发送的数据格式的json格式，对方要以json的方式解析处理
        headers.add("Content-type","application/json; charset=utf-8");
        //组装json格式数据
//        HashMap<String, String> reqMap = new HashMap<>();
//        reqMap.put("id","1");
//        reqMap.put("userName","zhangsan");
//        reqMap.put("address","上海");
//        String jsonReqData = new Gson().toJson(reqMap);
        String jsonReq="{\"address\":\"上海\",\"id\":\"1\",\"userName\":\"zhangsan\"}";
        //构建请求对象
        HttpEntity<String> httpEntity = new HttpEntity<>(jsonReq, headers);
          /*
            发送数据
            参数1：请求url地址
            参数2：请求方式
            参数3：请求体对象，携带了请求头和请求体相关的参数
            参数4：响应数据类型
         */
        ResponseEntity<Account> responseEntity = restTemplate.exchange(url, HttpMethod.POST, httpEntity, Account.class);
      //或者
     // Account account=restTemplate.postForObject(url,httpEntity,Account.class);
        Account body = responseEntity.getBody();
        System.out.println(body);
    }
3.2.3 获取接口响应的cookie数据
    /**
     * 获取请求cookie值
     */
    @Test
    public void test06(){
        String url="http://localhost:6666/account/getCookie";
        ResponseEntity<String> result = restTemplate.getForEntity(url, String.class);
        //获取cookie
        List<String> cookies = result.getHeaders().get("Set-Cookie");
        //获取响应数据
        String resStr = result.getBody();
        System.out.println(resStr);
        System.out.println(cookies);
    }
攒了一袋星辰
关注
专栏目录
第一章 股票数据采集环境准备
weixin_44478828的博客
01-22 778
1.掌握RestTemplate基本使用;2.阅读并理解第三方股票接口API;3.基于RestTemplate实现国内大盘数据采集功能;3.1 项目集成RestTemplate;3.2 理解基于正则解析响应数据原理;3.3 掌握常用lambda stream流操作;4.基于RestTemplate实现国内板块和股票流水数据采集功能;5.熟悉mybatis批量插入实现;6.基于rabbitmq实现股票数据刷新；
第三章 股票相关数据采集
weixin_44478828的博客
01-22 1542
*** @Description 定义采集股票数据的定时任务的服务接口*//*** 获取国内大盘的实时数据信息*/@Slf4j@Autowired@Autowired@Autowired@Override//1.定义采集的url接口//2.调用restTemplate采集数据//2.1 组装请求头//必须填写，否则数据采集不到//2.2 组装请求对象//2.3 resetTemplate发起请求。
股票指数信息采集
Luzaofa的博客
04-25 1202
股票指数信息采集
获取股票历史数据——数据采集（1）
fengku1的博客
09-08 5758
打造自己的股票数据可视化
Python-TuShare是爬取中国股票历史数据的工具
08-10
TuShare是实现对股票/期货等金融数据从**数据采集**、**清洗加工** 到 **数据存储**过程的工具
股票数据获取（即时+历史）
07-19
股票数据获取（即时+历史）.txt
Spring Boot RestTemplate提交表单数据的三种方法
08-27
本文将详细介绍如何使用RestTemplate提交表单数据，包括三种不同的方法，并讨论表单提交与Payload提交的区别。 首先，让我们逐一了解这三种方法： 1. **使用`exchange`方法提交** `exchange`方法是最通用的，可以...
使用RestTemplate接收XML数据转对象与发送XML请求数据
月哥说了算的博客
04-08 8437
背景 公司项目和别家公司合作开发，涉及到了接口对接，对方提供的接口文档中数据交互全部都是XMl格式，第一次遇到xml数据的接口，这里记录下对XMl数据的处理。 开始 1.认识下XMl ❤ XML 指可扩展标记语言（EXtensible Markup Language） ❤ XML 是一种标记语言，很类似 HTML ❤ XML 的设计宗旨是传输数据，而非显示数据 ❤ XML 标签没有被预定义。您需要自行定义标签。 ❤ XML 被设计为具有自我描述性。 ❤ XML 是 W3C 的推荐标准 <?xml ve
resttemplate 传递list数据
06-09
RestTemplate传递List数据可以通过以下两种方式实现： 1. 通过URL传递List数据： 可以使用RestTemplate的`exchange`或`getForObject`方法，并在URL中携带List数据。例如： ```java List<Integer> list = Arrays....
resttemplate 获取list数据
06-09
RestTemplate获取List数据可以使用以下两种方式： 1. 使用`exchange`方法： 可以使用`exchange`方法获取List数据，例如： ```java String url = "http://example.com/api/users"; ResponseEntity<List<User>> ...
股票数据实时获取
08-28
通过调用互联网上公开的接口调用，抓取股票的实时数据，包括新浪股票的当前价，最高价，成交量等。
Vb股票实时交易数据采集源码
11-05
VB程序源码，可实现对沪深3396只股票的交易数据批量采集，并可以设置条件范围，在盘中按交易详情进行筛选，也可对一只股票的交易数据进行自动跟踪。
第一章 股票数据采集分析
weixin_44478828的博客
01-22 832
1.分析并理解当前股票采集功能存在的问题;2.理解XXLJOB的使用场景和使用流程;2.1 掌握xxljob的基本使用流程;2.2 理解cron表达式;3.理解xxljob集成到项目的基本流程;3.1 自定义任务执行器;3.2 分析国内大盘的开盘周期，自定义适合的cron表达式;3.3 完成大盘、股票流水、板块数据定义采集功能;4.多线程优化股票流水采集功能;5.理解线程池基本工作原理和参数设置原则[面试];
科技改变生活~利用Python 爬取股票实时数据详情，值得一看！
2301_80239908的博客
10-25 6047
常言道“人生苦短，我用Python。”Python可以为我们日常生活增加哪些便利呢，在此文中我将介绍使用Python爬取股票实时数据详情。以上就是利用Python 爬取股票实时数据详情的完整攻略。祝大家学习、工作、生活愉快~【最新Python全套从入门到精通学习资源，文末免费领取！
用Python来爬取股票数据进行分析，冲一波！
xxue345678的博客
07-26 3878
最近手头有点紧，但是作为一个男人，身上怎么能够没有大把钞票呢？
从编程小白到量化宗师之路C01---股票期货数据采集和日常维护
05-14
《从编程小白到量化宗师之路》系列课程是一套综合性实战课程，涵盖股票，期货，虚拟货币等的交易方法和策略手段。《BackTrader从数据采集到实盘交易》是本系列的第一个C类初级课程。本网站的课程宗旨是缩短个人或小型投资者与大型机构投资者之间的的差距。课程内容从python环境的安装开始使用，到股票数据采集，BackTrader开源回测软件的应用，并包含一套机构常用策略的讲解和实现。与市面上的其他理论课程不同，本课程注重实战，学员上课后，将可以达到自动化更新每日股票数据，自动化选股，自动化提示股票交易时机的目标。 在3000多种股票的中国市场，您将有获得现代化高科技力量的强力支持。《后续更新：提供中国期货市场历史tick以及1分钟线，5分钟线，日线数据下载。
Python采集股票数据信息
kakA的博客
12-30 3806
今天打算来整整股票，简简单单的采集一些股票数据对这个有兴趣的就一起来瞧瞧吧
Python采集股票数据信息【含带完整源码】
aliYz的博客
09-05 1009
对文章有问题的，或者有其他关于python的问题，可以在评论区留言或者私信我哦。
基于vue框架的的汇生活家居商城的设计与实现bdjlq（程序+源码+数据库+调试部署+开发环境）系统界面在最后面。
最新发布
h2345678的博客
10-29 1260
项目功能：商品分类,商品信息,用户。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

攒了一袋星辰

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值