day02 Java定时任务，爬取纽约共享单车数据

最新推荐文章于 2022-10-01 16:09:35 发布
最新推荐文章于 2022-10-01 16:09:35 发布
阅读量375 收藏 2
点赞数
文章标签： java 服务器 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Tgmmmmmmmm/article/details/125690140
版权

day02 Java定时任务，爬取纽约共享单车数据

文章目录

一、JAVA的定时任务方法

1. 创建运行器

 // 内部类
    class MyRunnable implements Runnable{
        @Override
        public void run() {
            System.out.println("此处为需要执行的东西...");
        }
    }

2. 创建服务并设定开启

@Component
public class GetStationStatus {
    // 使用定时服务,基于线程池设计的定时任务类
    ScheduledExecutorService scheduledExecutorService = Executors.newSingleThreadScheduledExecutor();

    public GetStationStatus(){
        MyRunnable myRunnable = new MyRunnable();
        // 设定定时速率执行
        scheduledExecutorService.scheduleAtFixedRate(myRunnable,0,20, TimeUnit.SECONDS);
        // 参数分别为 周期性任务、第一次启动延迟时间、任务间隔时间、时间的单位
    }
	// 内部线程类
    class MyRunnable implements Runnable{
        @Override
        public void run() {
            System.out.println("此处为需要执行的东西...");
        }
    }
}

二、HttpClient 整合使用

1. 依赖包

<!-- https://mvnrepository.com/artifact/org.apache.httpcomponents/httpclient -->
<dependency>
    <groupId>org.apache.httpcomponents</groupId>
    <artifactId>httpclient</artifactId>
    <version>4.5.13</version>
</dependency>

2. 简单使用

使用HttpClient发送请求、接收响应很简单，一般需要如下几步即可。

  1. 创建HttpClient对象。

  2. 创建请求方法的实例，并指定请求URL。如果需要发送GET请求，创建HttpGet对象；如果需要发送POST请求，创建HttpPost对象。

  3. 如果需要发送请求参数，可调用HttpGet、HttpPost共同的setParams(HttpParams params)方法来添加请求参数；对于HttpPost对象而言，也可调用setEntity(HttpEntity entity)方法来设置请求参数。

  4. 调用HttpClient对象的execute(HttpUriRequest request)发送请求，该方法返回一个HttpResponse。

  5. 调用HttpResponse的getAllHeaders()、getHeaders(String name)等方法可获取服务器的响应头；调用HttpResponse的getEntity()方法可获取HttpEntity对象，该对象包装了服务器的响应内容。程序可通过该对象获取服务器的响应内容。

  6. 释放连接。无论执行方法是否成功，都必须释放连接

3. 简单的get

    @Test
    public void TestGet() throws IOException {

        String urlTest = "http://baidu.com";
        // 1.创建httpclient
        CloseableHttpClient httpclient = HttpClients.createDefault();
        //2. 创建HttpGet
        HttpGet httpGetTest1 = new HttpGet(urlTest);
        // 3. 请求执行，获取响应
        CloseableHttpResponse response = httpclient.execute(httpGetTest1);
        // 4.获取响应实体
        HttpEntity entityTest = response.getEntity();
        System.out.println(EntityUtils.toString(entityTest, "utf-8"));
        response.close();
        httpclient.close();

    }

HttpClient给我们提供了简易的参数拼接类

  • URI uri = new URIBuilder()
  • uri.setScheme 协议方式
  • uri.setHost 主机名
  • uri.setPath 路径
  • uri.setParameter 参数
  • uri.build() 需要构建
@Test
    public void Test1(){
        URI uri = null;
        try {
            uri = new URIBuilder()
                    .setScheme("http")
                    .setHost("www.google.com")
                    .setPath("/search")
                    .setParameter("q", "httpclient")
                    .setParameter("btnG", "Google Search")
                    .setParameter("aq", "f")
                    .setParameter("oq", "")
                    .build();
        } catch (URISyntaxException e) {
            e.printStackTrace();
        }
        HttpGet httpget = new HttpGet(uri);
        System.out.println(httpget.getURI());
    }

4. 忽略ssl的封装HttpClientUtils

因为目前需要的爬取对象是需要用https进行访问的，所以目前信任所有

1 创建工具类
package com.tgm.bigdata.utils;

import org.apache.http.HttpEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.conn.ssl.SSLConnectionSocketFactory;
import org.apache.http.entity.StringEntity;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.ssl.SSLContextBuilder;
import org.apache.http.ssl.TrustStrategy;
import org.apache.http.util.EntityUtils;
import javax.net.ssl.SSLContext;
import java.security.cert.CertificateException;
import java.security.cert.X509Certificate;

public class HttpClientUtils {
    /*
      Http协议GET请求
     */
    public static String httpGet(String url) throws Exception{
        //初始化HttpClient
        CloseableHttpClient httpClient = HttpClients.createDefault();
        //创建HttpGet
        HttpGet httpGet = new HttpGet(url);
        //发起请求，获取response对象
        CloseableHttpResponse response = httpClient.execute(httpGet);
        //获取请求状态码
        //response.getStatusLine().getStatusCode();
        //获取返回数据实体对象
        HttpEntity entity = response.getEntity();
        //转为字符串
        String result = EntityUtils.toString(entity,"UTF-8");
        return result;

    }
    /*
      Http协议Post请求
     */
    public static String httpPost (String url,String json) throws Exception{
        //初始HttpClient
        CloseableHttpClient httpClient = HttpClients.createDefault();
        //创建Post对象
        HttpPost httpPost = new HttpPost(url);
        //设置Content-Type
        httpPost.setHeader("Content-Type","application/json");
        //写入JSON数据
        httpPost.setEntity(new StringEntity(json));
        //发起请求，获取response对象
        CloseableHttpResponse response = httpClient.execute(httpPost);
        //获取请求码
        //response.getStatusLine().getStatusCode();
        //获取返回数据实体对象
        HttpEntity entity = response.getEntity();
        //转为字符串
        String result = EntityUtils.toString(entity,"UTF-8");
        return result;

    }


    public static String httpsGet(String url) throws Exception{
        CloseableHttpClient hp = createSSLClientDefault();
        HttpGet hg = new HttpGet(url);
        CloseableHttpResponse response = hp.execute(hg);
        HttpEntity entity = response.getEntity();
        String content = EntityUtils.toString(entity,"UTF-8");
        hp.close();
        return content;
    }

    public static String httpsPost(String url, String json) throws Exception{

        CloseableHttpClient hp = createSSLClientDefault();
        HttpPost httpPost = new HttpPost(url);
        httpPost.setHeader("Content-Type","application/json");
        httpPost.setEntity(new StringEntity(json));
        CloseableHttpResponse response = hp.execute(httpPost);
        HttpEntity entity = response.getEntity();
        String content = EntityUtils.toString(entity,"UTF-8");
        hp.close();
        return content;
    }


    public static CloseableHttpClient createSSLClientDefault() throws Exception{

        SSLContext sslContext = new SSLContextBuilder().loadTrustMaterial(null, new TrustStrategy(){
            //信任所有
            public boolean isTrusted(X509Certificate[] chain, String authType) throws CertificateException {
                return true;
            }
        }).build();
        SSLConnectionSocketFactory sslsf = new SSLConnectionSocketFactory(sslContext);
        return HttpClients.custom().setSSLSocketFactory(sslsf).build();
    }
}

5. 测试调用

    @Test
    public void TestGetHttps(){
        try {
            System.out.println(HttpClientUtils.httpsGet("https://gbfs.citibikenyc.com/gbfs/en/station_status.json"));
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

成功返回数据

三、Java创建文件并以时间命名

1. 时间工具类封装

package com.tgm.bigdata.utils;

import java.text.ParsePosition;
import java.text.SimpleDateFormat;
import java.util.Calendar;
import java.util.Date;
import java.util.GregorianCalendar;
import java.util.Locale;

public class MyTimeUtils {

        /**
         * 获取现在时间
         *
         * @return 返回时间类型 yyyy-MM-dd HH:mm:ss
         */
        public static Date getNowDate() {
            Date currentTime = new Date();
            SimpleDateFormat formatter = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
            String dateString = formatter.format(currentTime);
            ParsePosition pos = new ParsePosition(8);
            return formatter.parse(dateString, pos);
        }

        /**
         * 获取现在时间
         *
         * @return 返回短时间格式 yyyy-MM-dd
         */
        public static Date getNowDateShort() {
            Date currentTime = new Date();
            SimpleDateFormat formatter = new SimpleDateFormat("yyyy-MM-dd");
            String dateString = formatter.format(currentTime);
            ParsePosition pos = new ParsePosition(8);
            return formatter.parse(dateString, pos);
        }

        /**
         * 获取现在时间
         *
         * @return 返回字符串格式 yyyy-MM-dd HH:mm:ss
         */
        public static String getStringDate() {
            Date currentTime = new Date();
            SimpleDateFormat formatter = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
            return formatter.format(currentTime);
        }

        /**
         * 获取现在时间
         *
         * @return 返回短时间字符串格式yyyy-MM-dd
         */
        public static String getStringDateShort() {
            Date currentTime = new Date();
            SimpleDateFormat formatter = new SimpleDateFormat("yyyy-MM-dd");
            return formatter.format(currentTime);
        }

        /**
         * 获取时间 小时:分;秒 HH:mm:ss
         *
         *
         */
        public static String getTimeShort() {
            SimpleDateFormat formatter = new SimpleDateFormat("HH:mm:ss");
            Date currentTime = new Date();
            return formatter.format(currentTime);
        }

        /**
         * 将长时间格式字符串转换为时间 yyyy-MM-dd HH:mm:ss
         *
         * @param strDate
         * @return
         */
        public static Date strToDateLong(String strDate) {
            SimpleDateFormat formatter = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
            ParsePosition pos = new ParsePosition(0);
            return formatter.parse(strDate, pos);
        }

        /**
         * 将长时间格式时间转换为字符串 yyyy-MM-dd HH:mm:ss
         *
         * @param dateDate
         * @return
         */
        public static String dateToStrLong(java.util.Date dateDate) {
            SimpleDateFormat formatter = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
            return formatter.format(dateDate);
        }

        /**
         * 将短时间格式时间转换为字符串 yyyy-MM-dd
         *
         * @param dateDate
         * @return
         */
        public static String dateToStr(java.util.Date dateDate) {
            SimpleDateFormat formatter = new SimpleDateFormat("yyyy-MM-dd");
            return formatter.format(dateDate);
        }

        /**
         * 将短时间格式字符串转换为时间 yyyy-MM-dd
         *
         * @param strDate
         * @return
         */
        public static Date strToDate(String strDate) {
            SimpleDateFormat formatter = new SimpleDateFormat("yyyy-MM-dd");
            ParsePosition pos = new ParsePosition(0);
            return formatter.parse(strDate, pos);
        }

        /**
         * 得到现在时间
         *
         * @return
         */
        public static Date getNow() {
            return new Date();
        }


        /**
         * 得到现在时间
         *
         * @return 字符串 yyyyMMdd HHmmss
         */
        public static String getStringToday() {
            Date currentTime = new Date();
            SimpleDateFormat formatter = new SimpleDateFormat("yyyyMMdd HHmmss");
            return formatter.format(currentTime);
        }

        /**
         * 得到现在小时
         */
        public static String getHour() {
            Date currentTime = new Date();
            SimpleDateFormat formatter = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
            String dateString = formatter.format(currentTime);
            String hour;
            hour = dateString.substring(11, 13);
            return hour;
        }

        /**
         * 得到现在分钟
         *
         * @return
         */
        public static String getTime() {
            Date currentTime = new Date();
            SimpleDateFormat formatter = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
            String dateString = formatter.format(currentTime);
            String min;
            min = dateString.substring(14, 16);
            return min;
        }

        /**
         * 根据用户传入的时间表示格式，返回当前时间的格式 如果是yyyyMMdd，注意字母y不能大写。
         *
         * @param sformat yyyyMMddhhmmss
         * @return
         */
        public static String getUserDate(String sformat) {
            Date currentTime = new Date();
            SimpleDateFormat formatter = new SimpleDateFormat(sformat);
            return formatter.format(currentTime);
        }
}

2. 时间工具类基础测试

    @Test
    public void test(){
        System.out.println(MyTimeUtils.getNowDate());
        // null
        System.out.println(MyTimeUtils.getNow());
        // Sat Jul 09 07:51:20 CST 2022
        System.out.println(MyTimeUtils.getNowDateShort());
        // null
        System.out.println(MyTimeUtils.getStringDate());
        // 2022-07-09 07:51:20
        System.out.println(MyTimeUtils.getStringDateShort());
        // 2022-07-09
        System.out.println(MyTimeUtils.getStringToday());
        // 20220709 075120
        System.out.println(MyTimeUtils.getUserDate("yyyyMMddhhmmss"));
        // 20220709075120
    }

从测试结果来看，getStringDateShort可以用来创建文件夹,getUserDate是定制类，可以用来创建文件名

3. 新建文件夹及文件名

// 输入内容
String Obj_str = "tgm";
//指定路径如果没有则创建并添加
File file = new File("路径");
//获取父目录
File fileParent = file.getParentFile();
//判断是否存在，如果不存在则创建
if (!fileParent.exists()) {
fileParent.mkdirs();
}
//根据抽象路径创建一个新的空文件
file.createNewFile();

判断文件是否存在
if (file.exists()) {
//创建一个用于操作文件的字节输出流对象，创建就必须明确数据存储目的地
FileOutputStream fos = new FileOutputStream(file);
//写入
fos.write(Obj_Str.getBytes(StandardCharsets.UTF_8));

System.out.println("成功！！！");
//刷新并关闭流
fos.flush();
fos.close();
}

这里注意：不存在路径的时候会自动创建

四、组合 爬取时间的数据保存到日期文件夹下分个文件

@Override
public void run() {
    // 定义目标网址
    String urlStr = "https://gbfs.citibikenyc.com/gbfs/en/station_status.json";
    // 定义文件夹名
    String pathDateStr = MyTimeUtils.getStringDateShort();
    // 定义文件名
    String pathFileStr = MyTimeUtils.getUserDate("yyyyMMddhhmmss");
    pathFileStr += ".json";
    // 爬取内容
    String content = MyHttpClientUtils.httpsGet(urlStr);
    // 文件存储
    MyFileUtils.saveFile("data/"+pathDateStr+"/"+pathFileStr,content);
}
Tgmmmmmmmm
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
利用java定时爬取网页数据
11-11
利用java定时爬取网页数据,完整爬取数据源码及jar，利用java定时爬取网页数据，可自行导入到本地测试，仅供参考
探索Derekhe的Bike-Crawler：一款强大的自行车共享数据爬取工具
最新发布
gitblog_00097的博客
04-24 323
探索Derekhe的Bike-Crawler：一款强大的自行车共享数据爬取工具 项目地址:https://gitcode.com/derekhe/bike-crawler 项目简介 Bike-Crawler 是由开发者Derekhe创建的一个开源项目，其主要目标是抓取全球各大城市的自行车共享服务的数据。该项目利用Python编程语言和Scrapy框架，高效地爬取并整理了包括共享单车位置、可用性等在...
如何定时爬数据+java_java定时爬取百度风云榜的数据
weixin_36203080的博客
03-02 180
mavenorg.springframework.bootspring-boot-starter-jdbcmysqlmysql-connector-javaorg.springframework.bootspring-boot-starter-testtestcn.wanghaomiaoJsoupXpath2.3.2cn.hutoolhutool-all4.5.1代码package com.hsk...
组长让我用java定时爬取网页资源?简单啦(附实战源码)
Little___Turtle的博客
10-01 670
🏀sprinboot jsoup mybatis-plus(3.5.1以上)🏀 🏐 爬取网页资源 流程讲解🏐 ⚽快速上手 通俗易懂(注释多)⚽ 🤭Gitee源码分享🤭
Spring @Scheduled定时任务的fixedRate,fixedDelay,cron的作用和不同
一勺菠萝丶的博客
12-11 808
1.cron --@Scheduled（cron=“0/5 * * * *？”） 当时间达到设置的时间会触发事件。上面那个例子会每5秒执行一次。 2018/1/4 14:27:30 2018/1/4 14:27:35 2018/1/4 14:27:40 2018/1/4 14:27:45 2018/1/4 14:27:50 2.fixedRate --@Scheduled（fixedRate=...
java定时任务Timer和TimerTask使用详解
08-31
Java中的定时任务是程序开发中常见的一种需求，用于在特定的时间点或按固定频率执行某项操作。在Java中，`java.util.Timer` 和 `java.util.TimerTask` 类提供了这样的功能，它们是JDK自带的，不需要引入额外的库。 ...
实例讲解java定时任务
09-03
Java定时任务是Java编程中非常重要的一个特性，它允许开发者设置特定的时间点或者按照一定频率执行某段代码，常用于后台服务的维护、数据同步、日志清理等场景。本实例将通过一个简单的例子来讲解如何使用Java实现...
Javaday02训练
02-08
Java Day02训练是针对Java初学者或有一定基础的学习者设计的一次深入学习活动，旨在强化和巩固Java编程的基础知识。在这个训练中，你将接触到一系列关键的Java编程概念和技术，包括但不限于变量、数据类型、控制流程...
Java Web实现添加定时任务的方法示例
08-28
在Java Web开发中，添加定时任务是常见的需求，例如用于数据同步、日志清理、统计分析等场景。本文将详细讲解如何在Java Web环境中实现定时任务，并通过一个具体的示例来展示其实现过程。 首先，我们需要创建一个...
java定时任务，每天定时执行任务demo
10-20
在Java编程语言中，定时任务是一项非常重要的功能，它允许我们按照预定的时间间隔或特定时间点执行特定的代码块。这种功能广泛应用于日志清理、数据同步、报表生成等场景。"java定时任务，每天定时执行任务demo"的...
JAVA将一个数据中数据定时自动复制（抽取）到另一个数据库
09-20
用java中的线程控制程序从一个数据库中定时自动抽取数据到另一个数据库，实现数据库的同步。代码很详细。
JAVA定时器时间抓取
09-08
这些demo案例是笔者，之前在开发过程中用到的一些测试案例，很实用，几乎和时间相关的都有了。
python爬取摩拜单车API数据并做可视化分析（源码）
04-21
python爬取摩拜单车API数据并做可视化分析（源码）
Python-摩拜单车爬虫
08-10
该代码爬取摩拜单车的微信小程序接口，以便用于共享单车的分析
Java定时爬取数据
qq_37031675的博客
01-15 1571
刚刚入职一家教育机构，被要求爬取一些学校的新闻到数据库来丰富公司对外系统的页面丰富性，接下来是一些简单的教程。 一.配置文件 applicationContent如下 &lt;?xml version="1.0" encoding="UTF-8"?&gt; &lt;bean id="tellingTheTimeService" class="service.impl.TellingTheTime...
java实现爬取指定网站的数据源码
01-13
Java实现定向爬取数据的源码，有详细的说明文档，比较简单，思路清晰，比较适合初学者和中级的人员参考。
java定时实现数据抽取
weixin_40583191的博客
08-20 1588
https://www.cnblogs.com/niudaxianren/p/11077578.html
java 定时任务删除文件
09-09
要实现Java定时任务删除文件的功能，可以使用TimerTask类和Timer类来设置定时任务并调用删除文件的方法。 首先，需要定义一个清理文件的方法clean，该方法接收一个文件夹作为参数，并递归地清理文件夹内的文件。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值