从网页获取数据

最新推荐文章于 2023-09-18 19:41:53 发布
最新推荐文章于 2023-09-18 19:41:53 发布
阅读量241 收藏
点赞数 1
文章标签： servlet java 前端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_54636388/article/details/127648102
版权

1. 辛老师教程

1.1. 需要的文件、资源

1、视频教程：获取航班、伴车星及船舶的GPS数据

2、需要的代码文件：Java后台Servlet自动循环获取伴车星数据参考

  1. 需要获取数据的界面（需要插入链接）：
  1. 参考代码：

1.2. 步骤（后面来写）

2. 代码

2.1. 前端代码

<%@ page language="java" import="java.util.*" pageEncoding="ISO-8859-1"%>
<%
  String path = request.getContextPath();
  String basePath = request.getScheme()+"://"+request.getServerName()+":"+request.getServerPort()+path+"/";
%>

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<html>
<head>
  <base href="<%=basePath%>">

  <title>My JSP 'index.jsp' starting page</title>
  <meta http-equiv="pragma" content="no-cache">
  <meta http-equiv="cache-control" content="no-cache">
  <meta http-equiv="expires" content="0">
  <meta http-equiv="keywords" content="keyword1,keyword2,keyword3">
  <meta http-equiv="description" content="This is my page">
  <!--
  <link rel="stylesheet" type="text/css" href="styles.css">
  -->
</head>

<body>
This is my JSP page. <br>
</body>
</html>

2.2. 后端代码

1、GetNetworkData.java

package gps.data;
import java.io.BufferedReader;
import java.io.DataOutputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.PrintWriter;
import java.io.UnsupportedEncodingException;
import java.net.CookieHandler;
import java.net.CookieManager;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;
import java.net.URLDecoder;
import java.sql.SQLException;
import java.text.SimpleDateFormat;
import java.util.Calendar;
import java.util.Date;
import java.util.Timer;
import java.util.TimerTask;

import javax.servlet.ServletContextEvent;
import javax.servlet.ServletContextListener;
import javax.servlet.ServletException;
import javax.servlet.http.HttpServlet;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;

import org.json.JSONException;
import org.json.JSONObject;

public class GetNetworkData implements ServletContextListener {
    private Timer timer = null;
    private TimerTask task=null;
    @Override
    public void contextDestroyed(ServletContextEvent arg0) {
    }

    @Override
    public void contextInitialized(ServletContextEvent arg0) {
        System.out.println("================>[ServletContextListener]自动加载启动开始.");
        timer = new Timer(true);
        java.util.Date date = (new Date());
        MyTimerTask task = new MyTimerTask();
        timer.schedule(task, 2000,20000);		//延迟2秒后，每隔20秒运行一次
        System.out.println("[GetNetworkData]运行了");
    }
    public class MyTimerTask extends TimerTask {
        @Override
        public void run() {
            Calendar calendar = Calendar.getInstance();
            SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
            System.out.println("Current Time："+format.format(calendar.getTime()));//获取当前系统时间
            try {//多用函数
                loginGPS();
                getGPSData();
            } catch (MalformedURLException | JSONException | SQLException e) {
                e.printStackTrace();
            }
        }
    }
    boolean login=false;
    String urlData="http://www.bcxgps.com/page/vip/showTerminalG.action?vip_id=0&currentPage=1&type=0&pageCount=60&search=&startType=0&line=on";
    String urlLogin="http://www.bcxgps.com/page/login/BcxLoad.action?r=g";

    public void loginGPS() throws MalformedURLException, JSONException, SQLException {
        if(!login){
            CookieManager manager = new CookieManager();
            CookieHandler.setDefault(manager);
            URL urlConn=new URL(urlLogin);
            getUrl(urlConn);
            login=true;
            System.out.println("登录网站");
        }
    }

    public void getGPSData() throws MalformedURLException, JSONException, SQLException {//多用throw
        URL urlConn=new URL(urlData);
        getUrl(urlConn);
        System.out.println("获取数据");
    }
    private void getUrl(URL urlConn) throws JSONException, SQLException {
        try {
            //创建连接
            HttpURLConnection connection = (HttpURLConnection) urlConn.openConnection();
            connection.setDoOutput(true);
            connection.setDoInput(true);
            connection.setRequestMethod("POST");
            connection.setUseCaches(false);
            connection.setInstanceFollowRedirects(true);
            connection.setRequestProperty("Content-Type", "application/json");
            connection.connect();
            // POST请求
            DataOutputStream out = new
                    DataOutputStream(connection.getOutputStream());
            JSONObject obj = new JSONObject();
            String json = java.net.URLEncoder.encode(obj.toString(), "utf-8");	//这里传递参数
            out.writeBytes(json);
            out.flush();
            out.close();
            // 读取响应
            BufferedReader reader = new BufferedReader(new
                    InputStreamReader(connection.getInputStream(),"UTF-8"));
            String lines;
            StringBuffer sb = new StringBuffer("");
            while ((lines = reader.readLine()) != null) {
                sb.append(lines);
            }
            System.out.println(sb);

            GPSDao dao=new GPSDao();
            dao.addGPSRecord(sb);

            reader.close();
            // 断开连接
            connection.disconnect();
        } catch (MalformedURLException e) {
            e.printStackTrace();
        } catch (UnsupportedEncodingException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

2、GPSDao

package gps.data;
//多用函数分开
//每个函数入口检查参数是否正确
//循序渐渐，一步步来，做一步，运行检验一步
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;
import java.sql.Statement;

import org.json.JSONArray;
import org.json.JSONException;
import org.json.JSONObject;

public class GPSDao {
    Statement statement=null;
    public void addGPSRecord(StringBuffer sb) throws JSONException, SQLException {
        try {
            Class.forName("com.mysql.jdbc.Driver");
        } catch (ClassNotFoundException classnotfoundexception) {
            classnotfoundexception.printStackTrace();
        }
        System.out.println("加载了JDBC驱动");
        Connection conn = DriverManager
                .getConnection("jdbc:mysql://localhost:3306/test?user=root&password=955240&useUnicode=true&characterEncoding=UTF-8");
        System.out.println("准备statement。");
        statement = conn.createStatement();
        System.out.println("已经链接上数据库！");
        System.out.println("Connect Database Ok！！！<br>");
        
        //字符串转换成json并解析出来
        String result=sb.toString();
        if(!result.isEmpty()){
            JSONObject json=new JSONObject(result);
            JSONArray array=(JSONArray) json.get("list");
            for(int i=0;i<array.length();i++){
                JSONObject record=(JSONObject) array.get(i);
                addGPSRecord(record);
            }
        }
        statement.close();
        conn.close();
        System.out.println("Database Closed！！！<br>");
        System.out.println("操作数据完毕，关闭了数据库！");
    }

    private void addGPSRecord(JSONObject record) throws JSONException {
        String deviceId="XXXXXXXXX";
        String longitude="104.02";
        String latitude="30.34";
        String address="某某某地方";
        String gpsTime="2020-10-14 22:54:00";
        String creatorId="200000000000000";
        String creator="某某某";
        String createTime="2020-10-14 22:58:00";

        deviceId=record.getString("sn");
        longitude=record.getString("lon");
        latitude=record.getString("lat");
        address=record.getString("address");
        gpsTime=record.getString("gpstime");
        
        //然后链接数据库，开始操作数据表
        try {
            String sql = "insert into gps_data(device_id,longitude,latitude,address,gps_time,creator_id,creator,create_time) values('"
                    + deviceId + "'," + longitude + ","+latitude+",'"+address+"','"+gpsTime+"','"+creatorId+"','"+creator+"','"+createTime+"')";
            System.out.println("即将执行的SQL语句是："+sql);
            statement.executeUpdate(sql);
        } catch (SQLException sqlexception) {
            sqlexception.printStackTrace();
        }
    }

}

2.3. web.xml

<?xml version="1.0" encoding="UTF-8"?>
<web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://xmlns.jcp.org/xml/ns/javaee" xsi:schemaLocation="http://xmlns.jcp.org/xml/ns/javaee http://xmlns.jcp.org/xml/ns/javaee/web-app_3_1.xsd" id="WebApp_ID" version="3.1">
    <display-name>GetNetworkData</display-name>
    <servlet>
        <servlet-name>GetNetworkData</servlet-name>
        <display-name>This is the display name of my J2EE component</display-name>
        <description>This is the description of my J2EE component</description>
        <servlet-class>gps.data.GetNetworkData</servlet-class>
    </servlet>

    <servlet-mapping>
        <servlet-name>GetNetworkData</servlet-name>
        <url-pattern>/servlet/GetNetworkData</url-pattern>
    </servlet-mapping>
    <welcome-file-list>
        <welcome-file>index.html</welcome-file>
        <welcome-file>index.htm</welcome-file>
        <welcome-file>index.jsp</welcome-file>
        <welcome-file>default.html</welcome-file>
        <welcome-file>default.htm</welcome-file>
        <welcome-file>default.jsp</welcome-file>
    </welcome-file-list>
    <listener>
        <listener-class>gps.data.GetNetworkData</listener-class>
    </listener>
</web-app>

3. 框架

林月_y
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【整理】爬取网页数据的方法汇总
随笔
07-01 1万+
python爬虫、浏览器console获取网页信息、浏览器插件自动爬取数据、爬虫软件，etc.
html网页如何获取后台数据库的数据(html + ajax + php + mysql)
m0_67392931的博客
09-11 2343
深知大多数初中级Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则近万的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！因此收集整理了一份《Java开发全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
用Excel，爬取网站数据
我都博客
04-07 458
要求1 ：Excel2016及以上版本 要求2：仅支持get请求 要求3：你所需要的数据，在html网页的table标签中。不能是图片等。
易语言正则提取网页数据
08-20
易语言正则提取网页数据源码系统结构:网上页数期数,创建,取正则文本,替换,取匹配数量,取匹配文本,取子匹配文本,取子匹配数量, ======窗口程序集1 || ||------__启动窗口_创建完毕 || ||-
Java获取网页数据步骤方法详解
08-19
主要介绍了Java获取网页数据步骤方法详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
易语言取网页数据
08-19
易语言取网页数据系统结构:获取,文件下载,取网络文件名, ======窗口程序集1 || ||------__启动窗口_创建完毕 || ||------获取 || ||------_按钮1_被单击 || ||------_列表框1_被双击 || ||------__启动窗
浏览器怎样从网页抓取数据
u012057217的博客
05-08 1854
在浏览网页的过程中，需要保存网页数据，把它复制下来保存到文件就好啦；但是，如果数据量大或者需要经常保存数据，简单重复的操作让人发狂。这时候就需要一个可以自动抓取数据的浏览器。
从一个页面中调用另一个页面的数据
橘猫吃不胖的博客
06-09 1336
举例：在登录某系统成功后，在下一个页面显示：XXX欢迎您的使用！这个XXX就是系统登录时的用户，下面有两种方法可以实现： 1、设计两个窗体Form1和Form2: 注：textBox1控件的Modifiers属性需要从默认的Private改成Public，否则无法访问。 Form1窗体上设计以下事件过程： using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; usin
网站如何调用服务器数据,服务器如何调用网站数据库
weixin_39819576的博客
08-08 548
服务器如何调用网站数据库 内容精选换一换华为云最佳实践，从创建镜像、部署环境、搭建站点和代码实现方式等多方面提供开发实践指导及使用指南，全方面解决用户在使用华为云产品中遇到的常见问题。WordPress简称WP，最初是一款博客系统，后逐步演化成一款免费的CMS(内容管理系统/建站系统)。本文档指导用户使用华为云市场镜像“Wordpress官方正式版”部署WordPress博客系统。已购买虚拟私有云...
Python爬虫——Selenium在获取网页数据方面的使用
m0_73716246的博客
09-07 7027
Selenium 可以实现，它本身是一款自动化测试工具，可以打开浏览器，像人一样操作浏览器，人们可以从 Selenium 中直接提取到网页上的各种信息，因为网页信息对于 Selenium 来说是透明的，其本质就是运行一个浏览器。selenium使用便捷，易于编写，可以屏蔽许多js加密、解密问题，但是其运行速度较慢，且一些网站会针对通过 selenium 方法进行的访问做反爬，所以使用的时候并不是万能的。打开浏览器，这里可以选择年份（需要点击），这是通过网页的 select 标签存放的。
LABVIEW 获取网页数据_labview访问网页下载文章
08-26
用LABVIEW获取网页数据，其中包含HTTP协议，做智能项目可以参考，
如何获取页面中的数据
Duncan_Chen的博客
10-08 837
如果页面中的数据来源于一张表，直接使用模型驱动 如果页面中的数据来源于多张表，采用模型驱动结合属性驱动的方式 属性驱动使用页面上的属性名的setter getter
获取第三方数据四种方式
一起加油吧~
12-24 3134
获取第三方数据四种方式
Python爬虫解析网页的4种方式 值得收藏
热门推荐
Python最详细教程
02-08 1万+
用Python写爬虫工具在现在是一种司空见惯的事情，每个人都希望能够写一段程序去互联网上扒一点资料下来，用于数据分析或者干点别的事情。 我们知道，爬虫的原理无非是把目标网址的内容下载下来存储到内存中，这个时候它的内容其实是一堆HTML，然后再对这些HTML内容进行解析，按照自己的想法提取出想要的数据，所以今天我们主要来讲四种在Python中解析网页HTML内容的方法，各有千秋，适合在不同的场合下...
爬虫获取接口数据
最新发布
small_planet的博客
09-18 2825
上一讲讲的是获取静态网页数据的教程，适用于我们要爬取的数据在网页源代码中出现，但是还是有很多的数据是源代码中没有的，需要通过接口访问服务器来获得，下面我就来讲讲如何爬取这类数据。以巨潮资讯网爬取比亚迪企业年报为例。
如何从浏览器获取后台接口数据返回值，用于后期爬取数据
icekoor的专栏
08-19 3638
如何从浏览器获取后台接口数据返回值，用于后期爬取数据。
html调用其他网页内容
崔崇鑫的博客，你linux/云运维工作中的百科全书。
08-04 5853
文章目录说明定义一个html功能模块调用html的功能模块 说明 在a网页里调用b网页的内容，比如 我们需要在b.html,c.html…网页中写同一个功能，此时我们就可以用a.html写好该功能，然后在b和c中调用a的功能即可！ 定义一个html功能模块 为了展示 我就以一个时间模块为例，功能模块随便写 动态的也可以的！ （我用的工具是pycharm） time中是如下代码： <!DOCTYPE html> <html lang="en"> <head> &
网站调用数据库
ucas_123的博客
11-04 3259
在调用数据库的时候要注意以下几点： 1. 数据库不能够直接运行，你必须先用phpmyadmin打开，然后创建数据库，导入，注意名字要一样，这样执行，导出就可以直接调用。
JAVA如何从网页获取数据
03-26
Java可以使用网络编程API获取网页数据。以下是一种常用的方法： 1. 创建URL对象，指定要获取数据的网址。 ```java URL url = new URL("http://www.example.com"); ``` 2. 打开连接，获取连接对象。 ```java ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值