java 截取网站数据库_使用java获取网页内容并存放在SqlServer数据库中

最新推荐文章于 2022-09-05 10:17:58 发布
最新推荐文章于 2022-09-05 10:17:58 发布
阅读量89 收藏
点赞数
文章标签： java 截取网站数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_35322457/article/details/114838677
版权

import java.lang.reflect.*;import java.sql.*;import java.util.*;public classSqlHelper {//SQL Server

/*** JDBC驱动名称*/

public static final String CLASS_NAME = "com.microsoft.sqlserver.jdbc.SQLServerDriver";/*** 数据库连库字符串*/

public static final String URL = "jdbc:sqlserver://192.168.63.109;databaseName=HTTPCollection";/*** 用户名*/

public static final String UID = "sa";/*** 密码*/

public static final String PWD = "jxjxjx123";/*** JDBC驱动类型*/

public static Class CLS = null;//Oracle//public static final String CLASS_NAME =//"oracle.jdbc.driver.OracleDriver";//public static final String URL =//"jdbc:oracle:thin:@localhost:1522:accp11g";//public static final String UID = "system";//public static final String PWD = "manager";

/*** 获取数据库连接对象

*

*@return*@throwsClassNotFoundException

*@throwsSQLException*/

public static Connection getConnection() throwsClassNotFoundException,

SQLException {if (CLS == null) {

CLS=Class.forName(CLASS_NAME);

}returnDriverManager.getConnection(URL, UID, PWD);

}/*** 执行SQL语句不返回查询的操作，返回受影响的行数

*

*@paramsql

* SQL语句

*@return受影响的行数

*@throwsClassNotFoundException

*@throwsSQLException*/

public static intexecuteNonQuery(String sql) {int result = -1;

Connection con= null;

PreparedStatement ps= null;try{

con=getConnection();

ps=con.prepareStatement(sql);

result=ps.executeUpdate();

}catch(Exception e) {

e.printStackTrace();

}finally{

close(con, ps,null);

}returnresult;

}/*** 执行Insert语句，返回Insert成功之后标识列的值

*

*@paramsql

*@return*@throwsClassNotFoundException

*@throwsSQLException*/

public static intexecuteIdentity(String sql) {int identity = -1;

Connection con= null;

Statement ps= null;

ResultSet rs= null;try{

con=getConnection();

ps=con.createStatement();

ps.executeUpdate(sql, Statement.RETURN_GENERATED_KEYS);

rs=ps.getGeneratedKeys();if(rs.next()) {//identity = rs.getInt("GENERATED_KEYS");

identity = rs.getInt(1);

}

}catch(Exception e) {

e.printStackTrace();

}finally{

close(con, ps,null);

}returnidentity;

}/*** 执行不返回结果集的存储过程

*

*@paramsql

* 存储过程名称

*@paramparams

* 存储过程参数

*@throwsClassNotFoundException

*@throwsSQLException*/

public static voidexecuteNonQuery(String sql, SqlParameter... params) {

Connection con= null;

CallableStatement cs= null;try{

con=getConnection();

cs=con.prepareCall(sql);

setSqlParameter(cs, params);

cs.executeUpdate();

getSqlParameter(cs, params);

}catch(Exception e) {

e.printStackTrace();

}finally{

close(con, cs,null);

}

}/*** 执行返回聚合函数的操作

*

*@paramsql

* 含有聚合函数的SQL语句

*@return聚合函数的执行结果

*@throwsSQLException

*@throwsClassNotFoundException*/

public static intexecuteScalar(String sql) {int result = -1;

Connection con= null;

PreparedStatement ps= null;

ResultSet rs= null;try{

con=getConnection();

ps=con.prepareStatement(sql);

rs=ps.executeQuery();if(rs.next()) {

result= rs.getInt(1);

}

}catch(Exception e) {

e.printStackTrace();

}finally{

close(con, ps, rs);

}returnresult;

}/*** 执行返回泛型集合的SQL语句

*

*@paramcls

* 泛型类型

*@paramsql

* 查询SQL语句

*@return泛型集合

*@throwsClassNotFoundException

*@throwsSQLException

*@throwsInstantiationException

*@throwsIllegalAccessException*/

public static List executeList(Classcls, String sql) {

List list = new ArrayList();

Connection con= null;

PreparedStatement ps= null;

ResultSet rs= null;try{

con=getConnection();

ps=con.prepareStatement(sql);

rs=ps.executeQuery();while(rs.next()) {

T obj=executeResultSet(cls, rs);

list.add(obj);

}

}catch(Exception e) {

e.printStackTrace();

}finally{

close(con, ps, rs);

}returnlist;

}/*** 执行返回泛型集合的存储过程

*

*@paramcls

* 泛型类型

*@paramsql

* 存储过程名称

*@paramparams

* 存储过程参数

*@return泛型集合

*@throwsClassNotFoundException

*@throwsSQLException

*@throwsInstantiationException

*@throwsIllegalAccessException*/

public static List executeList(Classcls, String sql,

SqlParameter... params) {

List list = new ArrayList();

Connection con= null;

CallableStatement cs= null;

ResultSet rs= null;try{

con=getConnection();

cs=con.prepareCall(sql);

setSqlParameter(cs, params);

rs=cs.executeQuery();while(rs.next()) {

T obj=executeResultSet(cls, rs);

list.add(obj);

}

}catch(Exception e) {

e.printStackTrace();

}finally{

close(con, cs, rs);

}returnlist;

}/*** 执行返回泛型类型对象的SQL语句

*

*@paramcls

* 泛型类型

*@paramsql

* SQL语句

*@return泛型类型对象

*@throwsSQLException

*@throwsClassNotFoundException

*@throwsInstantiationException

*@throwsIllegalAccessException*/

public static T executeEntity(Classcls, String sql) {

T obj= null;

Connection con= null;

PreparedStatement ps= null;

ResultSet rs= null;try{

con=getConnection();

ps=con.prepareStatement(sql);

rs=ps.executeQuery();while(rs.next()) {

obj=executeResultSet(cls, rs);break;

}

}catch(Exception e) {

e.printStackTrace();

}finally{

close(con, ps, rs);

}returnobj;

}/*** 执行返回泛型类型对象的存储过程

*

*@paramcls

* 泛型类型

*@paramsql

* SQL语句

*@paramparams

* 存储过程参数

*@return泛型类型对象

*@throwsSQLException

*@throwsClassNotFoundException

*@throwsInstantiationException

*@throwsIllegalAccessException*/

public static T executeEntity(Classcls, String sql,

SqlParameter... params) {

T obj= null;

Connection con= null;

CallableStatement cs= null;

ResultSet rs= null;try{

con=getConnection();

cs=con.prepareCall(sql);

setSqlParameter(cs, params);

rs=cs.executeQuery();while(rs.next()) {

obj=executeResultSet(cls, rs);break;

}

}catch(Exception e) {

e.printStackTrace();

}finally{

close(con, cs, rs);

}returnobj;

}/*** 将一条记录转成一个对象

*

*@paramcls

* 泛型类型

*@paramrs

* ResultSet对象

*@return泛型类型对象

*@throwsInstantiationException

*@throwsIllegalAccessException

*@throwsSQLException*/

private static T executeResultSet(Classcls, ResultSet rs)throwsInstantiationException, IllegalAccessException, SQLException {

T obj=cls.newInstance();

ResultSetMetaData rsm=rs.getMetaData();int columnCount =rsm.getColumnCount();//Field[] fields = cls.getFields();

Field[] fields =cls.getDeclaredFields();for (int i = 0; i < fields.length; i++) {

Field field=fields[i];

String fieldName=field.getName();for (int j = 1; j <= columnCount; j++) {

String columnName=rsm.getColumnName(j);if(fieldName.equalsIgnoreCase(columnName)) {

Object value=rs.getObject(j);

field.setAccessible(true);

field.set(obj, value);break;

}

}

}returnobj;

}/*** 设置存储过程参数名称，参数值，参数方向

*

*@paramcs

*@paramparams

*@throwsSQLException*/

private static voidsetSqlParameter(CallableStatement cs,

SqlParameter... params)throwsSQLException {if (params != null) {for(SqlParameter param : params) {if(param.OutPut) {

String paramName=param.Name;if (paramName == null || paramName.equals("")) {

cs.registerOutParameter(1, param.Type);//设置返回类型参数

} else{

cs.registerOutParameter(paramName, param.Type);//设置输出类型参数

}

}else{

cs.setObject(param.Name, param.Value);//设置输入类型参数

}

}

}

}/*** 得到存储过程参数执行结果

*

*@paramcs

*@paramparams

*@throwsSQLException*/

private static voidgetSqlParameter(CallableStatement cs,

SqlParameter... params)throwsSQLException {for(SqlParameter param : params) {if(param.OutPut) {

String paramName=param.Name;if (paramName == null || paramName.equals("")) {

param.Value= cs.getObject(1);//返回类型参数值

} else{

param.Value= cs.getObject(paramName);//输出类型参数值

}

}

}

}/*** 关闭JDBC对象，释放资源。

*

*@paramcon

* 连接对象

*@paramps

* 命令对象

*@paramrs

* 结果集对象

*@throwsSQLException*/

private static voidclose(Connection con, Statement ps, ResultSet rs) {try{//rs.close();//jiangxiang删除改行，当多次掉用该语句时会报空指针异常，因为rs已关闭。

if (rs != null) {

rs= null;

}if (ps != null) {

ps.close();

ps= null;

}if (con != null) {

con.close();

con= null;

}

}catch(SQLException e) {//TODO Auto-generated catch block

e.printStackTrace();

}

}

}

覃含章
关注
120道java最常问面试题！
weixin_70730532的博客
08-24 5924
B/S(Browser/Server)，浏览器/服务器程序C/S(Client/Server)，客户端/服务端，桌面应用程序JVM：java虚拟机，运用硬件或软件手段实现的虚拟的计算机，Java虚拟机包括：寄存器，堆栈，处理器JDK：java development kit：java开发工具包，是开发人员所需要安装的环境JRE：java runtime environment：java运行环境，java程序运行所需要安装的环境计算机保存，组织数据的方式面向对象编程世间万物都可以看成一个对象。
JAVA工程师面试题目大全_绝对值得看
tanzhouxueyuan（JAVA交流群：432764060）的博客
05-16 9327
明天或者后天面试JAVA工程师怎么办？史上最全的全劲爆的JAVA工程师面试题，不得不看？本文集互联网全部的面试题，同时提供各大公司的面试题，助你增加面试成功机会
java采集网页信息，并获取到所需要的信息存入数据库中对应的字段中去
03-15
java采集网页信息，获取需要的信息存入数据库中对应的字段中，最终要的是正则表达式的书写，获取后去掉空格
截取网页ICP的sql语句
pergoods的博客
09-26 120
首先获取网站内容后，从内容中截取出ICP信息 --从text中初步截取出ICP update z_beijing_all_web33 set ent_icp=substr(web_text,instr(web_text,'ICP',1)-2,35) where is_yellp is null and web_text like '%ICP%' and ent_icp is nul...
java 截取网站数据库_Java获取网络文件并插入数据库的代码
weixin_32512451的博客
02-27 75
获取百度的歌曲名，歌手和链接！！package webTools;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.io.UnsupportedEncodingException;import java.net.MalformedURLExcep...
java爬取网页的数据并存入数据库
qq_43025316的博客
09-02 3863
这里使用Jsoup来实现改功能。 demo用到的技术为springboot+jsoup+mysql+mybatis plus 1.首先导入jsoup依赖 <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.11.3</version>
使用java获得网页数据并保存到mysql数据库(oracle大致同理)
F_xiao_chou的博客
09-05 2525
这个大多数会运用在跨境物流上,还有银行项目(温馨提示:只有公开的数据源才可以安全的使用--切勿自误)比如说是获取海关信息,获取汇率信息 ......等等。
Java面试常见问题
m0_56809927的博客
08-24 514
Java面试 一、基础 1.&&和&的区别？ |和||的区别？ 1.当符号左边是false时，&继续执行符号右边的运算。&&不再执行符号右边的运算。 2.当符号左边是true时，|继续执行符号右边的运算，而||不再执行符号右边的运算 2.final关键字的作用 fianl修饰类时，类不能被继承 fianl修饰方法时，方法不能被重写 fianl修饰变量时，变量不能被修改。他就变成常量了 2+final finally finalize区别 finally 是
狂神redis课程笔记
haoyun的博客
11-30 6228
Redis 文章目录RedisNosql单机SQL时代，更多使用静态网页Memcached缓存+MySQL+垂直拆分（读写分离）分库分表+水平拆分+M有SQL集群最近的年代最后总结为什么要用NoSQL大数据时代的3V和3高阿里巴巴框架演进第五代架构改进NoSQL的四大分类KV键值对文档型数据库（Bson格式和Json格式）列存储数据库图形关系数据库Redis入门Redis能干嘛特性常用网站启动RedisCentOS7 安装Redis常用的命令主要操作Redis测试性能基础知识单线程RedisRedis五大数
java面试题
weixin_49277956的博客
09-05 7165
Java考试题 一：单选题 下列哪一种叙述是正确的（D ） A． abstract修饰符可修饰字段、方法和类 B． 抽象方法的body部分必须用一对大括号{ }包住 C． 声明抽象方法，大括号可有可无 D． 声明抽象方法不可写出大括号 如下代码 public class Test { public int aMethod() { static int i = 0; i++; return i; } public static void main (String args[]) { Test test
使用Java代码从网页中爬取数据到数据库中 -- 转
qq_24271537的博客
04-21 370
https://blog.csdn.net/qq_44891295/article/details/106293107
Java项目用sqlserver数据库做插入数据操作报错：将截断字符串或二进制数据。
98小哥哥的博客
05-15 607
*↑↑↑* 错误如标题所示 原因：增加的数据类型与数据库中字段所定义的不符。 解决方法： 1、修改数据库字段大小； 2、加强数据强壮性，严格的输入判断。 防止添加的信息类型或者长度与数据库表中字段所对应的类型不符合。 ...
python爬取网页数据并自动写入SQLserver数据库
qq_22592457的博客
07-22 9039
如上图，某网站每天会公布城市的新建商品房可售、未售、签约情况，现在需要把这些数据获取下来，并写入数据库中。整个过程分为2大部分，第一部分是网页的解析，将目标信息获取，第二部分是数据库的连接，将数据存入数据库。 一、数据爬取 数据爬取还是老套路了，这个网页极其友好，没有什么动态加载或反爬机制等，所以直接用网页下载器requests+网页解析器BeautifulSoup+select语法即可...
java读取远程数据库数据并存放到本地数据库中
mshk123456的博客
09-08 2193
package com.uniware.util.timer; import java.io.; import java.sql.; import java.util.ArrayList; /** java读取数据库内容并存放到文件中 @author young */ public class JavaToSQLTest { /** 从远程数据库获取数据写入本地文件 @throws FileNotFoundException */ public void getData() throws Fi
【JavaWeb】-- Servlet获取网页数据并传入到数据库
张修宇的博客
08-01 5222
Servlet（ServerApplet）是JavaServlet的简称，称为小服务程序或服务连接器，用Java编写的服务器端程序，具有独立于平台和协议的特性，主要功能在于交互式地浏览和生成数据，生成动态Web内容。
Python 爬虫学习08 将爬取到的数据保存到SQL
一个编程的同学
04-07 1385
import pymssql #引入pymssql模块 import sys from bs4 import BeautifulSoup # 网页解析，获取数据 import re # 正则表达式，进行文字匹配 import urllib.request, urllib.error # 制定URL,获取网页数据 import xlwt # 进行excel操作 def conn(): connect = pymssql.connect('(local)', 'ouou', '123456'
Java连接SQL Server数据库示例与代码
这段代码提供了Java连接SQL Server数据库的基本流程，包括设置驱动、构建连接URL、处理用户认证，以及异常管理和字符串截取。通过理解和调整这些代码，开发人员可以构建自己的Java应用程序，实现与SQL Server数据库...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值