jsoup网上抓取资源到入库超详细

  

1.首先拿到网址,自己先去网址上看看需要抓取的数据,并确定实体类bean,并且建好对应的表结构

我使用的是创建maven项目,也可以使用一般的Java项目,下载对应的jar包放进去别忘了buildpath,使用的jsoup,还需要入库,我是用的oracle,所以导入的是ojdbc,以及一些相应的依赖包

   这是个国外的网站,抓取到的数据是英文的,尝试了webservice翻译和模拟某度翻译,但是效果都不好,webservice调用别的服务每次的翻译请求间隔不能太短,所有取消自动翻译,让人工确认,

若需要锁定环境版本,在pom.xml中添加下面内容,我的是1.8+

    <build>
        <pluginManagement>
            <plugins>
                <plugin>
                    <groupId>org.apache.maven.plugins</groupId>
                    <artifactId>maven-compiler-plugin</artifactId>
                    <version>3.2</version>
                    <configuration>
                        <source>1.8</source>
                        <target>1.8</target>
                        <encoding>utf8</encoding>
                        <showWarnings>true</showWarnings>
                    </configuration>
                </plugin>
            </plugins>
        </pluginManagement>

    </build>

1.2创建实体类bean,提供相应的构造方法和getter和setter方法

2.创建连接数据的工具,调整自己的数据连接信息

如果程序启动过程中遇到

unable to find valid certification path to requested target

请移步看我另一解决步骤:

https://blog.csdn.net/wzc1991520/article/details/79442304