java爬取评论_Spring Boot爬取携程网站用户评论数据整合mybatis项目案例

项目描述

一、需求

获取携程网站用户点评数据保存到数据库中

http://vacations.ctrip.com/grouptravel/p1740331s0-comment-1.html

二、项目结构

三、代码说明

创建xiechengcourse数据库，执行comment.sql文件

首先说一个工具类

执行main方法，会自动根据数据库表生成entity，mapper，mapper.

注意：只能执行一次，否则会报错，要想重新执行把这三个文件删了重新执行一遍

pom.xml(所依赖的jar包)

有mybatis生成工具的依赖，httpclient的依赖，还有mysql的依赖，json的依赖，。。。。。。

application.yml

配置文件DataController.java

就一个api，一个参数page，传入几页就是拉取几页的数据CommentServiceImpl.java

业务很简单，就是根据url爬取数据，然后批量保存到数据库中

CommentMapper.java

批量插入数据要自己添加，不能自动生成

insert into comment

(id, user_id, user_type,score, comment_info,comment_tips)

values

(#{item.id,jdbcType=INTEGER}, #{item.userId,jdbcType=VARCHAR}, #{item.userType,jdbcType=VARCHAR},

#{item.score,jdbcType=VARCHAR}, #{item.commentInfo,jdbcType=LONGVARCHAR}, #{item.commentTips,jdbcType=TIMESTAMP})

运行环境

jdk8+tomcat8+mysql+IntelliJ IDEA+maven

项目技术(必填)

spring boot+mybatis+ jsoup

数据库文件

jar包文件

maven搭建

链接：https://pan.baidu.com/s/16tJG8r_5l02uNXMzYX8LwQ

提取码：lhsw