目录
摘 要 1
Abstract 2
2.解析数据 8
(一) 认识JSON 8
(二) Gson 9
1)引入gson依赖 9
2)确认要转化的数据格式 9
3)解析文本数据 9
(三) 将数据展示在页面中 11
1、编写service和controller 11
2、编写页面(注意已引入thymeleaf的maven依赖) 12
(四) 转为实时数据 13
1、复习get和post请求 13
2、HttpURLConnection 13
(五) 使用Jsoup解析html格式数据 15
1)增加了controller方法 15
2)完善service 15
3) 处理数据的方法 15
4) 验证 16
(六) 增加数据存储逻辑 17
1、引入相关的依赖 17
2、配置数据库 17
3、使用mybatis-plus进行增删改查的操作 17
1) 创建mapper 17
2) 扫描mapper的注解 在主程序入口类中添加 17
3) 创建service及其实现类 17
4)改造实体类databean 18
4、初始化数据存储的逻辑 18
(一)折线图 20
1)分析的请求地址 20
2)模拟请求 20
3) 解析出数据 22
4)返回给页面渲染 23
(二)折线图2 25
(三)柱状图 28
(四)饼状图 30
(五) 中国地图 31
(一) 使用浏览器识别语种 33
(二)自定义切换语种 34
1) 页面中增加按钮 34
2) 自定义LocaleResolver类的实现 34
3)注入spring 35
4) 验证 此时切换按钮时,可以看到不同语种的显示 35
(一)邮件 35
- 引入依赖 37
- 参数配置 application.properties 37
- 编写逻辑 38
- 改造成模板引擎渲染的html效果 38
(二)异步任务 38
(一) 登录 39
(二) cookie和session 40
1.1项目技术要求
1) spring boot的常见应用
2) 业务功能的开发思路
3) 爬虫的底层原理
4) 对技术的应用有一定思考
1.2爬虫的基础知识
(一) 搜索引擎
“搜索引擎” 是一种帮助用户搜索他们需要内容的计算机程序
本质:连接人与内容
存储数据的处理方式:
如:一篇文章 -> 语义分析 -> 关键字提取 -> 根据关键字及出现次数等 -> 倒排存储
关键字搜索:
【查询分析】 关键字相关的近义词、反义词、关联信息(ip、地址、用户信息)
(二)爬虫分类
通用型爬虫(搜索引擎使用)
采集的数据是整个网站的数据,不论数据是何种形态、格式,使用通用的方法来存储和处理
垂直型爬虫(对特定内容的采集)
采集的数据是指定的,格式是指定的,使用个性化的方法来处理
1、引入相关的依赖
<dependency>
<groupId>org.mybatis.spring.boot</groupId>
<artifactId>mybatis-spring-boot-starter</artifactId>
<version>2.1.0</version>
</dependency>
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<scope>runtime</scope>
</dependency>
<dependency>
<groupId>com.baomidou</groupId>
<artifactId>mybatis-plus-boot-starter</artifactId>
<version>3.2.0</version>
</dependency>
2、配置数据库
spring.datasource.url=jdbc:mysql://localhost:3306/epidemic?serverTimezone=UTC&useUnicode=true&characterEncoding=utf8
spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver
spring.datasource.username=root
spring.datasource.password=123456
3、使用mybatis-plus进行增删改查的操作
1) 创建mapper
import com.baomidou.mybatisplus.core.mapper.BaseMapper;
import com.duing.bean.DataBean;
public interface DataMapper extends BaseMapper<DataBean> {
}
2) 扫描mapper的注解
在主程序入口类中添加
@MapperScan("com.duing.mapper")
3) 创建service及其实现类
注意泛型是要处理的实体类
import com.baomidou.mybatisplus.extension.service.IService;
import com.duing.bean.DataBean;
import java.util.List;
public interface DataService extends IService<DataBean> {
}
// 泛型 分别是mapper 以及 实体类
import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;
import com.duing.bean.DataBean;
import com.duing.mapper.DataMapper;
import org.springframework.stereotype.Service;
import java.util.List;
@Service
public class DataServiceImpl extends ServiceImpl<DataMapper,DataBean>
implements DataService {
}