大家好！我是岛上程序猿，感谢您阅读本文，欢迎一键三连哦。
精彩专栏推荐👇🏻👇🏻👇🏻
开发环境
- 开发语言：java
- 框架：Hadoop,Scrapy,vue,springboot
- 数据库：mysql
- 数据库工具：Navicat
- 开发软件：eclipse/myeclipse/idea
- 浏览器：谷歌浏览器
演示视频
基于Hadoop的个性化图书推荐系统的设计与实现
论文目录
❤️【如需全文请按文末获取联系】
一、项目简介
系统采用Hadoop分布式存储和处理框架来管理庞大的用户数据和图书信息，同时利用Spark MLlib机器学习库构建推荐模型。管理员端和用户端的功能性设计考虑了各类用户的需求，如用户管理、订单管理、留言建议以及个人中心等。系统首页展示畅销书籍榜单，并集成搜索、购物车和在线客服等功能。
二、系统设计
2.1软件功能模块设计
如图4-1所示的宏观的总体功能结构图。
2.2数据库设计
E-R图是由实体及其关系构成的图，通过E-R图可以清楚地描述系统涉及到的实体之间的相互关系。在系统中对一些主要的几个关键实体：将“用户、图书信息、系统简介、公告信息、购物车、订单”等作为实体，它们的局部E-R图，如图4-3所示：
三、系统项目部分截图
3.1前台功能实现
系统首页页面
当人们打开系统的网址后，首先看到的就是首页界面。在这里，人们能够看到系统的导航条，通过导航条导航进入各功能展示页面进行操作。系统首页界面如图5-1所示：
系统注册页面如图5-2所示：
图书信息：在图书信息页面的输入栏中输入图书名称、作者、出版社和价格进行查询，可以查看到图片详细信息；并根据需要进行添加到购物车、立即购买、评论或收藏操作。图书信息页面如图5-4所示：
购物车页面如图5-5所示：
我的订单：在我的订单页面可以对未支付、已支付、已发货、已完成、已退款和已取消订单等进行详细操作；如图5-7所示：
3.2管理员功能实现
在登录流程中，用户首先在Vue前端界面输入用户名和密码。
管理员进入主页面，主要功能包括对首页、用户、当当图片畅销榜、图书信息、图书类型、留言建议、系统管理、订单管理、我的信息等进行操作。管理员主页面如图5-9所示：
在大数据分析方面，系统采用了Hadoop框架。Hadoop是一个能够处理大数据集的分布式存储和计算平台，它的核心是HDFS（Hadoop Distributed File System）和MapReduce计算模型。通过Hadoop，我们可以对收集到的大量数据进行存储和分析。看板页面如图5-13所示：
四、部分核心代码
package com.controller;
import java.math.BigDecimal;
import java.text.SimpleDateFormat;
import java.text.ParseException;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.Calendar;
import java.util.Map;
import java.util.HashMap;
import java.util.Iterator;
import java.util.Date;
import java.util.List;
import javax.servlet.http.HttpServletRequest;
import com.utils.ValidatorUtils;
import org.apache.commons.lang3.StringUtils;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.transaction.annotation.Transactional;
import org.springframework.format.annotation.DateTimeFormat;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.RequestBody;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
import com.baomidou.mybatisplus.mapper.EntityWrapper;
import com.baomidou.mybatisplus.mapper.Wrapper;
import com.annotation.IgnoreAuth;
import com.entity.DangdangtushuEntity;
import com.entity.view.DangdangtushuView;
import com.service.DangdangtushuService;
import com.service.TokenService;
import com.utils.PageUtils;
import com.utils.R;
import com.utils.MPUtil;
import com.utils.MapUtils;
import com.utils.CommonUtil;
import java.io.IOException;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.JavaPairRDD;
import scala.Tuple2;
/**
* 当当图片畅销榜
* 后端接口
* @author
* @email
* @date 2024-01-24 16:12:47
*/
@RestController
@RequestMapping("/dangdangtushu")
public class DangdangtushuController {
@Autowired
private DangdangtushuService dangdangtushuService;
@Autowired
private JavaSparkContext javaSparkContext;
/**
* 后端列表
*/
@RequestMapping("/page")
public R page(@RequestParam Map<String, Object> params,DangdangtushuEntity dangdangtushu,
HttpServletRequest request){
EntityWrapper<DangdangtushuEntity> ew = new EntityWrapper<DangdangtushuEntity>();
PageUtils page = dangdangtushuService.queryPage(params, MPUtil.sort(MPUtil.between(MPUtil.likeOrEq(ew, dangdangtushu), params), params));
return R.ok().put("data", page);
}
/**
* 前端列表
*/
@IgnoreAuth
@RequestMapping("/list")
public R list(@RequestParam Map<String, Object> params,DangdangtushuEntity dangdangtushu,
HttpServletRequest request){
EntityWrapper<DangdangtushuEntity> ew = new EntityWrapper<DangdangtushuEntity>();
PageUtils page = dangdangtushuService.queryPage(params, MPUtil.sort(MPUtil.between(MPUtil.likeOrEq(ew, dangdangtushu), params), params));
return R.ok().put("data", page);
}
/**
* 列表
*/
@RequestMapping("/lists")
public R list( DangdangtushuEntity dangdangtushu){
EntityWrapper<DangdangtushuEntity> ew = new EntityWrapper<DangdangtushuEntity>();
ew.allEq(MPUtil.allEQMapPre( dangdangtushu, "dangdangtushu"));
return R.ok().put("data", dangdangtushuService.selectListView(ew));
}
/**
* 查询
*/
@RequestMapping("/query")
public R query(DangdangtushuEntity dangdangtushu){
EntityWrapper< DangdangtushuEntity> ew = new EntityWrapper< DangdangtushuEntity>();
ew.allEq(MPUtil.allEQMapPre( dangdangtushu, "dangdangtushu"));
DangdangtushuView dangdangtushuView = dangdangtushuService.selectView(ew);
return R.ok("查询当当图片畅销榜成功").put("data", dangdangtushuView);
}
/**
* 后端详情
*/
@RequestMapping("/info/{id}")
public R info(@PathVariable("id") Long id){
DangdangtushuEntity dangdangtushu = dangdangtushuService.selectById(id);
return R.ok().put("data", dangdangtushu);
}
/**
* 前端详情
*/
@IgnoreAuth
@RequestMapping("/detail/{id}")
public R detail(@PathVariable("id") Long id){
DangdangtushuEntity dangdangtushu = dangdangtushuService.selectById(id);
return R.ok().put("data", dangdangtushu);
}
/**
* 后端保存
*/
@RequestMapping("/save")
public R save(@RequestBody DangdangtushuEntity dangdangtushu, HttpServletRequest request){
//ValidatorUtils.validateEntity(dangdangtushu);
dangdangtushuService.insert(dangdangtushu);
return R.ok();
}
/**
* 前端保存
*/
@RequestMapping("/add")
public R add(@RequestBody DangdangtushuEntity dangdangtushu, HttpServletRequest request){
//ValidatorUtils.validateEntity(dangdangtushu);
dangdangtushuService.insert(dangdangtushu);
return R.ok();
}
/**
* 修改
*/
@RequestMapping("/update")
@Transactional
public R update(@RequestBody DangdangtushuEntity dangdangtushu, HttpServletRequest request){
//ValidatorUtils.validateEntity(dangdangtushu);
dangdangtushuService.updateById(dangdangtushu);//全部更新
return R.ok();
}
/**
* 删除
*/
@RequestMapping("/delete")
public R delete(@RequestBody Long[] ids){
dangdangtushuService.deleteBatchIds(Arrays.asList(ids));
return R.ok();
}
/**
* （按值统计）
*/
@RequestMapping("/value/{xColumnName}/{yColumnName}")
public R value(@PathVariable("yColumnName") String yColumnName, @PathVariable("xColumnName") String xColumnName,HttpServletRequest request) {
Map<String, Object> params = new HashMap<String, Object>();
params.put("xColumn", xColumnName);
params.put("yColumn", yColumnName);
EntityWrapper<DangdangtushuEntity> ew = new EntityWrapper<DangdangtushuEntity>();
List<Map<String, Object>> result = dangdangtushuService.selectValue(params, ew);
SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd");
for(Map<String, Object> m : result) {
for(String k : m.keySet()) {
if(m.get(k) instanceof Date) {
m.put(k, sdf.format((Date)m.get(k)));
}
}
}
List<Map<String, Object>> result2 = new ArrayList<Map<String,Object>>();
for(Map<String, Object> m : result) {
List<Tuple2<String, Object>> data = new ArrayList<>();
for(String s : m.keySet()) {
data.add(new Tuple2<>(s, m.get(s)));
}
JavaPairRDD<String, Object> originRDD = javaSparkContext.parallelizePairs(data);
result2.add(originRDD.collectAsMap());
}
return R.ok().put("data", result2);
}
/**
* （按值统计(多)）
*/
@RequestMapping("/valueMul/{xColumnName}")
public R valueMul(@PathVariable("xColumnName") String xColumnName,@RequestParam String yColumnNameMul, HttpServletRequest request) {
String[] yColumnNames = yColumnNameMul.split(",");
Map<String, Object> params = new HashMap<String, Object>();
params.put("xColumn", xColumnName);
List<List<Map<String, Object>>> result2 = new ArrayList<List<Map<String,Object>>>();
SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd");
EntityWrapper<DangdangtushuEntity> ew = new EntityWrapper<DangdangtushuEntity>();
for(int i=0;i<yColumnNames.length;i++) {
params.put("yColumn", yColumnNames[i]);
List<Map<String, Object>> result = dangdangtushuService.selectValue(params, ew);
for(Map<String, Object> m : result) {
for(String k : m.keySet()) {
if(m.get(k) instanceof Date) {
m.put(k, sdf.format((Date)m.get(k)));
}
}
}
result2.add(result);
}
return R.ok().put("data", result2);
}
/**
* （按值统计）时间统计类型
*/
@RequestMapping("/value/{xColumnName}/{yColumnName}/{timeStatType}")
public R valueDay(@PathVariable("yColumnName") String yColumnName, @PathVariable("xColumnName") String xColumnName, @PathVariable("timeStatType") String timeStatType,HttpServletRequest request) {
Map<String, Object> params = new HashMap<String, Object>();
params.put("xColumn", xColumnName);
params.put("yColumn", yColumnName);
params.put("timeStatType", timeStatType);
EntityWrapper<DangdangtushuEntity> ew = new EntityWrapper<DangdangtushuEntity>();
List<Map<String, Object>> result = dangdangtushuService.selectTimeStatValue(params, ew);
SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd");
for(Map<String, Object> m : result) {
for(String k : m.keySet()) {
if(m.get(k) instanceof Date) {
m.put(k, sdf.format((Date)m.get(k)));
}
}
}
List<Map<String, Object>> result2 = new ArrayList<Map<String,Object>>();
for(Map<String, Object> m : result) {
List<Tuple2<String, Object>> data = new ArrayList<>();
for(String s : m.keySet()) {
data.add(new Tuple2<>(s, m.get(s)));
}
JavaPairRDD<String, Object> originRDD = javaSparkContext.parallelizePairs(data);
result2.add(originRDD.collectAsMap());
}
return R.ok().put("data", result2);
}
/**
* （按值统计）时间统计类型(多)
*/
@RequestMapping("/valueMul/{xColumnName}/{timeStatType}")
public R valueMulDay(@PathVariable("xColumnName") String xColumnName, @PathVariable("timeStatType") String timeStatType,@RequestParam String yColumnNameMul,HttpServletRequest request) {
String[] yColumnNames = yColumnNameMul.split(",");
Map<String, Object> params = new HashMap<String, Object>();
params.put("xColumn", xColumnName);
params.put("timeStatType", timeStatType);
List<List<Map<String, Object>>> result2 = new ArrayList<List<Map<String,Object>>>();
SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd");
EntityWrapper<DangdangtushuEntity> ew = new EntityWrapper<DangdangtushuEntity>();
for(int i=0;i<yColumnNames.length;i++) {
params.put("yColumn", yColumnNames[i]);
List<Map<String, Object>> result = dangdangtushuService.selectTimeStatValue(params, ew);
for(Map<String, Object> m : result) {
for(String k : m.keySet()) {
if(m.get(k) instanceof Date) {
m.put(k, sdf.format((Date)m.get(k)));
}
}
}
result2.add(result);
}
return R.ok().put("data", result2);
}
/**
* 分组统计
*/
@RequestMapping("/group/{columnName}")
public R group(@PathVariable("columnName") String columnName,HttpServletRequest request) {
Map<String, Object> params = new HashMap<String, Object>();
params.put("column", columnName);
EntityWrapper<DangdangtushuEntity> ew = new EntityWrapper<DangdangtushuEntity>();
List<Map<String, Object>> result = dangdangtushuService.selectGroup(params, ew);
SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd");
for(Map<String, Object> m : result) {
for(String k : m.keySet()) {
if(m.get(k) instanceof Date) {
m.put(k, sdf.format((Date)m.get(k)));
}
}
}
List<Map<String, Object>> result2 = new ArrayList<Map<String,Object>>();
for(Map<String, Object> m : result) {
List<Tuple2<String, Object>> data = new ArrayList<>();
for(String s : m.keySet()) {
data.add(new Tuple2<>(s, m.get(s)));
}
JavaPairRDD<String, Object> originRDD = javaSparkContext.parallelizePairs(data);
result2.add(originRDD.collectAsMap());
}
return R.ok().put("data", result2);
}
/**
* 总数量
*/
@RequestMapping("/count")
public R count(@RequestParam Map<String, Object> params,DangdangtushuEntity dangdangtushu, HttpServletRequest request){
EntityWrapper<DangdangtushuEntity> ew = new EntityWrapper<DangdangtushuEntity>();
int count = dangdangtushuService.selectCount(MPUtil.sort(MPUtil.between(MPUtil.likeOrEq(ew, dangdangtushu), params), params));
return R.ok().put("data", count);
}
}
获取源码或论文
如需对应的论文或源码，以及其他定制需求，也可以下方微信联系我。
扫一扫
1670
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
