wcom少彐x片_大数据实战之千万量级小说网站项目开发（存储、复杂搜索、推荐、分析）...

随着时代的发展，小说已经成为了许许多多的人减压放松的目的，一部小说能够被人看到需要经过许许多多的代码和程序的编辑，从小说的存储、热度、排行、分类再到搜索，基于用户以往看过的小说进行的推荐，以及作者更新章节后的实时更新，小说后台对于每本书的热度、喜好程度进行权重的更新，这些都是在小说背后实实在在需要解决的问题。

本次课程就是针对百万小说数据的推荐、热度、内容等进行搜索、推荐、分析的项目.让大家在真实数据的实战中真真正正的掌握大数据存储、搜索及推荐等内容。

1.课程研发环境

项目源代码以JAVA为基准，结合各个大数据框架，结合真实数据，展现一个完整的小说网站。

开发工具：IDEA

框架：Spark2.4.0、Elasticsearch6.7.0、Hbase1.2.0-cdh5.7.0、Hadoop1.2.0-cdh5.7.0，Zookeeper1.2.0-cdh5.7.0、Kibana6.7.0

其他工具：Mysql、Spring boot

2.内容简介

现在的网站小说越来越多，数据也越来越大，超大数据量的存储和精确且复杂的搜索、推荐等对网站提出了更高的需求，本次项目就是基于百万真实的小说数据，来为大家展示在大数据的背景下，小说的存储、搜索及推荐该如何进行的内容。

JOJO老师：

多年任职一线互联网企业大数据开发，丰富的生产项目经验，专注于离线和实时数据处理，精通spark、kafka、flink、elasticsearch等大数据处理框架

单品课程:http://www.ibeifeng.com/goods-922.html

一、小说网站架构讲解

1.本项目的背景及目标

2.项目的架构设计

3.项目的架构选型

4.组件的安装

二、千万小说数据索引及存储

1.网站数据详解

2.mysql数据迁移到es

3.logstash配置编写

4.logstash数据迁移

5.小说存储及rowkey设计

6.小说导入javaBean类编写

7.小说数据迁移mr编写

8.数据导入rowkey代码编写

9.mr driver部分编写

10.数据迁移至hbase

三、网站复杂搜索功能实现

1.网站原始代码简介

2.网站搜索功能实现

3.网站添加搜索功能

4.搜索页面结果查看

5.小说搜索分词讲解

6.mapping分词器的添加分词功能

7.代码添加IK分词器

8.小说网站高亮搜索实现

9.拼音搜索功能实现

10.拼音搜索代码修改

11.从es获取小说详情页

12.收藏自增功能实现

13.es的乐观锁

14.小说章节数据迁移

15.小说章节查询功能实现

16.章节详情页搜索

17.网站最近更新小说功能实现

18.网站作品分类聚合展示功能

19.小说月周日热度榜

20.连载、完结top榜单

21.top10作家榜

22.新增作品功能实现

四、小说网站推荐引擎

1.推荐系统概述

2.推荐算法介绍

3.基于内容的推荐

4.基于协同过滤的推荐

5.基于关联规则的推荐

五、网站分析相关

1.小说网站用户数据分析

2.es集群规划讲解

3.es集群监控

4.Hbase监控

5.项目总结

目标一. 了解小说后台数据处理框架

目标二. 了解Elasticsearch在网站搜索中的作用

目标三. 了解数据在各个框架间的迁移

目标四. 了解网站推荐系统的基本设计

目标五. 对spark推荐系统有基本的认识

目标六. 通过网站的代码详细的了解构建一个网站后台的过程

1.课程针对人群

本课程针对具有一定的JAVA和大数据基础，想通过本项目的学习，了解使用Elasticsearch进行搜索实战、Logstash进行数据迁移、spark机器学习、spring boot进行网站后端开发的大数据开发工程师岗位的学员。

2.我该怎么学,如何才能学好这门课程，给些建议。

2.1、时间上的安排建议

本课程共31课时，如果您时间上充分，建议以每天4-5讲的进度往前学习。

2.2、学习要求

如果您没有基础，建议还是中规中矩的按照课程进度一点一点仔细观看学习，并一定要把看完的视频中的代码自己手敲一遍，以加深理解和记忆

如果您有基础，可不必按步就搬进行，可以拿你感兴趣的部分去学习，但一定要注意实践，并学会举一反三

2.3、讲师建议

1. 最好看完视频之后，抛开视频，独立自己去把上课中的示例写一遍，看自己是否理解，如果不正确，可以回过头看再看下视频，如果反复，达到真正理解和熟练掌握的目的。

2. 对于项目实战部分，一定要自己亲自动手做一遍，不要满足听完就OK了

3. 建议一边听视频，一边拿个纸和笔，做一些记录和笔记，这是一种非常好的学习习惯。

4. 一定不要过于依赖视频，要学会看API和使用百度，学会思考，学会举一反三

5. 最后祝您学有所成

课程是属于某个特定的专业技术，掌握该技术后，你可以从事以下职位的相关工作

大数据开发工程师

Elasticsearch开发工程师