山东大学暑期实训——智能人物画像综合分析系统

一# 2018级暑期项目实训开题总结

---

---

---

提示：以下是本篇文章正文内容，仅供参考，严禁抄袭

一、实训题目名称及导师信息

智能人物画像综合分析系统
导师：陶可猛、隋金雁、潘云
导师单位：浩睿智源（山东）人工智能有限公司

二、项目背景

用户画像是根据用户基本属性、社会属性、生活习惯和消费行为等信息而抽象出的一个标签化的用户模型。系统通过用户自行上传或埋点上报收集记录了用户大量信息，为便于各业务应用，将这些信息进行沉淀、加工和抽象，形成一个以用户标志为主key的标签树，用于全面刻画用户的属性和行为信息，构建用户画像的核心工作即是给用户贴“标签”，而标签是通过对用户信息分析而来的高度精炼的特征标识。通过国内外指定网站数据获取，结合算法模型，综合分析用户行为画像，构建立体化的人物分析系统。

使用科学的算法构建知识图谱，知识图谱为系统中异构、动态的数据表达、组织、管理以及利用提供了一种更为有效的方式，使得系统的智能化水平更高，更加接近于人类的认知思维。利用数据挖掘、关联分析、知识图谱等技术，提取评估人员的行为模式、精神状态、情绪状态等变化规律，建立用户行为画像模型，用户画像实际上是围绕画像服务的目标群体的关键特征的集合，根据现实反馈不断迭代。

构建该系统需要解决的关键问题是：
一、信息采集：通过技术方法实现国内、国外指定网站进行数据获取。
二、构建人物画像，将收集到的用户基本属性、行为特征等收集到的数据通过行为建模，抽象出用户标签，实现数据采集、存储、在线浏览、多视图、多维度等基本功能。
三、构建知识图谱。通过知识抽取技术，可以从半结构化、非结构化的数据中提取出实体、关系、属性等知识要素，将其知识融合，可消除实体、关系、属性等指称项与事实对象之间的歧义，形成高质量的知识库，使用知识推理，在已有的知识库基础上进一步挖掘隐含的知识，从而丰富、扩展知识库。

三、项目要求

1.软件操作简便、快捷，能够将多源数据进行多维度、多角度、多视图形式的展示，并对其进行在线综合分析的可视化操作。
2.界面设计风格统一，便于操作员快速掌握系统操作方法；用户界面简单明了，符合业务流程，具有人性化特点。
3.软件设计结构模块化、程序结构化、数据格式标准化、代码统一化，各种文档资料规范化。

四、实训目标

强化学生的动手能力；让学生体验人物画像分析这一业务领域的数据处理流程及综合展示技术方法；提高学生对软件工程方法、技术、工具、过程和管理的整体化理解；加强学生的团队意识；提高学生自主解决问题、协作解决问题的能力。

五、系统功能

1、系统架构模块图

2、智能人物画像综合分析系统功能模块

智能人物画像综合分析系统分为三大部分：智能数据融合模块、用户画像模块、数据可视化模块。智能数据融合模块主要是对自定义数据采集的网站进行数据抓取、数据存储、数据处理；用户画像模块是对采集的用户信息进行沉淀、加工和抽象，标注特征标识；数据可视化模块主要是从多个维度、多角度进行数据综合展示。

（1）智能数据融合模块

该模块主要是通过系统设定的三个国内热门站点，如网易、新浪微博、雅虎，国外三个热门站点，如facebook、Twitter、YouTube，作为数据采集源，提取正文、关键词等信息，为后续的数据展示分析做好基础。采集的数据入库后，界面中可以导出成word格式文档，文档中的文本内容可以实现中文、英文智能化翻译。

（2）用户画像模块

该模块主要根据采集到的数据信息，通过模型算法进行特征提取，将用户标签化，可以借助聚类和分类等技术进行用户画像的构建。根据特定人物的信息数据得到个人画像，并为其智能化打标签，得到用户数据的整体统一综合视图。

（3）数据可视化模块

该模块主要是将影像数据有效的组织展示，进行用户的数据分布分析、用户行为分析、知识图谱构建及数据可视化等。

六、技术方案

系统架构：采用B/S架构，无需操作系统对其配置的要求，省去了繁琐的配置和安装过程，只需一个浏览器便可。用户通过浏览器对系统的进行访问、操作，浏览器将读取用户的操作和输入。

开发工具：IntelliJ IDEA、pycharm等
数据库：MySQL8.0
程序框架：SpringCloud分布式框架
前端：Vue前端技术
开发方式：前后端分离
数据可视化：可以采用百度Echarts，d3.js等来实现。
在线诊断：可以采用深度学习框架tensorflow，采用RNN、 LSTM、逻辑回归等模型对数据进行训练和预测。

七、系统认识

通过python爬虫技术将输入传入数据库并且向java部分提供接口，java部分实现从数据库或python提供的接口取出数据并渲染到页面。
java主要实现数据可视化，python负责爬取数据并利用模型或算法进行分析。

八、任务

1、学习前后端分离的开发方法，前端vue，后端springboot。
2、学习eCharts等数据可视化方法。
3、学习使用java调用接口，主要是调取python提供的接口。

总结

这次开发与以往所作的实验和课设均不相同，有规范的流程，项目进行所需要的各种文档，明确的分工，同学们相互之间的协作，以及没有学过的开发技术。
明确短期学习目标，先将前后端分离开发基础打好，以便于更好地完成项目。