weixin_49927325的博客

前言：本文是【读书笔记|大数据时代的数据挖掘】系列的第七篇，在这里对这本书做一个最后的总结。 第七章 文本挖掘 从一个由多篇普通文档中挖掘出隐含或者非平凡信息的技术。 一、文本表示 将文本用一数据进行预处理，表示成相对简单的形式 二、话题挖掘 通过话题挖掘，知道文档集讨论了哪些话题，以多少的比例被提及 非负矩阵分解 概率潜在语义分析 三、多文档自动文摘 给定一个文档集，生成一段简短的文档来概括大意，长句重写为短句 目标函数选择：句子重要性评价 四、情感分析和摘要 在一些评论中往往隐藏着用户真正的购买意向.

前言：本文是【读书笔记|大数据时代的数据挖掘】系列的第六篇，是关乎第六章智能问答系统的读书笔记。智能问答系统在我们的生活中很常见，比如智能音箱等。 一、发展历史 智能技术诞生于20c50s-60s。 20c90s，检索式问答时代。搜索引擎等之类的。 21c后，智能聊天机器人发展。 二、句法分析 1、中文分词技术 1987年第一个实现中文分词的系统CDWS，主要算法有以下几种： 词典法 基于一定策略将待切分的字符串与词典中词条进行匹配，从而实现对字符串的切分。 匹配原则：逐词匹配、最大匹配、最小匹.

前言：本文是【读书笔记|大数据时代的数据挖掘】系列的第五篇，是关于书中第五章推荐系统的读书笔记。推荐系统就是我们常说的视频网站的一些推荐系统，主要使用了关联分析。 一、个性化推荐系统概述 区别于信息检索系统，推荐系统作为一种信息过滤的手段，是公认的解决信息超载的有效途径。 可以分为4个部分 信息采集和预处理 系统建模 推荐技术（最核心的部分） 用户使用界面 推荐系统应用最广泛的领域是电子商务领域，其实也应用于其他领域，新闻发布平台、电影、图书、视频、人才、婚恋交友等平台 二、推荐技术 最核心的任务就.

前言：本篇是【读书笔记|大数据时代的数据挖掘】系列第四篇，是根据书本第四章内容的读书笔记。 目录一、大数据与可持续发展二、计算可持续性计算可持续性数据及其特征大数据环境下计算可持续性研究现状三、研究案例1、基于数据驱动的气象分析2、基于数据驱动的建筑能耗分析总结 一、大数据与可持续发展 背景： 1、可持续发展 2、大数据时代可持续发展面临的机遇和挑战 人们可以利用这些技术精确把握生态环境的变化，并且做出应对策略； 目前众多的可持续相关领域已经积累了大量的数据，但是信息爆炸不等于知识爆炸； 需要设计新的.

前言：本文是【读书笔记|大数据时代的数据挖掘】系列的第三篇，是关乎第三章工作票数据挖掘的读书笔记。 一、工作票简介 工作票是工单，是指一种用于记录、处理、跟踪特定时间完成情况的数据载体。 比如：电力工作票被用于记录对电力故障的描述，对故障解决过程的描述等信息；移动通信领域的工作票被用于记录客户对业务相关问题的描述，对解决相关问题的描述。 工作票挖掘是指能够从历史的工作票数据中自动地、高校地抽取有价值的知识的一种方法。 二、工作票产生机制和亟待解决的问题 云计算技术的飞速发展，使得大型复杂的计算系统日.

前言：本篇文章是【读书笔记|大数据时代的数据挖掘】系列的第二篇，是根据此书的第二章所写的读书笔记。 一、数据驱动的网络运维 数据的价值在大数据时代得到了更为直观的体现，很多企业由业务驱动转向了数据驱动，对数据进行更有效的存储和管理是实现大数据分析的基础。 四个阶段 1、网络运维1.0阶段：简单的数据处理 日志是指带时间戳的基于时间序列的数据。 此时产生的数据量不多，是MB or GB级别的。 数据库的使用即可解决问题 2、网络运维2.0阶段：分布式大数据处理框架 数据级别达到TB、PB.

前言：此文是【读书笔记|大数据时代的数据挖掘】系列的第一篇，是笔者关于《大数据时代的数据挖掘》一书的读书笔记，每一章会写一篇笔记，此文是关于第一章内容的笔记。 目录： 目录 一、大数据时代的数据挖掘 1、大数据的特点4V+4V 一、大数据时代的数据挖掘 数据的产生和搜集是基础，数据挖掘泛指从大量数据中挖掘出隐含的、先前未知但潜在的有用信息的一个工程化和系统化的过程。 1、大数据的特点4V+4V 从数据的变现形式 海量volume 多样variety 高速velocity 价值value