大数据理解
指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
数据挖掘研发概念理解
对海量文本内容数据进行分类和聚类,包涵社交账户地域、性别、年龄等系列算法,基于内容的兴趣算法,态势分析、印象分析、情绪分析、意见领袖分析、满意度分析、用户分析、类别分析等多维度的智能算法体系。
什么是索引
索引是以表列为基础的数据库对象。索引中保存着表中排序的索引列,并且纪录了索引列在
数据库表中的物理存储位置,实现了表中数据的逻辑排序。通过索引,可以加快数据的查询速度
和减少系统的响应时间;可以使表和表之间的连接速度加快
索引分类:
主键索引 (Primary Key) 唯一的标识,主键不可重复,只能有一个列作为主键
唯一索引 (Unique) 避免重复的列出现,唯一索引可以重复,多个列都可以标识为唯一索引
常规索引 (Index) 默认的,使用index key 关键字来设置
全文索引 (FullText) 在特定的数据库引擎下才有
Delete 和 Truncate 的区别
Delte 删除的时候记录日志,而truncate 不记录日志。
几种数据库
关系型数据库 ( SQL )
MySQL , Oracle , SQL Server , SQLite , DB2 , …
关系型数据库通过外键关联来建立表与表之间的关系
非关系型数据库 ( NOSQL )
Redis , MongoDB , …
非关系型数据库通常指数据以对象的形式存储在数据库中,而对象之间的关系通过每个对象
自身的属性来决定
在使用left jion时,on和where条件的区别如下:
1、 on条件是在生成临时表时使用的条件,它不管on中的条件是否为真,都会返回左边表中的
记录。
2、where条件是在临时表生成好后,再对临时表进行过滤的条件。这时已经没有left join
的含义(必须返回左边表的记录)了,条件不为真的就全部过滤掉
hadoop
YARN的基本思想是将JobTracker的两个主要功能(资源管理和作业调度/监控)分离,主要方法是创建一个全局的ResourceManager(RM)和若干个针对应用程序的ApplicationMaster(AM)。这里的应用程序是指传统的MapReduce作业或作业的DAG(有向无环图)。
YARN 分层结构的本质是 ResourceManager
最新数据挖掘技术
朴素贝叶斯、Logistic回归、线性回归、KNN算法、SVM、Boosting、聚类、
数据挖掘的数据类型
连续性数据、离散型数据、文本型数据
依赖性数据 和 非依赖型数据
依赖性数据分为: 序列数据、空间数据、图数据