BigData
文章平均质量分 82
Co_zy
这个作者很懒,什么都没留下…
展开
-
数据库MySQL关系模型之基本概念
1.什么是关系模型1.1关系模型研究什么一个关系(relation)就是一个Table关系模型就是处理Table的,它由三个部分组成:描述DB各种数据的基本结构形式(Table/Relation)描述Table与Table之间所有可能发生的各种操作(关系运算)描述这些操作所应遵循的约束条件(完整性约束)1.2 关系模型的三个要素基本结构: Relation/Table基本操作...原创 2019-01-31 16:11:44 · 18630 阅读 · 1 评论 -
NoSQL数据库_Redis
NoSQL是一种不同于关系数据库的数据库管理系统设计方式,是对非关系数据库的统称.它所采用的是数据模型并非传统关系数据库的关系模型,而是类似键值、列族、文档等非关系模型.一、特点通常NoSQL数据库具有以下3个特点:1.灵活的可扩展行2.灵活的数据模型3.与云计算紧密融合二、与关系数据库的比较关系数据库的优势在于,以完善的关系代数理论为基础,有严格的标准,支持事务ACID四...原创 2019-01-26 21:48:07 · 1527 阅读 · 0 评论 -
Hadoop2.0新特性
Hadoop2.0的改进不断完善的Hadoop生态系统原创 2019-02-09 10:55:27 · 1907 阅读 · 0 评论 -
Hadoop伪分布安装及简单使用
如何安装Hadoop参考: http://dblab.xmu.edu.cn/blog/install-hadoop/设置Hadoop环境变量export HADOOP_HOME=/usr/local/hadoopexport HADOOP_INSTALL=$HADOOP_HOMEexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_CO...转载 2019-03-31 09:42:27 · 403 阅读 · 0 评论 -
分布式文件系统HDFS
1.简介大数据时代必须解决海量数据的高效存储问题,为此,谷歌开发了分布式文件系统(Google File System,GFS),通过网络实现文件在多台机器上的分布式存储,较好地满足了大数据存储的要求.Hadoop分布式文件系统是针对GFS的开源实现,他是Hadoop两大核心组成部分之一,类似于FAT32,NTFS,是一种文件格式,是底层的。2.HDFS相关概念2.1块2.2名称节...转载 2019-03-31 09:43:26 · 588 阅读 · 0 评论 -
数据库MySQL关系模型之关系代数
关系代数运算的约束某些关系代数操作,如并、差、交等需满足 “并相容性”并相容性的示例STUDENT(SID char(10),Sname char(8),Age char(3))PROFESSOR(PID char(10),Pname char(8),Age char(3))两个关系是相容的.并(Union)定义:假设关系R和关系S是相容的,则关系R与关系S的并运算结果也是一个关系,...原创 2019-03-31 13:57:18 · 1288 阅读 · 0 评论 -
数据仓库Hive
数据仓库概念数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。根本目的 是为了支持企业内部的商业分析和决策,基于数据仓库的分析结果,做出相关的经营决策.数据仓库的体系结构数据仓库与数据库的区别数据仓库中的数据比较稳定,保留了大量历史数据;而数据库只保存某一时刻的数据.Hive对于传统数据仓库来说,既是数据存储产品也是分析产品,但Hive并不提...转载 2019-03-27 14:01:12 · 412 阅读 · 0 评论 -
MapReduce
MapReduce是一种并行编程模型,用于大规模数据集(大于1TB)的并行运算,它将复杂的、运行于大规模集群上的并行计算过程高度抽象到两个函数:Map和Reduce。Map和Reduce函数在MapReduce中,一个存储在分布式文件系统中的大规模数据集会被切分成许多独立的小数据块,这些小数据块可以被多个Map任务并行理。MapReduce框架会为每个Map任务输入一个数据子集,Map任务生成...原创 2019-03-27 14:03:01 · 627 阅读 · 0 评论 -
Elasticsearch学习记录
什么是Elasticsearch分布式高性能高可用可伸缩的的搜索和分析系统1.什么是搜索垂直搜索(站内搜索)互联网的搜索:电商网站,招聘网站新闻网站各种APPIT系统的搜索:OA软件,办公自动化软件,会议管理,日程管理,项目管理,员工管理2.如果用数据库做搜索会怎么样(1)每条记录的指定字段的文本,可能会很长,比如"商品描述"字段的长度,这时如果每次都要对每条记录的所有文本进行扫描,...原创 2019-07-29 10:43:09 · 649 阅读 · 0 评论