大数据
文章平均质量分 86
小冷在努力
这个作者很懒,什么都没留下…
展开
-
数据仓库基本概念
什么叫数据仓库? 数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,它用于支持企业或组织的决策分析处理。数据仓库是为了便于多维分析和多角度展现而将数据按特定的模式进行存储所建立起来的关系型数据库,它的数据基于OLTP源系统。 首先,用于支持决转载 2016-08-16 19:52:38 · 2069 阅读 · 0 评论 -
五种大数据处理架构
该文章转载自https://blog.csdn.net/wjandy0211/article/details/78802044。作者对当前大数据框架特点分析的很透彻清晰。现对该文章内容做一遍复读。如下:大数据是收集、整理、处理大容量数据集,并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限,但这种计算类型的普遍性、规模,以及价值在最近几年才...转载 2018-08-04 11:20:48 · 3623 阅读 · 0 评论 -
hdfs运维指令
配额管理 Hdfs dfsadmin条件:对目录进行设置 值必须时正整数 具有管理员权限2、目录配额控制目录所有文件/文件夹的个数,当前设置的目录也算是1个,所以1表示当前目录为空目录Hdfs dfsadmin –setQuota 1 /user/data //设置/usr/data目录下的配额为1,即/usr/data目录下不能在创建文件或文件夹Hdfs d...原创 2018-11-06 10:38:21 · 1180 阅读 · 0 评论 -
hadoop原理学习记录
1.hdfs:靠谱:有备份写入hdfs系统时,生成一个校验和,传输数据时再生成一个校验和,传输完成时又生成一个校验和。对比上传前后校验和。每个datanote运行一个守护线程datablockscanner数据块扫描器。2.namenode刚启动工作过程: 进入安全模式,加载fsimage和edit日志(镜像和编辑日志)。如果满足最小副本条件(99.9%的块存在一个副本,...原创 2018-11-06 10:41:14 · 167 阅读 · 0 评论