![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据相关
文章平均质量分 77
子鱼_sunmac
早上叫醒你的不是闹钟,是梦想!
展开
-
HDFS学习笔记
HDFS学习笔记https://www.cnblogs.com/wxisme/p/6270860.htmlhttps://www.linuxidc.com/Linux/2015-11/124747.htmHDFS,是Hadoop Distributed File System的简称,是Hadoop抽象文件系统的一种实现。HDFS的文件分布在集群机器上,同时提供副本进行容错及可靠性保证。例如客户端写...原创 2018-06-11 23:16:13 · 300 阅读 · 0 评论 -
HDFS命令
HDFS命令 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html#expungeHDFS使用的典型块大小为128 MB。因此,一个HDFS文件被分成128 MB的块,如果可能的话,每个块将驻留在不同的DataNode上。dfs和...原创 2018-06-11 23:17:45 · 1387 阅读 · 0 评论 -
联机分析处理 (OLAP)
联机分析处理 (OLAP)OLAP作为一类产品同联机事务处理 (OLTP) 明显区分开来。OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。主要特点是直接仿照用户的多角度思考模式,预先为用户组建多维数据库,在这里,维指的是用户的分析角度。对于用户,可以对已有的表样切换维...原创 2018-06-11 23:20:40 · 1500 阅读 · 0 评论 -
大数据架构基本逻辑梳理
大数据架构基本逻辑梳理流处理、批处理、交互式查询之间区别在文末大数据的特点:Value(价值) Velocity(速度) Variety(多样性) Volume(体量)大数据处理主要解决两个问题。数据保存,数据操作。以及处理结果的展现。其特点是:数据单向增加。删除和修改很少。Write-once-read-many数据形态多样。数据价值随时间递减。实时数据价值最大,历史数据虽然有价值但会降...原创 2018-06-11 23:23:00 · 2803 阅读 · 0 评论 -
Hadoop生态系统
Hadoop生态系统预埋一些js代码,为页面上的一些标签添加绑定事件。当事件发生时可以使用ajax请求到后台。Web服务器的日志中将会记录这些事件信息,从而获得不断增长的日志文件。离线分析:1、Hadoop生态系统概况Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。Hadoop的核心是HDFS和Mapreduce,hadoop2.0还包括YARN。YARN是...原创 2018-06-11 23:26:04 · 904 阅读 · 0 评论