- 博客(7)
- 收藏
- 关注
RSS订阅原创 Hadoop生态系统
Hadoop生态系统预埋一些js代码，为页面上的一些标签添加绑定事件。当事件发生时可以使用ajax请求到后台。Web服务器的日志中将会记录这些事件信息，从而获得不断增长的日志文件。离线分析：1、Hadoop生态系统概况Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。YARN是...
2018-06-11 23:26:04
913
原创 大数据架构基本逻辑梳理
大数据架构基本逻辑梳理流处理、批处理、交互式查询之间区别在文末大数据的特点：Value（价值） Velocity（速度） Variety（多样性） Volume（体量）大数据处理主要解决两个问题。数据保存，数据操作。以及处理结果的展现。其特点是：数据单向增加。删除和修改很少。Write-once-read-many数据形态多样。数据价值随时间递减。实时数据价值最大，历史数据虽然有价值但会降...
2018-06-11 23:23:00
2842
原创 联机分析处理 (OLAP)
联机分析处理 (OLAP)OLAP作为一类产品同联机事务处理 (OLTP) 明显区分开来。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。主要特点是直接仿照用户的多角度思考模式，预先为用户组建多维数据库，在这里，维指的是用户的分析角度。对于用户，可以对已有的表样切换维...
2018-06-11 23:20:40
1551
原创 ssh协议
ssh协议ssh是用来干什么的SSH是英文Secure Shell的简写形式。通过使用SSH，你可以把所有传输的数据进行加密，这样"中间人"这种攻击方式就不可能实现了，而且也能够防止DNS欺骗和IP欺骗。使用SSH，还有一个额外的好处就是传输的数据是经过压缩的，所以可以加快传输的速度。ssh协议的默认端口是22SSH 基本框架SSH协议框架中最主要的部分是三个协议： * 传输层协议（The Tra...
2018-06-11 23:18:42
804
原创 HDFS命令
HDFS命令 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html#expungeHDFS使用的典型块大小为128 MB。因此，一个HDFS文件被分成128 MB的块，如果可能的话，每个块将驻留在不同的DataNode上。dfs和...
2018-06-11 23:17:45
1416
原创 HDFS学习笔记
HDFS学习笔记https://www.cnblogs.com/wxisme/p/6270860.htmlhttps://www.linuxidc.com/Linux/2015-11/124747.htmHDFS，是Hadoop Distributed File System的简称，是Hadoop抽象文件系统的一种实现。HDFS的文件分布在集群机器上，同时提供副本进行容错及可靠性保证。例如客户端写...
2018-06-11 23:16:13
308
原创 CMS垃圾收集器和G1垃圾收集器优略对比
1、CMS收集器是一种以获取最短回收停顿时间为目标的收集器。基于“标记-清除”算法实现，它的运作过程如下：1）初始标记 2）并发标记 3）重新标记 4）并发清除CMS是一款优秀的收集器，主要优点：并发收集、低停顿。缺点：1）CMS收集器对CPU资源非常敏感。在并发阶段，它虽然不会导致用户线程停顿，但是会因为占用了一部分线程而导致应用程序变慢，总吞吐量会降低。 ...
2018-06-11 23:08:39
1156
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人