- 博客(19)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Hbase和Hive的区别，Hbase与传统数据库的区别
HBase 于 Hive 的区别，我们简单的梳理一下 Hive 和 HBase 的应用场景：Hive 适合用来对一段时间内的数据进行分析查询，例如，用来计算趋势或者网站的日志。Hive 不应该用来进行实时的查询（Hive 的设计目的，也不是支持实时的查询）。因为它需要很长时间才可以返回结果；HBase 则非常适合用来进行大数据的实时查询，例如 Facebook 用 HBase 进行消息和实时的...
2018-07-27 20:17:25
4880
原创 YARN
参考：https://blog.csdn.net/bingduanlbd/article/details/51880019 http://wiki.baidu.com/pages/viewpage.action?pageId=470563786 http://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop...
2018-07-27 15:21:51
329
原创 Ambari的简单介绍
参考文档：https://www.ibm.com/developerworks/cn/opensource/os-cn-bigdata-ambari/index.html#icomments Ambari 的基本架构Ambari Server 会读取 Stack 和 Service 的配置文件。当用 Ambari 创建集群的时候，Ambari Server 传送 Stack 和 Ser...
2018-07-25 20:24:33
606
原创 sqoop的简单介绍
Sqoop是一种用于在Hadoop和关系数据库或大型机之间传输数据的工具。您可以使用Sqoop将数据从关系数据库管理系统（RDBMS）（如MySQL或Oracle或大型机）导入Hadoop分布式文件系统（HDFS），转换Hadoop MapReduce中的数据，然后将数据导出回RDBMS 。 ...
2018-07-25 19:47:59
796
原创 Spark简单介绍笔记
参考资料：http://dockone.io/article/1723 https://blog.csdn.net/pangjiuzala/article/details/50838591 http://wiki.baidu.com/pages/viewpage.action?pageId=488923228 ...
2018-07-25 16:24:19
273
转载 三次握手、四次挥手
转载于：https://github.com/jawil/blog/issues/14通俗理解:但是为什么一定要进行三次握手来保证连接是双工的呢，一次不行么？两次不行么？我们举一个现实生活中两个人进行语言沟通的例子来模拟三次握手。引用网上的一些通俗易懂的例子，虽然不太正确，后面会指出，但是不妨碍我们理解，大体就是这么个理解法。第一次对话：老婆让甲出去打酱油，半路碰到一个朋友...
2018-07-25 11:15:37
182
转载 数据库索引的实现原理
转载于：https://blog.csdn.net/kennyrose/article/details/7532032 强烈建议参阅链接：http://www.linezing.com/blog/?p=798#nav-1 说白了，索引问题就是一个查找问题。。。 数据库索引，是数据库管理系统中一个排序的数据结构，以协助快速查询、更新数据库表中数据。索引的实现通常使用B树及其变...
2018-07-25 11:15:25
148
原创 mapreduce参考资料
mapreduce简介：http://www.aboutyun.com/thread-5541-1-1.htmlmapreduce资料：http://wiki.baidu.com/pages/viewpage.action?pageId=67279703 mapreduce作业流程：https://blog.csdn.net/py_123456/article/details/796953...
2018-07-25 11:14:45
302
转载 hive简单介绍
优质资源：http://wiki.baidu.com/pages/viewpage.action?pageId=69100592 https://cwiki.apache.org/confluence/display/Hive/Home http://wiki.baidu.com/pages/viewpage.action...
2018-07-25 11:14:27
586
原创 java锁机制的讲解
参考资料：https://blog.csdn.net/javazejian/article/details/72828483
2018-07-25 11:13:50
676
原创 kafka简单介绍
参考资料：https://www.ibm.com/developerworks/cn/opensource/os-cn-kafka/index.html https://www.jianshu.com/p/b8cea98c17b3 http://www.cnblogs.com/seaspring/p/6138080.htm...
2018-07-24 16:29:41
391
转载 Ambari Metrics简单介绍
参考资料：https://www.ibm.com/developerworks/cn/opensource/os-cn-ambari-metrics/index.html http://wiki.baidu.com/pages/viewpage.action?pageId=504573271mbari Metrics System 简称为 AMS，它主要为...
2018-07-24 14:37:22
1162
原创 HBase简单介绍
HBase参考资料：https://www.ibm.com/developerworks/cn/analytics/library/ba-cn-bigdata-hbase/index.htmlHbase在Hadoop中的位置：https://www.zhihu.com/question/27974418 HBase 在大数据生态圈中的位置提到大数据的存储，大多数人首先联想到的是 ...
2018-07-24 10:48:52
469
转载 大数据技术生态简单介绍
作者：Xiaoyu Ma链接：https://www.zhihu.com/question/27974418/answer/38965760来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有...
2018-07-24 10:35:20
535
原创 Zookeeper
参考链接：https://zookeeper.apache.org/doc/current/zookeeperOver.html http://www.cnblogs.com/sunddenly/p/4033574.html https://zhuanlan.zhihu.com/p/32238459什...
2018-07-20 17:00:47
316
转载 Hadoop------HDFS
首先让我们来重温一下 hadoop 的四大组件：HDFS：分布式存储系统MapReduce：分布式计算系统YARN： hadoop 的资源调度系统Common： 以上三大组件的底层支撑组件，主要提供基础工具包和 RPC 框架等 概述：HDFS即Hadoop Distributed File System分布式文件系统，它的设计目标是把超大数据集存储到分布在网络中的多台普通商用计算机...
2018-07-19 17:20:43
317
原创 mac使用小技巧
全屏：controll+command+F最小化+command+m截图：command+shift+4锁屏：option+command+开机键顿号：中文下 | 键删除光标前整行： command+delete
2018-07-19 10:41:54
375
原创 大数据笔记
hadoop 的四大组件：HDFS：分布式存储系统MapReduce：分布式计算系统YARN： hadoop 的资源调度系统Common： 以上三大组件的底层支撑组件，主要提供基础工具包和 RPC 框架等HDFS：是hadoop的文件系统。基于HDFS，你可以对文件进行操作，例如新建，删除，编辑，重命名等。HDFS（Hadoop Distributed File System）是Had...
2018-07-18 17:41:23
280
转载 分布式系统的理解
1. 如何理解“分布式”？ 经常听到”分布式系统“，”分布式计算“，”分布式算法“。分布式的具体含义是什么？狭义的分布是指，指多台PC在地理位置上分布在不同的地方。2. 分布式系统 分布式系统：多个能独立运行的计算机（称为结点）组成。各个结点利用计算机网络进行信息传递，从而实现共同的“目标或者任务”。 分布式程序： 运行在分布式系统上的计算机程序。 ...
2018-07-18 17:38:15
1447
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人