云计算
龙骨
这个作者很懒,什么都没留下…
展开
-
一文读懂分布式数据库Hbase
一、 1、什么是Hbase。 是一个高可靠性、高性能、列存储、可伸缩、实时读写的分布式数据库系统。 适合于存储非结构化数据,基于列的而不是基于行的模式 哈哈转载 2016-11-30 23:13:46 · 10270 阅读 · 0 评论 -
StringTokenizer初步了解
在Hadoop里面经常看到有StringTokenizer,用来分割字符串。 那么在这里就简单地了解一下这个类到底有什么用。 1. StringTokenizer(String str):构造一个用来解析str的StringTokenizer对象。 java默认的分隔符是“空格”、“制表符(‘\t’)”、“换行符(‘\n’)”、“回车符(‘\r’)”。 2. StringT转载 2016-11-26 14:37:22 · 399 阅读 · 0 评论 -
hadoop一些入门小知识点儿(命令)
外部eclipse连接hadoop 1、把插件包放到eclipse的安装包plugins中(插件包:hadoop-eclipse-plugin-2.6.0) 2、把haddop2.6.4的dll放到hadoop的安装包(hadoop的解压包)的bin目录下 3、配置hadoop的环境变量--》 HADOOP_HOME D:\Program Files\hadoop-2.6.5原创 2016-11-27 16:35:07 · 359 阅读 · 0 评论 -
HDFS(Hadoop Distributed File System )常用命令示例:
hadoop fs -mkdir /user/trunk hadoop fs -ls /user hadoop fs -lsr /user (递归的) hadoop fs -put test.txt /user/trunk hadoop fs -put test.txt . (复制到hdfs当前目录下,首先要创建当前目录) hadoop fs -get /user/trunk/test.tx转载 2016-11-25 13:45:56 · 601 阅读 · 0 评论 -
zookeeper原理
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。Zookeeper是hadoop的一个子项目,其发展历程无需赘述。在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在某些应用中使用,因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookee转载 2016-11-25 11:51:59 · 206 阅读 · 0 评论 -
YARN/MRv2 MRAppMaster深入剖析—整体架构
MRAppMaster是MapReduce的ApplicationMaster实现,它使得MapReduce计算框架可以运行于YARN之上。在YARN中,MRAppMaster负责管理MapReduce作业的生命周期,包括创建MapReduce作业,向ResourceManager申请资源,与NodeManage通信要求其启动Container,监控作业的运行状态,当任务失败时重新启动任务等。转载 2016-11-24 22:51:24 · 373 阅读 · 0 评论 -
Yarn的架构及原理
转自:http://www.cnblogs.com/codeOfLife/p/5492740.html 1、YARN 是什么? 从业界使用分布式系统的变化趋势和 hadoop 框架的长远发展来看,MapReduce的 JobTracker/TaskTracker 机制需要大规模的调整来修复它在可扩展性,内存消耗,线程模型,可靠性和性能上的缺陷。在过去的几年中,hadoop 开发团队做了转载 2016-11-24 10:27:42 · 439 阅读 · 0 评论 -
hadoop SecondNamenode详解
SecondNamenode名字看起来很象是对第二个Namenode,要么与Namenode一样同时对外提供服务,要么相当于Namenode的HA。 真正的了解了SecondNamenode以后,才发现事实并不是这样的。 下面这段是Hadoop对SecondNamenode的准确定义: * The Secondary Namenode is a helper to the primary转载 2016-11-22 10:09:47 · 284 阅读 · 0 评论 -
hadoop HA
前一篇文章介绍了Hadoop2.0(hadoop2.0架构,具体版本是hadoop2.2.0)的安装和最基本的配置(见 http://www.linuxidc.com/Linux/2014-05/101173.htm ),并没有配置HA(High Avalability,高可用性),接下来的文章中会介绍hadoop2.0HA的配置。在介绍hadoop2.0的HA配置之前,本文先介绍hadoop2转载 2016-11-29 10:34:31 · 298 阅读 · 0 评论 -
spark踩过的bug
虽然是很基础的东西,希望对后来者快速定位问题1、java.net.ConnectException: Call From hadoop/xxx.xxx.xxx.xxx to hadoop:8020 failed on connection exception: java.net.ConnectException: 拒绝连接;原因本人写了一个rddval rdd =sc.textFile("hdf...原创 2018-01-13 03:22:21 · 1382 阅读 · 0 评论