漫天雪_昆仑巅

最近看了篇说明zookeeper的文章还可以，摘抄一下：zookeeper功能非常强大，可以实现诸如分布式应用配置管理、统一命名服务、状态同步服务、集群管理等功能，我们这里拿比较简单的分布式应用配置管理为例来说明。简单来说zookeeper=文件系统+监听通知机制。Zookeeper维护一个类似文件系统的数据结构：------------------------------------------...

在hadoop/bin目录下缺少了winutils.exe和hadoop.dllException in thread "main" java.lang.RuntimeException: java.io.FileNotFoundException: Could not locate Hadoop executable: D:\sorftware\hadoop\hadoop-2.8.0\bin\w...

    Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job等等。很早以前就听说过Hue的便利与强大，一直没能亲自...

进入hadoop/bin目录：【fs最常用命令】hadoop fs -ls hdfs_path //查看HDFS目录下的文件和子目录hadoop fs -mkdir hdfs_path //在HDFS上创建文件夹hadoop fs -rm hdfs_path //删除HDFS上的文件hadoop fs -rmr hdfs_path //删除HDFS上的文件夹h...

Hadoop启动之后jps查看，[root@VM_0_3_centos hadoop]# jps23488 NameNode23746 SecondaryNameNode24100 Jps23959 ResourceManager24057 NodeManager9068 Bootstrap可以看到少了DataNode，出现这种问题的原因有很多，如下：1、nameNode进行format多次，导致...

    Hadoop共有三种部署方式：本地模式，伪分布模式及集群模式；本次安装配置以伪分布模式为主，即在一台服务器上运行Hadoop（如果是分布式模式，则首先要配置Master主节点，其次配置Slave从节点）。以下说明如无特殊说明，默认使用root用户登录主节点，进行以下的一系列配置。1、安装配置JDK并配置环境变量2、 SSH（Secure Shell）的免密码登录[root@VM_0_3_c...

我们通常说的分布式系统其实是分布式软件系统，即支持分布式处理的软件系统，它是在通信网络互联的多处理机体系结构上执行任务的，包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。Hadoop是分布式软件系统中文件系统这一层的软件，它实现了分布式文件系统和部分分布式数据库的功能。Hadoop中的分布式文件系统HDFS能够实现数据在计算机集群组成的云上高效的存储

系统吞吐量（TPS）、用户并发量、性能测试概念和公式发表于: DataBase, Linux, UNIX, Windows, 个人日记 | 作者: 谋万世全局者一．系统吞度量要素：  一个系统的吞度量（承压能力）与request对CPU的消耗、外部接口、IO等等紧密关联。单个reqeust 对CPU消耗越高，外部系统接

由于工作的需求，需要把HDFS中处理之后的数据转移至关系型数据库中成为对应的Table，在网上寻找有关的资料良久，发现各个说法不一，下面是本人自身测试过程：使用Sqoop来实现这一需求，首先要明白Sqoop是什么？ Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到H

有关Hadoop多Job任务并行处理，经过测试，配置如下：首先做如下配置：1、修改mapred-site.xml添加调度器配置： mapred.jobtracker.taskScheduler org.apache.hadoop.mapred.FairScheduler2、添加jar文件地址配置： hadoopTest.jar 所生成jar的地址

最近在做HDFS文件处理之时，遇到了多文件Join操作，其中包括：All Join以及常用的Left Join操作，下面是个简单的例子；采用两个表来做left join其中数据结构如下：A 文件：a|1b|2|cB文件：a|b|1|2|c即：A文件中的第一、二列与B文件中的第一、三列对应；类似数据库中Table的主键/外键代码如下：impor

在做HDFS多文件Join时通过监控job成功启动并且mapper执行完毕，但reduce总是不能执行完成，进度卡在66.66%。mapper输出是想要的格式，而且小规模输入数据测试时整个job能成功完成。在查看未完成reduce的状态，发现key不变，“numOfValues”的值却一直在增大如下格式错误：key...:1294823 > reduce;key...:2346134>

MapReduce 是现今一个非常流行的分布式计算框架，它被设计用于并行计算海量数据。第一个提出该技术框架的是Google 公司，而Google 的灵感则来自于函数式编程语言，如LISP，Scheme，ML 等。         MapReduce 框架的核心步骤主要分两部分：Map 和Reduce。当你向MapReduce 框架提交一个计算作业时，它会首先把计算作业拆分成若干个Map 任

弄了段时间hadoop的HDFS，用了些常用的HDFS文件操作，记录如下，以作Memo：      /*** @Title: uploadLocalFileToHDFS* @Description: 单个本地文件拷贝到HDFS* @param @param localPath 本地文件路径* @param @param hdfsPath HDFS文件路径* @param @

在hadoop安装配置过程中，对HDFS格式化$ hdfs namenode -format出现错误；java.net.UnknownHostException: centos0如下：查看机器名称$ hostname解决方式：修改hosts映射文件vi /etc/hosts修改成以下配置，centos0为机器名称，127.0.0.1 localhost c

$ 格式化hdfs namenode -formatHadoop在格式化HDFS的时候，需要把主机名hostname与/etc/hosts文件中进行的映射配置一直才可以执行没有找到，则会出现一下错误：SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException将 hostname 与 /etc/hosts改成一致即可。

keepalived与zookeeper都可以用来实现高可用，高可用一般跟负载均衡会一起考虑，所以通常也会考虑到相应的负载均衡能力，以下是Keepalived与Zookeeper的对比：一、概括对比：1、Keepalived：优点：简单，基本不需要业务层面做任何事情，就可以实现高可用，主备容灾。而且容灾的宕机时间也比较短。缺点：也是简单，因为VRRP、主备切换都没有什么复杂的逻辑，所以无法应对某些