![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 84
sinat_34022298
这个作者很懒,什么都没留下…
展开
-
ubuntu16+Hadoop2.7.3环境搭建(伪分布式)
Hadoop 环境的搭建一、安装VMWare 虚拟机 虚拟机版本VMware12,考虑到启动速度,装在固态硬盘中。二、安装Linux安装版本:ubuntu-16.04.1-server-amd64此版本没有图形化界面,体积较小,只有命令行窗口三、配置Linux1、为了方便操作以及避免权限的相关问题,不用个人用户,使用root用户...原创 2017-05-22 10:28:33 · 2188 阅读 · 2 评论 -
Hadoop MapReduce之PartitionerClass
一、引入PartitionerClass 之前借助WordCount程序,对MapReduce的原理有了一定了叙述:WordCount程序详解传送门。 Map和Reduce是完成数据处理的两个先后步骤:Map函数将数据读入,做切分处理之后,以key、value的键值对传送出去,Reduce接收此键值对,进行统计处理。在Map和Reduce之间还有一个中间过程,对数据原创 2017-06-07 20:04:24 · 827 阅读 · 0 评论 -
MapReduce——java.lang.NoSuchMethodException错误原因
运行环境:虚拟机,Ubuntu16,Ubuntu Server 做Hadoop集群(一主两从),eclipse。集群搭建和eclipse环境配置没有问题,其他的MapReduce程序可以正常运行,在运行一下程序时出现java.lang.Exception: java.lang.RuntimeException: java.lang.NoSuchMethodException: weathe原创 2017-06-03 10:01:55 · 1335 阅读 · 0 评论 -
MapReduce——LongWritable cannot be cast to org.apache.hadoop.io.Text 错误原因
运行环境:虚拟机,Ubuntu16,Ubuntu Server 做Hadoop集群(一主两从),编程软件eclipse。 运行时出现如下错误:java.lang.Exception: java.lang.ClassCastException: org.apache.hadoop.io.LongWritable cannot be cast to org.apache原创 2017-06-03 20:34:16 · 16670 阅读 · 2 评论 -
MapReduce 判断输出路径是否存在问题
写MapReduce程序时,最后加一个判断当前输出路径是否存在的代码,如果输出路径存在则删除。这样可以避免出现如下错误:Output directory hdfs://192.168.42.130:9000/output already exists具体代买如下: final static String OUTPUT_PATH = "hdfs://192.168原创 2017-06-07 14:26:29 · 3066 阅读 · 1 评论 -
Hadoop分布式 之 Hbase集群搭建
HBase简介 HBase是Apache Hadoop中的一个子项目,是一个HBase是一个开源的、分布式的、多版本的、面向列的、非关系(NoSQL)的、可伸缩性分布式数据存储模型,Hbase依托于Hadoop的HDFS作为最基本存储基础单元。HBase的服务器体系结构遵从简单的主从服务器架构,它由HRegion Server群和HMaster Server构成。HMaster Serv转载 2017-06-16 21:46:12 · 1940 阅读 · 1 评论 -
Hadoop分布式 之Zookeeper集群安装
ZooKeeper是一个分布式开源框架,提供了协调分布式应用的基本服务,它向外部应用暴露一组通用服务——分布式同步(Distributed Synchronization)、命名服务(Naming Service)、集群维护(Group Maintenance)等,简化分布式应用协调及其管理的难度,提供高性能的分布式服务。ZooKeeper本身可以以Standalone模式安装运行,不过它的长处在于原创 2017-06-16 21:38:24 · 549 阅读 · 0 评论 -
Ubuntu+eclipse,进行Hadoop集群操作实例(数据去重+数据排序)
跑完WordCount程序后,想在Hadoop集群上在熟练几个程序,毕竟辛苦搭建好的集群,选择了简单的两个例子:数据去重+数据排序。这里记录下程序及运行中发生的一些问题及解决方案。 前提准备:1、Ubuntu16.0系统+eclipse; 2、Ubuntu server版本搭建的分布式集群系统(1台master,2台sla原创 2017-05-24 15:59:39 · 1667 阅读 · 0 评论 -
Hadoop分布式WordCount代码详解
Wordcount 号称Hadoop中的HelloWord,花时间好好研究了以下程序的细节,这研究之前必须搞懂MapReduce工作原理,网上有很多讲解。其实MapReduce就是个分治的思想,将文件分在不同的从节点上进行处理(Map),然后排序合并,最后进行汇总的过程(Reduce)。 研究代码的过程中Reduce程序段不太懂,查看了Hadoop官网,官网的解释还是最好的,以后原创 2017-05-23 16:39:57 · 4685 阅读 · 0 评论 -
Spark2.2.0 + Scala2.13.0集群搭建
Spark使用了Hadoop的HDFS作为持久化存储层,因此安装Spark时,应先安装与Spark版本相对应的Hadoop。Spark计算框架以Scala语言开发,因此部署Spark首先需要安装Scala及JDK。Hadoop集群参考: ubuntu16+Hadoop2.7.3环境搭建(伪分布式),改为分布式集群 JDK版本:1.8.0 Scala版本:scala-2.13.0-M1 spar原创 2017-08-21 22:13:41 · 5223 阅读 · 0 评论