![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 71
奋斗, 拼
生活创造数据,数据改变生活。
展开
-
hadoop Job 运行错误 java.lang.OutOfMemoryError: Java heap space
错误详细内容如下:2015-12-04 01:21:46,557 FATAL [netty-server-worker-1] org.apache.giraph.graph.GraphTaskManager: uncaughtException: OverrideExceptionHandler on thread netty-server-worker-1, msg = Java heap原创 2015-12-04 17:38:27 · 779 阅读 · 0 评论 -
Hadoop伪分布式与分布式安装
hadoop中文官方文档:http://hadoop.apache.org/docs/r1.0.4/cn/cluster_setup.html一.hadoop伪分布安装步骤如下本人用的linux是centOS6.x1.1 设置ip地址 执行命令 service network restart 验证: ifconfig1.2 设置主机名原创 2015-12-04 09:26:28 · 922 阅读 · 0 评论 -
Hadoop集群从节点出现错误: Retrying connect to server: 0.0.0.0/0.0.0.0:8031. Already tried 0 time(s);
错误详情如下:2018-01-09 17:47:22,892 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8031. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(m...原创 2018-01-10 18:01:20 · 13085 阅读 · 5 评论 -
Hadoop各个服务端口列表
端口Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。这里包含我们使用到的组件:HDFS, YARN, HBase, Hive, ZooKeeper:组件节点默认端口配置用途说明转载 2018-01-10 17:12:36 · 23685 阅读 · 0 评论 -
Hadoop3.0集群安装(包含HDFS HA配置)
hadoop3.0出来了,想尝试一下新版本的特性及mapreduce性能提升,以下以6台机器作为hadoop集群,机器主机名为:hadoop1、hadoop2、hadoop3、hadoop4、hadoop5、hadoop6,其中hadoop1-3作为namenode节点,hadoop4-6作为datanode节点。 一、前提条件1、6台机器上都安装了jdk,并配置好了jdk环境变量(建...原创 2018-03-07 10:23:13 · 2736 阅读 · 0 评论 -
Hibench大数据基准测试使用教程
本文主要介绍:Hibench的使用以及Hibench测试相关配置一、安装Hibench1、下载Hibenchwget https://github.com/intel-hadoop/HiBench/archive/HiBench-7.0.zip2、编译所有模块(注意:编译前,确保系统中已经安装好了maven)命令:mvn -Dspark=2.1 -Dscala=2.11 clean package...原创 2018-02-08 09:54:09 · 5193 阅读 · 0 评论