hadoop
文章平均质量分 61
飞鸿踏雪Ben归来
努力跟上技术时代
展开
-
使用keytool从.jks文件获取SSL certificate
使用keytool从.jks文件获取SSL certificate原创 2022-06-20 15:31:33 · 452 阅读 · 0 评论 -
提交spark sample作业失败
提交报错如下:16/01/11 19:19:53 ERROR SparkContext: Error initializing SparkContext.java.net.ConnectException: Call From sparkmaster/192.168.10.80 to sparkmaster:8021 failed on connection exception: java.n原创 2016-01-12 11:25:07 · 1768 阅读 · 3 评论 -
启动Hadoop集群
有两种方式启动集群:分步启动和集中统一启动。以下执行环境是在一个有2个节点的集群当中,namenode:sparkmaster,datanode:sparkmaster和sparkworker1在namenode上统一启动整个集群的方法首先,要在$YARN_HOME/etc/hadoop/下新建几个文件:1.slaves,里面写上全部的datanode的hostname原创 2016-01-20 12:24:13 · 2524 阅读 · 0 评论 -
安装Spark Standalone模式/Hadoop yarn模式并运行Wordcount
先说一下我的环境:2个node,其中一个是master兼worker,另外一个是纯workermaster兼worker:sparkmaster 192.168.10.80纯worker:sparkworker1 192.168.10.81下载及安装从官网下载预编译好的spark 1.6http://spark.apache.org/downloads.ht原创 2016-01-15 00:40:35 · 1689 阅读 · 0 评论 -
Linux下安装及配置Eclipse Kepler和hadoop-eclipse-kepler-plugin-2.2.0.jar
本人打算在linux环境下安装eclipse用于Hadoop MapReduce开发。已经安装了Hadoop-2.2.0环境,jdk是1.7.0_79版本系统环境:[root@namenode hadoop]# cat /etc/redhat-release Red Hat Enterprise Linux Server release 6.2 (Santiago)原创 2016-01-06 14:38:51 · 1496 阅读 · 0 评论 -
提交Hadoop作业失败,报错Connection refused
如下,[root@sparkmaster examples]# hadoop jar mywordcount.jar WordCount /root/input/ ./out01InputPath: WordCountOutputPath: /root/input/16/01/11 18:56:28 WARN util.NativeCodeLoader: Unable to loa原创 2016-01-12 11:08:52 · 9285 阅读 · 0 评论 -
启动namenode失败:FATAL error
namenode log报错如下:FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /tmp/hadoop-root/dfs/n原创 2016-05-14 14:15:06 · 1826 阅读 · 0 评论 -
为什么在Nodes of the cluster页面没有显示所有的node?
启动整个Hadoop集群:[root@sparkmaster ~]# start-dfs.sh[root@sparkmaster ~]# yarn-daemon.sh start resourcemanagerstarting resourcemanager, logging to /opt/hadoop-2.6.0//logs/yarn-root-resourcemana原创 2016-05-15 22:40:49 · 6937 阅读 · 1 评论