![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 77
see_you_see_me
为了忘却的纪念
展开
-
搭建hadoop伪集群时遇到的datanode不启动的问题
搭建了一个搭建hadoop伪集群,,出现一个奇怪的问题:DataNode木有启动,终于找到了原因,特此记录留作纪念各个配置文件内容如下:/etc/profile:########## jdk ################export JAVA_HOME=/opt/package/jdk1.7.0_76########### hadoop ############export原创 2017-06-29 13:22:30 · 1165 阅读 · 0 评论 -
Hadoop HA集群配置问题记录
打算用3个节点搭建一个HA 集群,规划如下HA集群规划 NameNodeDataNodeJournalNodenode1是是是ndoe2是是是node3 是是hdfs-site.xml配置如下 dfs.replication原创 2017-06-30 17:40:12 · 5422 阅读 · 0 评论 -
Hadoop 2.7.2 HA 自动切换高可用集群配置详解
1、集群节点规划 NameNodenode1node2 DataNodenode1node2node3JournalNodenode1node2node3zookeepernode1node2node3node1:17原创 2017-07-04 13:00:16 · 1705 阅读 · 1 评论 -
Scala 学习笔记(一)------函数传名调用(call-by-name)
Scala的解释器在解析函数参数(function arguments)时有两种方式:传值调用(call-by-value):先计算参数表达式的值,再应用到函数内部传名调用(call-by-name):将未计算的参数表达式直接应用到函数内部在进入函数内部前,传值调用方式就已经将参数表达式的值计算完毕,而传名调用是在函数内部进行参数表达式的值计算的。这就造成了一种现象,每次使用传原创 2017-07-20 14:02:25 · 588 阅读 · 0 评论 -
MapReduce 开发问题和解决方法汇总
在做MapReduce开发的过程中,难免会会遇到些问题,这里记录下这些问题及其解决方法1.找不到ResourceManager开发好的MapReduce客户端代码达成jar包提交到部署hadoop集群的服务器,开始运行的时候提示下面的错误:17/08/08 10:02:21 WARN util.NativeCodeLoader: Unable to load native-hadoop原创 2017-08-08 11:46:08 · 1419 阅读 · 0 评论 -
因服务器时间不一致导致的MapRecude 任务运行失败
在一个测试环境下使用3个节点部署完成了Hadoop HA集群,集群启动都OK,但是当写了一个wordCounta测试打包后在集群上开始运行时,报了一个错误:[root@node2 hadoop_jar]# /opt/package/hadoop-2.7.2/bin/hadoop jar wordcount.jar /hello.txt /output1Container launch原创 2017-08-08 15:58:37 · 1718 阅读 · 0 评论