2016年11月_Jacob-wj

11月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 Eclipse 报ContextLoaderListener ClassNotFound 的解决办法

最近项目用Maven管理依赖，用svn中代码管理工具，项目共享后却遇到ContextLoaderListener ClassNotFound的错误，很是奇怪。网上的解决办法是将spring-web.jar包放到WEB-INF/lib下，但很奇怪啊，eclipse不是可以自动将依赖包放到该文件下的吗？然后就去看项目中maven包的存放路径，固然发现了问题，解决方法如下：1. 右击项目，选择属性

2016-11-30 10:06:33 1169

转载第五篇：Hadoop多节点集群安装配置

1、集群部署介绍1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统HDFS(Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，可以分

2016-11-23 14:34:50 960

转载第四篇：WordCount运行原理结合代码详细分析

转自：http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.html1、MapReduce理论简介 1.1 MapReduce编程模型　　MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，

2016-11-21 11:15:11 592

转载第三篇：Hadoop HDFS 介绍

转自：http://www.cnblogs.com/xia520pi/archive/2012/05/28/2520813.html1、HDFS简介　　HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容

2016-11-17 17:42:59 765

原创第二篇：Hadoop HDFS常用JAVA api操作程序

//1. 上传本地文件到dfs Configuration configuration = new Configuration(); FileSystem fileSystem = FileSystem.get(configuration); Path dst = new Path("hdfs://192.168.1.90:9000/output"); Path path = ne

2016-11-17 17:38:22 751

原创 hadoop异常： Wrong FS: hdfs://192.168.1.xx:9000/output, expected: file:///

问题描述：在本地运行hadoop Map/Reduce程序时，在涉及到hdfs文件操作的时候，往往会出现上面提到的错误，例如，下面这段代码：1 Path clear_path = new Path(args[1]);2 FileSystem fs = FileSystem.get(conf);3 fs.delete(clear_path);通过试验发现，在分布式ha

2016-11-17 17:05:43 5791 1

原创 Agent admitted failure to sign using the key

SSH生成id_rsa, id_rsa.pub后，连接服务器却报：Agent admitted failure to sign using the key错误。解决方法：在当前用户下执行命令：ssh-add即可解决。

2016-11-17 15:41:25 419

转载 Eclipse hadoop 常见问题整理

一．简介 Windows下的 Eclipse上调试Hadoop2代码，所以我们在windows下的Eclipse配置hadoop-eclipse-plugin-2.6.0.jar插件，并在运行Hadoop代码时出现了一系列的问题，搞了好几天终于能运行起代码。接下来我们来看看问题并怎么解决，提供给跟我同样遇到的问题作为参考。 Hadoop2的WordCount.java

2016-11-17 09:47:11 548

转载 hadoop datanode启动不起来

如果大家在安装的时候遇到问题，或者按步骤安装完后却不能运行Hadoop，那么建议仔细查看日志信息，Hadoop记录了详尽的日志信息，日志文件保存在logs文件夹内。无论是启动，还是以后会经常用到的MapReduce中的每一个job，以及HDFS等相关信息，Hadoop均存有日志文件以供分析。例如：NameNode和DataNode的namespaceID

2016-11-17 09:24:10 926

转载 hadoop 启动指令

start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrackstop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrackstart-dfs.sh 启动

2016-11-16 17:49:18 708

原创虚拟机可以ping同宿主机,宿主机ping不通虚拟机解决

公司的内网，现在发现在win7环境下装了vm，然后虚拟机也是win7 。。网络适配器模式选择的桥接并复制物理网卡状态。现在发现，虚拟机里面网卡设置跟内网一个网段的。比如本机IP：192.168.2.2 虚拟机IP：192.168.2.3 另外一台服务器：192.168.2.1（在同一个交换机上）。现在是本机和虚拟机可以互通，本机也可以ping通192.168.2.1 。

2016-11-16 15:45:23 19390 1

转载第一篇：Ubuntu下安装Hadoop(2.7.3)详解

原文：http://www.cnblogs.com/leesf456/p/4795507.html?utm_source=tuicool&utm_medium=referral一、引言　　在完成了Storm的环境配置之后，想着鼓捣一下Hadoop的安装，网上面的教程好多，但是没有一个特别切合的，所以在安装的过程中还是遇到了很多的麻烦，并且最后不断的查阅资料，终于解决了问题，感觉

2016-11-14 16:49:00 30567 3