Hadoop
即将起飞的笨鸟
菜鸟,请多指教
展开
-
hadoop集群的负载均衡配置与添加DataNode节点和TaskTracker节点
这是在成功安装和配置hadoop的情况下,对hadoop集群的负载进行调整,我的hadoop集群有三台虚拟机,一台为master,另外两台分别为slave1和slave2。并向master节点添加DataNode节点和TaskTracker节点。原创 2015-05-08 21:00:39 · 2457 阅读 · 0 评论 -
could only be replicated to 0 nodes, instead of 1 错误的解决方法
could only be replicated to 0 nodes, instead of 1 错误的解决方法原创 2016-11-18 15:51:39 · 13430 阅读 · 4 评论 -
hadoop中 hadoop fs -getmerge 命令合并多个文件
hadoop中 hadoop fs -getmerge 命令合并多个文件原创 2016-06-18 09:37:25 · 28357 阅读 · 1 评论 -
论文实验遇到的问题(hadoop集群+redis集群)
论文实验遇到的问题(hadoop集群+redis集群)原创 2016-06-17 10:37:39 · 1414 阅读 · 0 评论 -
Ubuntu下用eclipse新建MapReduce项目并运行
Ubuntu下用eclipse新建MapReduce项目并运行原创 2016-04-24 20:39:30 · 1723 阅读 · 0 评论 -
50030(jobtracker.jsp)监控不到eclipse提交的作业
50030(jobtracker.jsp)监控不到eclipse提交的作业原创 2016-05-07 16:30:06 · 677 阅读 · 0 评论 -
Picked up JAVA_TOOL_OPTIONS: -javaagent:/usr/share/java/jayatanaag.jar的解决办法
Picked up JAVA_TOOL_OPTIONS: -javaagent:/usr/share/java/jayatanaag.jar的解决办法原创 2016-01-23 22:09:28 · 3231 阅读 · 0 评论 -
启动关闭hadoop集群和spark集群
启动和关闭spark集群原创 2016-05-27 11:07:53 · 10208 阅读 · 0 评论 -
安装spark集群中用到的各种安装包
安装spark集群中用到的各种安装包原创 2016-03-08 15:13:45 · 706 阅读 · 0 评论 -
用spark自带的示例SparkPi测试scala和spark集群
用spark自带的示例SparkPi测试scala和spark集群原创 2016-03-08 15:06:42 · 6164 阅读 · 0 评论 -
如何查看hadoop集群是否安装成功(用jps命令和实例进行验证)
这时我安装完hadoop集群后,验证集群是否安装成功的方法。本人集群是三台虚拟机,一台是master,另外两台分别为slave1和slave2。在你用start-all.sh启动集群后,可以用jps命令和实例进行验证集群是否安装配置成功;还可以用hadoop中的实例来进行测试。原创 2015-05-08 17:20:35 · 33769 阅读 · 0 评论 -
如何快速从Ubuntu系统的eclipse下导出jar包(MapReduce程序)
如何快速从Ubuntu系统的eclipse下导出jar包(MapReduce程序)原创 2015-06-27 21:12:16 · 1277 阅读 · 0 评论 -
在Ubuntu下安装eclipse并为eclipse配置hadoop开发环境
在成功安装和配置hadoop集群环境后(大家可以看我的其他几篇关于hadoop的微博,都是本人边学习边实践的经历,大家可以借鉴一下),接下来我来为大家介绍一下如何在Ubuntu下安装eclipse并且为eclipse配置hadoop开发环境。原创 2015-05-17 15:01:44 · 5805 阅读 · 0 评论 -
Hadoop的简单实例和遇到的问题
最近我在学hadoop,下面是我自己实践过的一些简单的实例,有最基本的单词计数(wordcount),数据去重,排序,单表关联和多表关联。单词计数:大家应该都知道这个程序,就相当于java里面的第一个hello world程序一样,是hadoop中最基本的一个入门程序,是用来统计单词的个数,然后以(单词名,个数)的形式输出在文件里;数据去重:让原始数据中出现次数超过一次的数据在输出文件中只原创 2015-05-19 09:19:37 · 521 阅读 · 0 评论 -
我在安装虚拟机和Hadoop过程中遇到的问题和解决方法
下面是我自己在安装hadoop过程中遇到的一些,希望对大家在安装hadoop的时候有所帮助,少走弯路。1、大家在修改完某些配置文件后,记得用source命令是改过的配置文件生效,不然你得重启后才能生效,比如在安装JDK的时候,要在/etc目录下的profile文件中加入环境变量,加入保存后,要source一下该文件,具体操作如下所示:输入命令: sudo gedit /etc/prof原创 2015-05-07 09:47:52 · 2312 阅读 · 0 评论 -
2015.6.27_记录自己学到的和自己容易忘记的有关编写MapReduce程序的要点
记录自己学到的和自己容易忘记的有关编写MapReduce程序的要点原创 2015-06-27 21:26:10 · 468 阅读 · 0 评论 -
VMware下ubuntu系统一直莫名其妙地连接无线网络导致Hadoop集群无法正常启动的解决方法
VMware下ubuntu系统一直莫名其妙地连接无线网络的解决方法原创 2015-06-25 17:16:14 · 729 阅读 · 0 评论 -
Name node is in safe mod
Name node is in safe mod原创 2016-11-18 15:55:22 · 363 阅读 · 0 评论