hadoop
文章平均质量分 78
链巨人
这个作者很懒,什么都没留下…
展开
-
eclipse 操作HDFS时出现Permission denied的三个解决方法
1、在系统的环境变量或java JVM变量里面添加HADOOP_USER_NAME,这个值具体等于多少看自己的情况,以后会运行HADOOP上的Linux的用户名。(修改完重启eclipse,不然可能不生效)2、将当前系统的帐号修改为hadoop3、使用HDFS的命令行接口修改相应目录的权限,hadoop fs -chmod 777 /user,后面的/user是要上传文件的路径,不同的情况转载 2015-10-17 20:34:40 · 1549 阅读 · 0 评论 -
使用HDFS API实现hadoop HDFS文件系统的基本操作
下面介绍使用hadoop的HDFS分布式文件系统的java API实现基本的文件操作,比如:创建文件、修给文件、创建目录或者文件夹、从本地系统上传文件到HDFS系统中、从HDFS文件系统中下载文件到本地系统。集成开发环境IDE工具:eclispe(已经安装了hadoop插件)说明:下面main函数中的路径:/user/liangyihuai 以及/usr/是在HDFS上面的路原创 2015-10-18 16:02:18 · 1379 阅读 · 0 评论 -
在ubuntu系统中使用dpkg命令安装后缀名为deb的软件包
在ubuntu系统中使用dpkg命令安装后缀名为deb的软件包:dpkg命令常用格式如下:#查看文件结构(其中-c等价于--contents)sudo dpkg -c xx.deb#安装软件包(其中-i等价于--install)sudo dpkg -i xx.deb#查看软件包的信息(软件名称可通过dpkg -I命令查看,其中-l等价于--list)原创 2015-10-18 19:03:41 · 1826 阅读 · 0 评论 -
linux目录解释
/bin是超级用户和一般用户都可以使用的命令;/usr/bin是安装的软件的命令 usr表示的是unix software source/opt:对于第三方软件,如果是自动安装,那么一般会安装在此目录下面。比如qqAccording to the FHS, the / directory must contain, or havelinks to, the following原创 2015-10-18 19:27:12 · 446 阅读 · 0 评论 -
我是如何向老婆解释MapReduce的?
我是如何向老婆解释MapReduce的?英文出处:Shekhar Gulati。欢迎加入翻译组。昨天,我在Xebia印度办公室发表了一个关于MapReduce的演说。演说进行得很顺利,听众们都能够理解MapReduce的概念(根据他们的反馈)。我成功地向技术听众们(主要是Java程序员,一些Flex程序员和少数的测试人员)解释了MapReduce的概念,这让我感到兴奋。在所有辛勤的转载 2015-10-18 20:53:04 · 437 阅读 · 0 评论 -
我的第一个MapReduce程序(WordCount)
万事开头难!长途从第一步开始!MapReduce编程也一样!下面是本人编写的第一个MapReduce程序以及个人的一些理解!准备条件:1、安装hadoop2、工具:eclipse(已经安装了hadoop插件)3、开发平台:ubuntu(也可以在Win上面开发)参考资料地址为:http://hadoop.apache.org/docs/r2.6.0/had原创 2015-10-19 19:25:59 · 478 阅读 · 0 评论 -
Hadoop文件系统元数据fsimage和编辑日志edits
提到NameNode的$dfs.namenode.name.dir/current/文件夹的几个文件:1current/2|-- VERSION3|-- edits_*4|-- fsimage_00000转载 2015-10-10 09:39:06 · 525 阅读 · 0 评论 -
学习Hadoop时遇到的问题以及解决方法
一、问题:本人在伪分布HDFS中学习,每次重启电脑的时候,在执行sbin/start-dfs.sh启动HDFS之前都需要执行bin/hadoop namenode -format命令才能启动。并且每次启动之后都发现之前在HDFS系统中的文件夹和文件都不见了!原因:namenode的存储路径是在/tmp/hadoop-**,所以系统在关闭之后都会清除掉这里面的数据。解决:修改原创 2015-10-21 22:57:48 · 1158 阅读 · 0 评论