hadoop
文章平均质量分 96
liuxiangke0210
这个作者很懒,什么都没留下…
展开
-
HDFS中JAVA API的使用
HDFS是一个分布式文件系统,既然是文件系统,就可以对其文件进行操作,比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用JAVA API对HDFS中的文件进行操作的过程。 对分HDFS中的文件操作主要涉及一下几个类: Configuration类:该类的对象封转了客户端或者服务器的配置。 FileSystem类:该类的对象是一个文件系统对象,可以用该对象的转载 2017-03-02 13:48:59 · 373 阅读 · 0 评论 -
基于hadoop2.7集群的Spark2.0,Sqoop1.4.6,Mahout0.12.2完全分布式安装
原文链接:http://blog.csdn.net/gamer_gyt/article/details/52045663 写在前边的话 hadoop2.7完全分布式安装请参考:点击阅读,继任该篇博客之后,诞生了下面的这一篇博客 基本环境: CentOS 6.5,Hadoop 2.7,Java 1转载 2017-03-02 14:08:07 · 348 阅读 · 0 评论 -
基于hadoop2.7集群的Spark2.0,Sqoop1.4.6,Mahout0.12.2完全分布式安装
原文链接:http://blog.csdn.net/gamer_gyt/article/details/52045663 写在前边的话 hadoop2.7完全分布式安装请参考:点击阅读,继任该篇博客之后,诞生了下面的这一篇博客 基本环境: CentOS 6.5,Hadoop 2.7,Java 1.7转载 2017-03-25 21:17:38 · 396 阅读 · 0 评论 -
java 操作hdfs 实例
1. 在启动hadoop之前,现在配置文件中 hdfs-site.xml 中配置 dfs.permissions false 把Hadoop权限验证关闭,把hadoop.dll文件放到C:/windows/system32中。在启动hadoop集群。 2.建立maven项目 在pom.xml中 加入 依赖。 版本号与hadoop集群版本号一致。原创 2017-07-14 15:45:00 · 1371 阅读 · 0 评论 -
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries
原文链接: http://www.cnblogs.com/hyl8218/p/5492450.html 在已经搭建好的集群环境Centos6.6+Hadoop2.7+Hbase0.98+Spark1.3.1下,在Win7系统Intellij开发工具中调试Spark读取Hbase。运行直接报错: 1 2 3 4 5 6转载 2017-08-27 13:32:25 · 475 阅读 · 0 评论