hadoop 大数据
u011393661
这个作者很懒,什么都没留下…
展开
-
1. hadoop-2.7.x 单机伪分布式的安装与配置
停止写博客有一段时间了,毕业也有一年多的时间了翻翻自己曾经写过(转载)的博客也有不少,现在回头再看别有一番感觉。现在的工作不是太忙开始准备学习hadoop大数据 相关的知识,准备把学习的过程经验写成一个系列的博客。原创 2017-11-16 17:24:55 · 350 阅读 · 0 评论 -
JAVA 进行hdfs 文件操作
1 文件上传2 文件下载3 新建文件夹4查看文件 “listFiles“列出的是hdfs上所有文件的路径,不包括文件夹。根据你的设置,支持递归查找。 ”listStatus“列出的是所有的文件和文件夹,不支持递归查找。如许递归,需要自己实现。5 删除文件fs.delete(hdfsPath, true); //设置成true 表示如果目标路径是一个文件夹,则递归删除。PS:HDFS 路径的书...原创 2018-05-07 15:49:21 · 5520 阅读 · 0 评论 -
hadoop 基本命令&文件上传
1 查看hadoop文件 hadoop fs -ls /2 新建文件夹hadoop dfs -mkdir /input 3 上传本地文件3.1终端输入: vim test1.txt键入内容保存wq!3.2终端输入:hadoop fs -put /test 1.txt /input3.3 查看文件3.3.1 : hadoop fs -ls /input3.3.2:hadoop fs -cat ...原创 2018-05-07 16:11:07 · 45356 阅读 · 2 评论 -
java 编写MR程序之 - WordCount 及解析
wordcount 作为经典的MR 入门程序,对理解和编写MR程序有很大的帮助。1原创 2018-05-08 16:59:11 · 4359 阅读 · 0 评论