![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
江户川柯壮
[DL,ML,CV,DIP][MS.Dept.Automation,THU,Beijing,PRC][E-mail:jzsherlock@163.com]
展开
-
Hadoop Streaming的基本原理与参数解析
Hadoop Streaming原理介绍Hadoop是基于hdfs和MapReduce的分布式框架。由于hadoop是基于java语言的,对于其他语言实现map reduce操作不太方便,因此出现了hadoop streaming。hadoop streaming可以将各种非java语言的脚本(script)或者可执行文件(executable)作为map和reduce函数(当然java的更...原创 2019-11-05 00:17:41 · 1414 阅读 · 3 评论 -
MacOS部署单机版Hadoop(伪分布模式)
MacOS部署单机版Hadoophadoop是一种分布式框架,一般部署在计算机集群(cluster)上。在没有集群的情况下,为了学习和调试hadoop程序,可以在本机上部署一个单机版的hadoop框架。hadoop下载链接:https://archive.apache.org/dist/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz版本为3.2....原创 2019-07-19 19:08:12 · 862 阅读 · 0 评论 -
Hadoop常用Shell指令与常见问题
Hadoop常用Shell指令与常见问题常用指令:文件列表:hadoop fs -ls path递归文件列表hadoop fs -lsr path建立文件夹hadoop fs -mkdir path删除hadoop fs -rm URI版本号hadoop version问题 1hadoop dfs -ls报错:WARNING: Use of this sc...原创 2019-07-26 17:47:12 · 1000 阅读 · 0 评论