hadoop
繁华落尽梦一场-
这个作者很懒,什么都没留下…
展开
-
Java调用Hadoop API
hadoop提供的Java API主要用来对文件操作。最常见的也就是读、写、遍历。总的来说,调用API的第一步获取FileSystem,可以用FileSystem fs = FileSystem.get()来获取。接下来如果是写(上传)文件,则用fs.create(),如果是读(下载)文件,则用fs.get()。然后再用FSDataInputStream、FSDataOutputStream原创 2015-07-15 12:13:55 · 822 阅读 · 0 评论 -
hadoop中最简单最简单的map-reduce
大多数的第一个map-reduce程序都是WordCount,但对于初学者来说,想要弄懂WordCount的流程不是一件简单的事,这里我就把WordCount拆分一下,只map不reduce。先不看程序,自己来想想,写map-reduce的程序应该有哪些步骤。1、输入输出。这就不用说了吧,任何程序都有输入输出,那么map-reduce中的输入输出又是怎么回事呢? 思考一下,在整个程序中,肯原创 2015-07-16 17:14:42 · 994 阅读 · 0 评论 -
Hadoop状态页面的Browse the filesystem链接无效的问题
首先说说我的平台一个master,两个node,这3个节点都在Linux上,而eclipse在Windows上,为了操作方便,我在Windows 的host文件中添加了解析。192.168.203.149 master在eclipse上操作,一切都OK,但是用浏览器查看HDFS的时候出现问题了。输入http://http://master:50070/后的页面如下:原创 2015-07-15 11:31:35 · 960 阅读 · 0 评论