hadoop
曹牛牛
这个作者很懒,什么都没留下…
展开
-
mapreduce框架内部核心工作机制详解示意图
原创 2019-10-20 22:43:10 · 195 阅读 · 0 评论 -
window中在eclipse向yarn提交任务
我们在开发中,可以直接在eclipse中,直接向集群提交任务。public class JobSubmitterWindowsToYarn { public static void main(String[] args) throws Exception { // 在代码中设置JVM系统参数,用于给job对象来获取访问HDFS的用户身份 System.setPropert...原创 2019-10-19 20:53:36 · 188 阅读 · 0 评论 -
hadoop在eclipse本地提交任务
我们为了开发调试方便,编写的代码需要在本地进行调试好之后再到服务器上运行。运行在本地需要在本地安装hadoop环境。针对hadoop安装本地,需要更换bin路径下的文件为window下的版本,针对于window下的版本,可以在https://github.com/steveloughran/winutils中下载对应的版本。然后再你本机配置环境变量。跟java类似。配置一个hadoop...原创 2019-10-19 20:51:52 · 103 阅读 · 0 评论 -
读取指定偏移量的数据
import java.io.BufferedReader;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStreamReader;import java.net.URI;import java.net.URISyntaxException;import java.uti...原创 2019-10-18 22:40:03 · 1809 阅读 · 0 评论