Hadoop
依然在原点
宁愿笑着流泪也不愿哭着说后悔
展开
-
hadoop程序问题:java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///
FileSystem fs = FileSystem.get(conf); in=fs.open(newPath("hdfs://192.168.130.54:19000/user/hmail/output/part-00000")); 抛出异常:Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: h转载 2016-07-22 19:36:36 · 2158 阅读 · 0 评论 -
Hadoop4Win+Eclipse
Hadoop4Winhttp://trac.nchc.org.tw/cloud/wiki/Hadoop4Win注意:设置环境变量path 添加:d:/hadoop4win/bin;Eclipse3.1 安装插件 需要下载Hadoop-0.20.3-dev-eclipse-plugin.jar,否则Run on Hadoop没有反应! Google搜索下载即可!3.2 设置Map/Reduce L转载 2016-07-26 10:04:33 · 545 阅读 · 0 评论 -
Ubuntu 14.04 的 SSH 无密码登录
仅在工作站上有正确的(公私)密钥对以供匹配时SSH服务端才会允许你登录,反之访问将不会被允许。正常情况下,我们需要连上SSH的控制台输入用户名及其密码才行。如果两者全部正确,我们就可以访问,反之访问被服务端拒绝。不过相比而言还有一种比用密码更安全的登录方式,我们可以在登录SSH时通过加密密钥进行无密码登录。如果你想启用这个安全的方式,我们只需简单的禁用密码登录并只允许加密密钥登录即可。使用这种方式时转载 2016-07-26 17:54:45 · 425 阅读 · 0 评论 -
Hadoop 日志文件分析
http://blog.csdn.net/lifuxiangcaohui/article/details/20233607 当遇到错误时,第一时间应是查看日志,日志里通产会有详细的错误原因提示。Hadoop MapReduce日志分为两部分,一部分是服务日志,一部分是作业日志。hadoop运行过程中,产生的数据日志,比如说System打印的日志,或者是log4j,slf4j等记录的日志,存放在哪里原创 2016-07-27 18:23:55 · 2626 阅读 · 0 评论 -
sudo 出现unable to resolve host 解决方法
Linux 环境, 假设这台机器名字叫 sun(机器的hostname), 每次执行sudo 就出现这个警告讯息: sudo: unable to resolve host sun 虽然sudo 还是可以正常执行, 但是警告讯息每次出来还是有点烦人, 而这只是机器在反解上的问题, 所以就直接从/etc/hosts 设定, 让sun(hostname) 可以解回127.0.0.1 的IP 即可./转载 2016-07-27 18:26:28 · 7780 阅读 · 0 评论 -
ubuntu14-Hadoop2.7.2完全分布式集群搭建操作时遇到的错误
问题1 *(1)***sudo:sudo /etc/sudoers is world writable sudo:no valid sudoers sources found ,quitting sudo:unable to initialize policy pluginsudoers的权限被改了,改回来就好了。 chmod 0440 /etc/sudoers问题2 *(2)***Ubu原创 2016-07-27 22:01:14 · 480 阅读 · 0 评论