hadoop
文章平均质量分 61
第8个狼
编程,一生的追求
展开
-
ssh无密码登录,两步搞定
最近研究hadoop,hadoop需要机器直接无秘密登录,折腾了好久,终于找到一个比较简单有效的方法,记录下来。现在有两台机器,主机名分别是master,slave11.在master端生成密钥对: ssh-keygen -t rsa一路回车2.传到slave1上 ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@slave1原创 2014-01-04 13:06:51 · 1043 阅读 · 0 评论 -
hadoop64位编译及开发环境搭建(二)
上次已经编译好了64位的hadoop可执行文件,现在正式开始安装hadoop。 一.先准备三台服务器,一台主节点,2台数据节点,分别装上系统,我这里用的系统是centos7.0-minimal 版本。在这里需要注意的是,在格式化硬盘时,创建swap区。 二.安装jdk,此处使用jdk1.7; 1.换目录到/usr 目录下, cd原创 2014-11-30 21:08:48 · 3423 阅读 · 0 评论 -
hadoop64位编译及开发环境搭建(一)
大数据越来越火,作为大数据开发的开源框架hadoop成为大部分大数据开发人员的首选。今天我就来做个hadoop开发平台。一.hadoop源码下载及编译 由于hadoop部分只提供32位的执行程序,所以如果要搭建 64位系统的的集群,需要自己下载源码进行编译。 下载源码地址:http://apache.dataguru.cn/hadoop/common/hadoop-2.5.原创 2014-11-30 03:07:22 · 4614 阅读 · 0 评论 -
spark-submit 报错 Initial job has not accepted any resources
spark-submit 报这样的错误 WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources错误原因是内原创 2016-02-18 11:11:43 · 11464 阅读 · 0 评论