2016年09月_韩利鹏

12月 11月 10月 09月 08月 07月 06月 05月 04月 02月

原创从HDFS复制一个文件夹到HDFS

从HDFS复制一个文件夹到HDFSpublic class FileHandle { /** * 设置hadoop HDFS 初始化配置方法 * @throws IOException */ public static FileSystem init(){

2016-09-28 20:04:18 6285

原创 hadoop之hdfs api的简单使用

import java.io.BufferedInputStream;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.IOException;import org.apache.hadoop.conf.Configuration;im

2016-09-28 19:58:07 539

原创 /bin/sh^M: bad interpreter: 没有那个文件或目录

今天运行脚本（shell）发现了这个问题，自己检查了好久也没有发现自己哪里写错想了好久才发现是应为我写脚本的时候是在windows下编写的，为了省事直接把文件复制过来直接运行导致的在windows上编写的程序会有一些看不到的编码，直接运行到值Linux无法识别导致，只需要把文件里面的代码一步步复制到Linux文本编译器中就可以了

2016-09-25 22:44:14 449

原创 SSH免密登陆草稿版

~ ssh-keygen -t rsa -P ''cd .ssh.ssh cat id_rsa.pub >>authorized_keys.ssh chmod 600 authorized_keys.ssh ssh master1 #测试本机登陆，如果不需要密码则本机登陆测试成功{#分发 id_rsa.pub 到slave1.ssh

2016-09-25 20:24:07 342

原创安装linux jdk的shell脚本

脚本的使用方式：将脚本和jdk的安装包放在一起，然后运行脚本就能够自动安装了脚本代码如下#!/bin/bashtar -zxvf jdk*cd jdk1*home=`pwd`echo $homeecho "JAVA_HOME=${home}" >> /etc/profileecho "CLASSPATH=\$JAVA_HOME/lib" >> /etc/profileecho "PAT

2016-09-23 22:50:35 4574

原创 sentos安装hadoop集群完整版

总体思路，准备主从服务器，配置主服务器可以无密码SSH登录从服务器，解压安装JDK，解压安装Hadoop，配置hdfs、mapreduce等主从关系。1、环境，3台CentOS7，64位，Hadoop2.7需要64位Linux，CentOS7 Minimal的ISO文件只有600M，操作系统十几分钟就可以安装完成， Master 192.168.0.182 Slave1 192.168.0.18

2016-09-23 22:41:36 1141