关于python使用hadoop(使用python操作hdfs)

最近想学习一下hadoop,但是本人对java不是很熟悉,所以决定用python来进行尝试,以下是整个环境部署及测试:

软件环境:VMware10.0,VMware10,ubuntu15.10桌面版(ubuntukylin-15.10-desktop-i386.iso),Apache hadoop(hadoop-1.2.1.tar.gz),JDK(jdk-8u11-linux-i586.tar.gz)


一 安装JDK(安装ubuntu对应的JDK,我这里是32位的ubuntu系统)
查看Linux多少位 命令file /bin/ls

创建文件夹 /usr/local/java

解压jdk,配置环境变量  vi /etc/profile

export JAVA_HOME=/usr/local/java/jdk1.8.0_11

export JAVA_BIN=/usr/local/java/jdk1.8.0_11/bin

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME JAVA_BIN PATH CLASSPATH

使用 .(空格)/etc/profile使环境变量生效
检测安装 java -version 出现  
java version "1.8.0_11"
Java(TM) SE Runtime Environment (build 1.8.0_11-b12)
Java HotSpot(TM) Client VM (build 25.11-b03, mixed mode)
代表成功

二 安装ssh(hadoop主从指间通过ssh来连接)
        apt-get install openssh-server
        apt-get update     #更新系统
        apt-get upgrade   #更新软件包
       
        生成key:ssh-keygen -t rsa,一路回车,key在/root/.ssh 中
        将key追加到authorized_keys授权文件,实现无密码登录本机 cat id_rsa.pub>>authorized_keys
        检测是否成功 ssh localhost


三 修改机器名称
修改机器名称 vi /etc/hostname,改为Hadoop-namenode,重启后生效

四  配置固定IP,多台虚拟机
将虚拟机网络设置成NAT模式,然后将本机的本地连接共享给VMnet8,然后在虚拟机中创建一块网卡,手动添加IP地址192.168.137.11,子网255.255.255.0,网关和 DNS都为192.168.137.1
此时本机ip就固定为192.168.137.11
此时可以添加host了,vi /etc/hosts
127.0.0.1       localhost
192.168.137.11 Hadoop-namenode
192.168.137.12 Hadoop-datenode1
192.168.137.13 Hadoop-datenode2

  • 7
    点赞
  • 55
    收藏
    觉得还不错? 一键收藏
  • 5
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值