HADOOP 坑

HADOOP所遇问题

所使用软件是xshell5,hadoop2.6.4,java1.7.0_80, 虚拟机workstation12

  1. 虚拟机网络配置问题
    1.1网络连接为nat模式,所使用的网段适合VMWARE8虚拟网卡保持一致。 VMWARE8虚拟网卡的网段可以在虚拟机的(编辑)选项,选择(虚拟网络编辑器)进行更改。
    1.2网络连接为桥接模式,所使用的网段为本机网卡连接网段,所以如果你要使用本机网段ip,可以选择桥接模式。
  2. 虚拟镜像挂载
    cd /etc//yum.repos.d/CentOS-Media.repo
    要把此目录的其他的都改成.bak形式,
    mount dev/dvd /media
    2.1 baseurl=file:///media/路径问题,上方的挂载路径要和此配置文件路径一致。
    enabled=1,使用本地源。
    2.2在挂载之前千万不要安装VMware tools,因为这样会把你的/media目录占用,导致挂载不成功。
    2.3mount /dev/dvd /media出现
    mount: you must specify the filesystem type
    是因为在虚拟机设置里的设备状态 (已连接)要打上对号。
    顺序不能错,一定要先出现这个错误,再连接(狗血)
  3. 文件上传
    使用的xshell
    文件想上传需要安装一个包lrzsz,
    从本地上传直接把文件拖拽到xshell中就可以了,不过有的文件格式不能拖拽,需要通过命令进行上传
    输入rz 就可以了
    从Centos中下载文件需要
    rz 文件名或者文件的路径
  4. 格式化执行NameNode设置环境变量
    export HADOOP_HOME=/usr/local/hadoop-2.6.4
    export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin:/usr/java/jdk1.7.0_80/bin
    不同的路径之间要用:进行连接
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
安装Hadoop的步骤如下: 1. 首先,你需要下载Hadoop的安装包。你可以在Apache官方网站上找到Hadoop的下载链接。点击链接,下载hadoop-2.10.0.tar.gz文件。 2. 下载完成后,将安装包移动到你想要安装Hadoop的目录下。 3. 打开终端,并进入Hadoop的安装目录。 4. 解压缩安装包。使用以下命令解压缩hadoop-2.10.0.tar.gz文件: ``` tar -zxvf hadoop-2.10.0.tar.gz ``` 5. 解压缩完成后,你会得到一个名为hadoop-2.10.0的文件夹。 6. 配置Hadoop环境变量。打开你的终端配置文件(例如.bashrc或.bash_profile),并添加以下行: ``` export HADOOP_HOME=/path/to/hadoop-2.10.0 export PATH=$PATH:$HADOOP_HOME/bin ``` 将`/path/to/hadoop-2.10.0`替换为你的Hadoop安装文件夹的实际路径。 7. 保存并关闭终端配置文件。然后,在终端中运行以下命令以刷新配置文件: ``` source ~/.bashrc ``` 8. 接下来,你需要配置Hadoop的核心文件。进入Hadoop的安装目录并打开`hadoop-2.10.0/etc/hadoop`文件夹。 9. 在该文件夹中,你会找到一些配置文件,例如`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`和`yarn-site.xml`。你可以根据自己的需求进行相应的配置更改。 10. 完成配置后,你就可以启动Hadoop了。在终端中运行以下命令以启动Hadoop: ``` start-all.sh ``` 这将启动Hadoop的各个组件,包括HDFS和YARN。 11. 最后,你可以通过访问Hadoop的Web界面来验证安装是否成功。在浏览器中输入以下地址: ``` http://localhost:50070/ ``` 这将打开Hadoop的HDFS界面,其中你可以查看集群的状态。 以上是Hadoop的下载和安装教程。请按照以上步骤进行操作,即可成功安装Hadoop。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [超详细hadoop下载安装教程(附图文)](https://blog.csdn.net/adnb34g/article/details/81382709)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *3* [史上最详细的hadoop安装教程(含点)](https://blog.csdn.net/m0_67391377/article/details/126565351)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值