hadoop
文章平均质量分 87
daxuddaai
这个作者很懒,什么都没留下…
展开
-
Hadoop使用
hadoop使用原创 2021-12-29 11:15:09 · 1495 阅读 · 0 评论 -
6.hadoop-完全分布式
1.配置如下: 2.编写了xsync脚本,方便同步到hadoop103,hadoop104中去 脚本详情:https://blog.csdn.net/daxuddaai/article/details/109165041 3.配置集群 a.配置core-site.xml <!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hd原创 2020-10-20 20:30:00 · 82 阅读 · 0 评论 -
5.hadoop伪分布式
1.配置集群 a.配置:hadoop-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_144 b.配置:core-site.xml <!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop101:9000</value> </property> &l原创 2020-10-19 16:52:42 · 73 阅读 · 0 评论 -
4.hadoop-本地模式-wordcount官方案例
[hx@spark06 hadoop-3.1.4]$ mkdir input [hx@spark06 hadoop-3.1.4]$ vim /input wc.input 随便输入点单词 [hx@spark06 hadoop-3.1.4]$hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount input/wc.input wcoutput [hx@spark06 hadoop-3.1.4]cat wc.原创 2020-10-18 22:11:30 · 107 阅读 · 0 评论 -
ssh免密登录
设linux1、linux2、linux3三台机器 实现在linux1免密登录到linux2、linux3 1.在linux1上 ssh-keygen -t rsa 三次回车 2.将其公钥拷贝到linux2、linux3 ssh-copy-id linux2 输入linux2的密码 其中Linux2是在hosts中配置好了ip映射 3.验证 ssh linux2 这样就可以在linux1上不输入密码就可以登录到linux2上 linux3同样的操作 ...原创 2020-10-18 22:03:28 · 58 阅读 · 0 评论 -
3.安装hadoop
1.与安装jdk同理拷贝压缩包,解压到/opt/module/ 详情见:https://blog.csdn.net/daxuddaai/article/details/109150650 2.配置环境 [hx@spark06 ~]$ vim /etc/profile 添加下面的内容 ##HADOOP_HOME export HADOOP_HOME=/opt/module/hadoop-3.1.4 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$P原创 2020-10-18 21:52:20 · 51 阅读 · 0 评论 -
2.安装jdk--linux
1.在/opt目录下创建module和software文件夹 mkdir /opt/module mkdir /opt/software 2.利用xftp工具将jdk安装包放到software中,将其解压到module中 [hx@spark06 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz /opt/module/ 3.查询现有的版本,卸载 [hx@spark06 software]$ rpm -qa | grep java 如果有自带的版原创 2020-10-18 21:44:13 · 50 阅读 · 0 评论 -
1.虚拟机环境准备
以下都是root下操作 1.通过修改ifcfg-ens33配置文件来修改配置ip 命令:vim /etc/sysconfig/network-scripts/ifcfg-ens33 修改为 BOOTPROTO=static ONBOOT=yes 添加 IPADDR=172.16.1.115 NETMASK=255.255.255.0 GATEWAY=172.16.1.254 DNS1=8.8.8.8 [root@localhost ~]# systemctl restart network重启.原创 2020-10-18 21:25:50 · 101 阅读 · 0 评论 -
INFO ipc.Client: Retrying connect to server: hadoop03/192.168.31.133:8032. Already tried 0 time(s);
错误如下: 解决办法: 把hosts的一行注释掉 如果不注释的话端口号前面的默认是127.0.0.1 导致无法连接 参考:https://blog.csdn.net/zhugongshan/article/details/103819830 没有注释前8032的端口:127.0.0.1:8032 注释后:192.168.31.133:8032 注释掉后就可以连接成功啦! 理解: 在配置中指定了192.168.31.133 执行命令的时候肯定是去找192.168.31.13.原创 2020-10-18 16:40:27 · 1778 阅读 · 0 评论 -
hadoop 8088端口无法访问 50070可以访问
参考https://blog.csdn.net/Zsigner/article/details/95050906 Hadoop成功启动后 ip:50070可以访问到页面, 但是ip:8088提示无法访问该网站。 问题出在hadoop文件夹下/etc/hadoop/目录下的配置文件:yarn-site.xml 修改yarn-site.xml文件,将其<configuration></configuration>中的配置修改为: <configuration> .原创 2020-10-18 09:32:11 · 2359 阅读 · 0 评论