hadoop
爱学习的Amelia
正在努力学习大数据知识,欢迎大家指错交流学习!!!
展开
-
hadoop实操常用命令
准备工作启动hadoop集群[amelia@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh-help:输出这个命令参数[amelia@hadoop102 hadoop-2.7.2]$ hadoop fs -help rm创建/sanguo文件夹[amelia@hadoop102 hadoop-2.7.2]$ hadoop fs -mkdir /sanguo查看hadoop中是否存在sanguo文件2. 上传-moveFromL.原创 2022-03-03 13:25:15 · 1552 阅读 · 0 评论 -
hadoop常见错误及解决办法
防火墙 没关 或者 没有 启动 YARNINFO client.RMProxy:Connecting to ResourceManager at hadoop108/192.168.10.108:8032主机名称 配置 错误IP地址 配置 错误ssh 没有 配置好root 用户和 amelia 两个用户 启动集群 不统一配置文件 修改 不细心不识别 主机名称java.net.UnknownHostException:hadoop102:hadoop102解决办法:在/etc/hosts.原创 2022-03-03 09:04:18 · 3472 阅读 · 0 评论 -
hadoop集群时间同步
生产环境:如果服务器能连接外网,不需要时间同步;如果服务器连接不了外网,需要时间同步查看所有节点ntpd服务状态和开机自启动状态[amelia@hadoop102 ~]$ sudo systemctl status ntpd[amelia@hadoop102 ~]$ sudo systemctl start ntpd[amelia@hadoop102 ~]$ sudo systemctl is-enabled ntpd修改hadoop102的ntp.conf配置文件[amelia@ha原创 2022-03-03 07:54:26 · 2823 阅读 · 0 评论 -
hadoop入门两个面试题
常用端口号端口名称Hadoop2.xHadoop3.xNameNode 内部通信端口8020 / 90008020 / 9000 / 9820NameNode HTTP UI500709870MapReduce 查看执行任务端口80888088历史服务器端口1988819888常用配置文件Hadoop2.xHadoop3.xcore-site.xmlcore-site.xmlhdfs-site.xmlhd.原创 2022-03-02 09:44:26 · 304 阅读 · 0 评论 -
hadoop两个常用脚本
集群启动停止方式总结各个模块分开启动/停止整体启动/停止HDFSstart-dfs/stop-dfs.sh整体启动/停止YARNstart-yarn/stop-yarn.sh各个服务组件统一启动/停止分别启动/停止HDFS组件hdfs --daemon start/stop namenode/datanode/secondarynamenode启动/停止YARNyarn --daemon start/stop resourcemanager/nodemana原创 2022-03-02 09:34:42 · 225 阅读 · 0 评论 -
hadoop--日志聚集功能
概念:应用程序运行完成之后,将程序运行日志信息上传到HDFS系统上;好处:可以方便的查看到程序运行详情,方便开发调试;注意:开启日志聚集功能,需要诚信启动NodeManager,ResourceManager和HistoryServer。开启步骤:配置yarn-site.xml,在文件中添加如下内容:<!-- 开启日志聚集功能 --><property> <name>yarn.log-aggregation-enable</name> .原创 2022-02-28 21:36:15 · 516 阅读 · 0 评论 -
hadoop--配置历史服务器
目的:查看历史进程配置mapred-site.xml,文件在/opt/module/hadoop-2.7.2/etc/hadoop目录下,添加一下内容:<!--历史服务器web端地址--> <property> <name>mapreduce.jobhistory.address</name> <value>hadoop102:10020<alue> </property> <!-- 历史服务器w.原创 2022-02-28 21:07:01 · 396 阅读 · 0 评论 -
hadoop--集群崩溃处理办法
先杀死进程;[amelia@hadoop102 hadoop-2.7.2]$ sbin/stop-dfs.sh在hadoop102,hadoop103和hadoop104上敲jps,检查hadoop102,hadoop103和hadoop104中是不是只剩下jps;删除每一个集群上的/data和/logs文件夹;[amelia@hadoop102 hadoop-2.7.2]$ rm -rf data/ logs/格式化[amelia@hadoop102 hadoop-2.7.2].原创 2022-02-28 20:01:53 · 178 阅读 · 0 评论 -
错误:输入jps显示未找到命令Error: JAVA_HOME is not set and could not be found.
问题:在hadoop103上敲jps,hadoop和java显示未找到命令.原因:配置文件没有分发到hadoop103和hadoop104。解决:我是手动编辑了hadoop103和hadoop104的配置文件my_env.sh信息。配置文件路径/etc/profile.d如下:#JAVA_HOMEexport JAVA_HOME=/opt/modulek1.8.0_144export PATH=$PATH:$JAVA_HOME/bin#HADOOP_HOMEexport HADOOP_H.原创 2022-02-28 19:43:19 · 272 阅读 · 0 评论 -
hadoop--群起集群并测试
原创 2022-02-28 19:28:31 · 321 阅读 · 1 评论 -
hadoop--集群配置
前提:装好了虚拟机,在hadoop102装好了JDK和Hadoop部署规划hadoop102hadoop103hadoop104HDFSNameNode DataNodeDataNodeSecondaryNameNode DataNodeYARNNodeManagerResourceManager NodeManagerNodeManager注意:NameNode 和 SecondaryNameNode 不要安装在同一台服务器;ResourceMan.原创 2022-02-28 12:36:50 · 1208 阅读 · 0 评论 -
hadoop--集群分发脚本
第一次进行拷贝用scp命令,第二次用要更改用xsync命令。scp定义:实现服务器与服务器之间的数据拷贝。基本语法:命令 -递归 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称;例如scp -r $pdir/$fname $user@$host:$pdir/$fname实例:在hadoop102,hadoop103,hadoop104都创建好了/opt/module和/opt/software两个目录,将这两个目录修改为amelia:amelia;命令sudo chown .原创 2022-02-28 11:46:23 · 1505 阅读 · 0 评论 -
解决Hadoop进程号休眠问题,权限不够问题
hadoop报错进程号休眠问题权限不够问题进程号休眠问题问题:运行进程时,进程报休眠错误。解决办法:使用命令kill -9 3030即可杀死进程。权限不够问题删除文件夹时报错提示权限不够;解决办法:在命令前加上sudo,如上图所示。...原创 2022-02-28 11:19:23 · 361 阅读 · 0 评论 -
hadoop--ssh免密登录
密钥对有个公钥喝私钥,私钥不能给别人,给别人的话就完蛋了,公钥要给别人,公钥会放在已授权的文件里流程:1.生成密钥对,将密钥对拷贝到存放公钥的文件中2.ssh访问服务器,接收到数据,首先在文件中找到是是否存在公钥,3.存在则采用公钥加密的数据返回给对应服务器4.接收到数据之后用私钥解密数据配置ssh1.首先来到家目录2.ll -al102 103有 104没有102访问过103访问过希望配置102可以无密访问103和104那怎么配置呢输入以下敲三次回车生成了一个公钥,一个原创 2022-02-28 11:09:33 · 4725 阅读 · 2 评论