大数据
文章平均质量分 58
大数据
MM-BD
这个作者很懒,什么都没留下…
展开
-
2.4)HDFS的读写流程
1.HDFS写数据的流程2.网络拓扑-节点距离计算2.1在HDFS写数据的过程中,NameNode会选择距离待上传数据据最近的距离的DataNode接收数据。那么这个最近距离怎么计算呢?节点距离:两个节点到达最近的共同祖先的距离总和。把连接每节点的 线加一起就好啦。3.机架的感知3.1副本节点选择4.HDFS的读数据流程...原创 2021-08-24 14:40:39 · 88 阅读 · 0 评论 -
2.3) HDFS 的 API java操作
1. 客户端环境准备1.1下载资料包我用阿里云盘分享了「hadoop-3.1.0」链接:传送门1.2 配置 HADOOP_HOME 环境变量1.3 配置 Path 环境变量。注意:如果环境变量不起作用,可以重启电脑试试。验证 Hadoop 环境变量是否正常。双击 winutils.exe,如果报如下错误。说明缺少微软运更多 Java –大数据 –前端 –python 人工智能资料下载,可百度访问:尚硅谷官网行库(正版系统往往有这个问题)。再资料包里面有对应的微软运行库安装包双击安装即可。原创 2021-08-18 14:53:34 · 105 阅读 · 0 评论 -
2.2) HDFS 的 Shell 操作(开发重点)
1基本语法hadoop fs 具体命令和hdfs dfs 具体命令两个是完全相同的2 查用命令实操作2.1 准备工作dfs必须启动2.2 常用的命令1)-moveFromLocal:从本地剪切粘贴到 HDFS[atguigu@hadoop102 hadoop-3.1.3]$ vim shuguo.txt输入:shuguo[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -moveFromLocal ./shuguo.txt /sanguo2)原创 2021-08-18 11:04:47 · 122 阅读 · 0 评论 -
2.1)大数据学习HDFS(背景概念)
1.1大纲1.2 HDFS产出背景以及定义1.3 HDFS优缺点1.4 HDFS组成架构1.5 文件块大小(面试重点)原创 2021-08-18 10:32:55 · 69 阅读 · 0 评论 -
1.7)hadoop学习之常见的错误以及解决方案
1)防火墙没关闭、或者没有启动 YARNINFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:80322)主机名称配置错误3)IP 地址配置错误4)ssh 没有配置好5)root 用户和 atguigu 两个用户启动集群不统一6)配置文件修改不细心7)不识别主机名称java.net.UnknownHostException: hadoop102: hadoop102 at java.n原创 2021-08-18 09:50:51 · 682 阅读 · 0 评论 -
1.6)Hadoop集群启动停止的方式和常用端口号总结
1. 各个模块分开启动/停止(配置 ssh 是前提)常用1.1)整体启动/停止 HDFSstart-dfs.shstop-dfs.sh2)整体启动/停止 YARNstart-yarn.shstop-yarn.sh2.各个服务组件逐一启动停止当强制杀掉服务之后,单独启动单个服务器的某个组件1)分别启动/停止 HDFS 组件hdfs --daemon start/stop namenode/datanode/secondarynamenode2)启动/停止 YARNyarn --d原创 2021-08-17 18:11:58 · 414 阅读 · 0 评论 -
1.5)hadoop学习配置日志的聚集
1.接着4上面我们这配置完了History1.1点击history跳到另一个页面跳到了另一个界面我们点击log按钮就是说没有配置log2.接下来我们开始配置日志聚集2.1配置日志2.2)配置yarn-site.xml<!-- 开启日志聚集功能 --><property> <name>yarn.log-aggregation-enable</name> <value>true</value></pr原创 2021-08-17 17:38:55 · 221 阅读 · 0 评论 -
1.4) hadoop学习配置历史服务器
1.配置mapred-site.xmlvim /opt/model/hadoop-3.1.3/etc/hadoop/mapred-site.xml在该文件中增加如下配置<!-- 历史服务器端地址 --><property> <name>mapreduce.jobhistory.address</name> <value>192.168.10.51:10020</value></property><原创 2021-08-12 18:10:31 · 956 阅读 · 0 评论 -
1.3) Hadoop学习集群崩溃的处理方法
1.先杀死进程jpssbin/stop-dfs.sh #停掉进程2.删除每一个集群hadoop目录下的data和logs文件夹51 52 53 三台服务器同时执行rn -rf data/ logs/3.格式化在51服务器上格式化hdfs namenode -format4.启动进程51服务器sbin/start-dfs.sh......原创 2021-08-12 16:03:02 · 114 阅读 · 0 评论 -
1.2)Hadoop学习(完全分部署运行模式)开发重点
1.准备1.1 把之前在192.168.10.51服务器上解压的jdk推到192.168.10.52,192.168.10.53服务器上去。执行命令 推送在.51上给推送到52服务器上scp -r jdk1.8.0_212/ root@192.168.10.52:/opt/model接下来我们去53服务器上执行拉去命令scp -r root@192.168.10.51:/opt/model/hadoop-3.1.3 ./opt/model2.安装3.配置环境变量4.安装Hadoop原创 2021-08-12 15:24:42 · 246 阅读 · 0 评论 -
1.1) Hadoop单机环境安装与部署测试服务器免密登录
1.准备工作1.1准备三台服务,我这边目前已经准备好啦。我这边配置了三台服务器ip分别是192.168.10.51192.168.10.52192.168.10.53在/opt/下创建两个目录mkdir modelmkdir software2.2把需要的软件拉到software上.........原创 2021-07-29 10:16:30 · 346 阅读 · 0 评论