![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 89
Echo bigdata
数据科学与大数据技术 本科二年级在读
展开
-
史上最详细的HDFS讲解(含面试重点)
目录第1章 HDFS概述1.1 HDFS产出背景及定义1.2 HDFS优缺点1.3 HDFS组成架构1.4 HDFS文件块大小(面试重点)第2章 HDFS的Shell操作(开发重点)2.1 基本语法2.2 命令大全2.3 常用命令实操2.3.1 准备工作2.3.2 上传2.3.3 下载2.3.4 HDFS直接操作第3章 HDFS的API操作3.1 客户端环境准备3.2 HDFS的API案例实操3.2.1 HDFS文件上传(测试参数优先级)3.2.2 HDFS文件下载3.2.3 HDFS文件更名和移动3.2.原创 2022-07-06 12:26:29 · 1431 阅读 · 0 评论 -
hadoop集群配置(保姆级教学)
目录 1 .集群配置(1)集群部署规划 (2)配置文件说明 (3)配置集群(1)核心配置文件(2)HDFS配置文件(3)YARN配置文件(4)MapReduce配置文件2 群起集群(1)配置workers(2)启动集群(1)格式化NameNode(2)启动HDFS(3)集群基本测试3 配置历史服务器 (1)配置mapred-site.xml(2)分发配置(3)在hadoop102启动历史服务器(4)查看历史服务器是否启动(5)查看JobHistory4 配置日志的聚集(1)配置yarn-site原创 2022-06-27 23:19:29 · 5296 阅读 · 0 评论 -
SSH无密登录配置
目录SSH无密登录配置(1)配置ssh(1)基本语法(2)ssh连接时出现Host key verification failed的解决方法(3)退回到hadoop102(2)无密钥配置(1)免密登录原理(2)生成公钥和私钥(3).ssh文件夹下(~/.ssh)的文件功能解释 [student@hadoop102 .ssh]$ pwd/home/atguigu/.ssh[student@hadoop102 .ssh]$ ssh-keygen -t rsa然后敲(三个回车),就会生成两个文件id_rsa(私原创 2022-06-25 08:48:15 · 321 阅读 · 0 评论 -
编写集群分发脚本xsync
目录 1.scp(secure copy)安全拷贝2 .rsync远程同步工具3. xsync集群分发脚本 (1)需求:循环复制文件到所有节点的相同目录下 (2)需求分析:(a)rsync命令原始拷贝:rsync -av /opt/module student@hadoop103:/opt/(b)期望脚本:xsync要同步的文件名称(c)期望脚本在任何路径都能使用(脚本放在声明了全局环境变量的路径)[student@hadoop102 ~]$ echo $PATH/usr原创 2022-06-25 08:38:47 · 2156 阅读 · 0 评论 -
Hadoop运行环境的搭建(保姆级教学)
目录1.1.模板虚拟机环境准备1.1.1 VMware安装 1.1.2 CentOS1.1.2.1 配置电脑(选择硬件)1.1.2.2 配置电脑安装系统 1.1.2.3 网络配置1.2 克隆虚拟机 1.3 在hadoop102安装JDK1.4 在hadoop102安装Hadoop1.5 Hadoop目录结构 1)利用模板机hadoop100,克隆三台虚拟机:hadoop102 hadoop103 hadoop104 注意:克隆时,要先关闭hadoop1002)修改克隆机IP,以下以hadoop原创 2022-06-20 22:18:36 · 2019 阅读 · 1 评论 -
大数据技术之大数据概论
目录1 、大数据概念 2、大数据特点(5V)3、大数据应用场景 4、大数据发展前景5、大数据部门间业务流程分析6、大数据部门内组织结构 本篇博客是学习尚硅谷的大数据相关课程总结出的一些笔记,希望能加深大家对大数据这门学科的了解!...原创 2022-06-10 16:34:11 · 2033 阅读 · 0 评论