大数据开发
文章平均质量分 83
Echo bigdata
数据科学与大数据技术 本科二年级在读
展开
-
史上最详细的HDFS讲解(含面试重点)
目录第1章 HDFS概述1.1 HDFS产出背景及定义1.2 HDFS优缺点1.3 HDFS组成架构1.4 HDFS文件块大小(面试重点)第2章 HDFS的Shell操作(开发重点)2.1 基本语法2.2 命令大全2.3 常用命令实操2.3.1 准备工作2.3.2 上传2.3.3 下载2.3.4 HDFS直接操作第3章 HDFS的API操作3.1 客户端环境准备3.2 HDFS的API案例实操3.2.1 HDFS文件上传(测试参数优先级)3.2.2 HDFS文件下载3.2.3 HDFS文件更名和移动3.2.原创 2022-07-06 12:26:29 · 1623 阅读 · 0 评论 -
hadoop集群配置(保姆级教学)
目录 1 .集群配置(1)集群部署规划 (2)配置文件说明 (3)配置集群(1)核心配置文件(2)HDFS配置文件(3)YARN配置文件(4)MapReduce配置文件2 群起集群(1)配置workers(2)启动集群(1)格式化NameNode(2)启动HDFS(3)集群基本测试3 配置历史服务器 (1)配置mapred-site.xml(2)分发配置(3)在hadoop102启动历史服务器(4)查看历史服务器是否启动(5)查看JobHistory4 配置日志的聚集(1)配置yarn-site原创 2022-06-27 23:19:29 · 6018 阅读 · 0 评论 -
SSH无密登录配置
目录SSH无密登录配置(1)配置ssh(1)基本语法(2)ssh连接时出现Host key verification failed的解决方法(3)退回到hadoop102(2)无密钥配置(1)免密登录原理(2)生成公钥和私钥(3).ssh文件夹下(~/.ssh)的文件功能解释 [student@hadoop102 .ssh]$ pwd/home/atguigu/.ssh[student@hadoop102 .ssh]$ ssh-keygen -t rsa然后敲(三个回车),就会生成两个文件id_rsa(私原创 2022-06-25 08:48:15 · 477 阅读 · 0 评论 -
编写集群分发脚本xsync
目录 1.scp(secure copy)安全拷贝2 .rsync远程同步工具3. xsync集群分发脚本 (1)需求:循环复制文件到所有节点的相同目录下 (2)需求分析:(a)rsync命令原始拷贝:rsync -av /opt/module student@hadoop103:/opt/(b)期望脚本:xsync要同步的文件名称(c)期望脚本在任何路径都能使用(脚本放在声明了全局环境变量的路径)[student@hadoop102 ~]$ echo $PATH/usr原创 2022-06-25 08:38:47 · 2207 阅读 · 0 评论 -
Xshell5和Xftp传输工具的安装和配置
通常在工作过程中,公司中使用的真实服务器或者是云服务器,都不允许除运维人员之外的员工直接接触,因此就需要通过远程登录的方式来操作。所以,远程登录工具就是必不可缺的,目前,比较主 1)一直点击下一步,但是有一页收费页,点击免费版,图如下 1)打开安装好的Xshell 2)编辑新链接 3)测试链接 4)连接成功 1)一直点击下一步,但是有一页收费页,点击免费版,图如下 2)出现如下界面表示安装成功 1)打开安装好的Xftp 2)创建新链接 3)编辑新链接 4)测试新链接 出现以上界面表示链接成功,可原创 2022-06-21 16:19:50 · 1811 阅读 · 6 评论 -
一文搞懂什么是Hadoop?Hadoop的前世今生,Hadoop的优点有哪些?Hadoop面试考查重点,大数据技术生态体系
目录1.1 Hadoop 是什么 1.2 Hadoop 发展历史1.3 Hadoop 三大发行版本 1.4 Hadoop优势(4高) 1.5 Hadoop 组成(面试重点) 1.5.1 HDFS 架构概述 1.5.2 YARN 架构概述 1.5.3 MapReduce 架构概述 1.5.4 HDFS、YARN、MapReduce 三者关系 1.6 大数据技术生态体系 1.7 推荐系统框架图 假如说购买一个东西,打开京东首页,购买一个东西,这个购买行为会被记录下来,通过Nginx负载均衡打入到日原创 2022-06-12 18:32:30 · 42607 阅读 · 7 评论