![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
学习笔记
文章平均质量分 83
luckboy0000
一个程序员(ง •̀_•́)ง
展开
-
Spark SQL
什么是Spark SQL Spark SQL是spark处理结构化数据的一个模块,它提供了两个编程抽象:DataFrame和DataSet,并作为分布式sql的查询引擎 hive的工作原理是将任务转化 成MR,而Spark SQL是将Spark SQL转化成RDD,然后提交集群执行,效率高 Spark SQL 的特点 1.易整合 2.统一的数据访问方式 3.兼容hive 4.标准的数据连接 什么是DataFrame DataFrame和RDD类似,也是一个分布式数据容器,DataFrame可以体现出数据存放原创 2021-06-07 15:40:06 · 131 阅读 · 0 评论 -
Spark-core
什么是Spark Spark是基于内存的快速,通用,可扩展的大数据分析引擎 Spark的内置模块 Spark Core 是Spark可以离线处理的部分,实现了spark的基本功能,包含任务调度,错误恢复,与存储系统交互等模块。Spark Core 中还包含了对弹性分布式数据集的API Spark SQL 可以使用sql结构化语句来查询数据,支持多种数据源,hive,json等 Spark Streaming 是Spark 对实时数据进行流式计算的组件。提供用来操作数据流的API Spark MLlib 提原创 2021-06-02 11:37:05 · 226 阅读 · 0 评论 -
Yarn详解
Yarn定义 Yarn是一个负责资源调度和任务管理的资源调度平台,它相当于电脑的操作系统,而MapReduce相当于在yarn上运行的应用程序 Yarn基本框架 Yarn主要由RecourceManager,NodeManager,ApplicationMaster,Container等组件构成 Yarn的框架图: 首先客户端向ResourceManager提交作业, ReduceManager会在相对空闲的DataNode上启动一个AppMaster(它相当于此次作业的代理人), AppMaster会将原创 2021-03-17 11:42:42 · 620 阅读 · 0 评论 -
MapReduce详解
MapReduce定义 MapReduce是一个分布式运算程序的编程框架,是用户开发“基于Hadoop的数据分析应用” 在windows下实现wordcount public class WordCountMapper extends Mapper<LongWritable,Text,Text,IntWritable> { @Override protected void map(LongWritable key, Text value, Context cont原创 2020-12-19 16:11:47 · 321 阅读 · 0 评论 -
在Windows环境下安装hadoop | windows下操作HDFS
安装hadoop 1.首先解压hadoop安装包 2.直接配置hadoop环境变量 HADOOP_HOME=hadoop安装路径(不要有中文目录) 在PATH里添加hadoop下bin的路径 3.测试:在cmd窗口 hadoop version 显示版本号则安装成功 maven 1.启动idea 2.建立maven工程 3.在自动生成的pom.xml文件下导包 导包 1.在setting下输入maven,找到它 有settings.xml文件 2.编辑这个文件 修改这两部分 <localReposi原创 2020-12-16 15:31:21 · 365 阅读 · 0 评论 -
HDFS面试题
HDFS的写数据流程 1.客户端向NameNode请求上传文件 2.NameNode判断是否有这个目录,这个目录下是否有这个文件如果有这个文件则无法上传 3.要传300MB的文件首先 请求上传第一个Block(0-128) 4.返回三个节点的,表示用这三个节点保存数据 5.客户端通过FSDataOutputStream模块请求dn1上传数据,dn1收到请求会继续调用dn2,然后dn2调用dn3,将这个通信管道建立完成。 6.dn1、 dn2、 dn3逐级应答客户端。 7.客户端开始往 dn1 上传第一个 B原创 2020-12-14 16:56:13 · 190 阅读 · 0 评论 -
ssh加密协议
SSH协议 SSH是一种网络协议用于密码加密 基本用法 SSH最基本的用法: 例: 用户名:user 登录的远程主机名:host ssh user@host 登录到host主句上的user用户,如果本地的用户名和远程的用户名相同时可以省略用户名 ssh host 退出:exit SSH两种认证方式 基于用户密码的安全认证 ssh user@host 基于密钥的安全认证 使用公钥和私钥对的方式对用户进行认证 ssh-keygen -t rsa 生成钥匙对 这个钥匙对在家目录下有一个隐藏文件夹 .ssh下 s原创 2020-12-07 16:19:25 · 585 阅读 · 0 评论 -
Shell笔记--大全
Shell系统变量 set 查看系统变量 常见的系统变量 HOME:打印用户家目录。 SHELL:显示当前shell类型。 USER:打印当前用户名。 ID:打印当前用户ID信息。 PWD:显示当前所在路径。 TERM:打印当前终端类型。 HOSTNAME:显示当前主机名。 $HOME 打印用户家目录 自定义变量 A=10 定义一个A值为10,10为字符串类型 c=“Hello word” 如果定义的变量中有空格加引号 普通变量可重新赋值 注意: 变量名由字母,数字,下划线组成,首位不能是数字。 变量名和等原创 2020-12-06 10:37:40 · 103 阅读 · 0 评论