学习笔记
文章平均质量分 70
Kaqiulee
这个作者很懒,什么都没留下…
展开
-
Spark学习笔记
绿色为接口,蓝色为具体实现类。元组Tuple访问数据 :val t1=(1,2,"a",true,"b")println(ti._顺序号) //用顺序号访问元组第一个元素,从1开始println(t1.productElement(0)) //访问元组第一个元素,从0开始列表 List元素的追加RDD-----即一个装数据的容器是 Spark 提供的最重要的抽象概念,它是一种有容错机制的特殊数据集合,可以分布在集群的结点...原创 2021-10-19 13:19:36 · 249 阅读 · 0 评论 -
Hive学习笔记
Hive(1)SQL 语言大小写不敏感。(2)SQL 可以写在一行或者多行(3)关键字不能被缩写也不能分行(4)各子句一般要分行写。(5)使用缩进提高语句的可读性。遇到问题:Linux下命令行找不到光标的情况可以通过以下命令使得输入数据时,光标出现:echo -e "\033[?25h"想隐藏光标的话:echo -e "\033[?25l"mapreduce计算平均分的流程【大数据】图解MapReduce计算平均分的...原创 2021-10-19 13:13:58 · 180 阅读 · 0 评论 -
Hadoop学习笔记
前期搭建准备:vim /etc/hosts 将IP地址和主机名加入在最后**免密登录的设置https://www.cnblogs.com/wenxingxu/p/9597307.html进入主目录 h1m1 下/root ls -a 查看.ssh .ssh是放密匙的地方,cd进入.ssh/ .ssh/文件夹下,ssh-keygen -t rsa 三次回车(即默认)ssh-keygen 生成密匙 -t rsa 使用rsa算法进行加密------------------------..原创 2021-10-19 13:06:07 · 934 阅读 · 0 评论