- 博客(49)
- 收藏
- 关注
RSS订阅原创 hdfs学习笔记整理
目录hdfs文件系统 架构图各个组件介绍namenode:集群主节点，管理集群各种数据，维护元数据secondaryNameNode：高可用模式没有journalNode高可用才有DataNode从节点常用文件命令访问hdfs文件的方式1.Api访问文件2.文件系统方式访问数据hdfs文件系统 架构图元数据和...
2019-08-22 17:14:24
297
原创 redis笔记
1.redis数据类型String：字符串 hash：散列 list:集合 Set：集合 Sorted Set: 有序集合redis是单线程运行，所以是线程安全的redis持久化方案快照RDB：在指定的时间间隔内生成数据集的时间点快照（point-in-time snapshot），默认Redis 将数据库快照保存在名字为 dump.rdb的二进制文件 快照是一个压缩的二进...
2019-08-20 23:38:22
85
原创 spark并行度和mapreduce并行度对比
spark和mapreduce的区别mapreduce是多进程模型，即里面的一个task对应一个进程 优点：进程便于更细粒度的控制每个任务的占用资源，但是启动慢 spark是多线程模型，任务以分区为单位，一个分区对应一个task 任务以线程的方式运行，启动快 模型对比 mapreduce 主节点resourcemanager负责分配资源调度 从节点no...
2019-08-20 15:44:06
920
原创 常用垃圾收集器笔记
垃圾收集器多种垃圾收集器，包括：串行垃圾收集器、并行垃圾收集器、CMS（并发）垃圾收集器、G1垃圾收集器串行垃圾收集器serial使用算法：年轻代使用 复制算法， 老年代使用标记整理算法特点： 单线程进行垃圾回收，垃圾回收时，只有一个线程在工作 停顿延迟高 缺点 停顿延迟高：执行回收时所有的Java线程都停止工作 参数设定 -XX:+UseSerialGC 年轻...
2019-08-20 01:24:35
149
原创 JVM垃圾回收和内存划分笔记
内存划分为一下4部分方法区（ 又称永久代，别名非堆） 主要存储类信息、常量、静态变量，字段描述，方法描述 堆内存 基本上new出来的对象都存在这里以及类变量，也是GC的主要区域 栈内存 方法执行时创建虚拟机栈，存储局部变量，方法出入口 程序计数器 每一线程都有一个独立的计数器，是线程私有的内存空间（比较小）存储的正在执行的字节码地址，线程的恢复，跳转，循环等都依赖它实现，如果是nati...
2019-08-20 00:36:58
124
原创 sparkStream重启后获取checkpoint数据的使用问题
学习checkpoint使用是重启时总是获取不到重启之前的值，后来才发现用法不对最开始都是直接创建对象用new 的方式创建对象，代码如下def main(args: Array[String]): Unit = {val conf: SparkConf = new SparkConf().setMaster("local[4]").setAppName("SparkStreamingS...
2019-08-19 02:01:39
824
原创 MapReduce分布式计算框架学习
MapReduce 分布式计算核心思想：分而治之 map 把复杂的任务分成简单的任务，相互之间没有依赖，可以并行计算 reduce 对map阶段的结果机型汇总框架结构图MrAppMaster:负责程序的过程调度以及状态协调 maptask：负责map阶段整个数据处理流程 ReduceTask：负责reduce过程处理MapReduce的变成八个步骤1.读取文件...
2019-08-18 11:34:26
323
原创 hadoop学习hdfs笔记
1.hadoop架构模型hdfs集群 访问地址http://ip:50070/namenode:集群当中的主要节点，主要用于管理集群当中的各种数据; 管理元数据，存在内存中；管理客户端对文件读写请求，决定文件写在哪里，副本存储什么位置； 元数据信息保存在edits，FSImage secondaryNameNode:对hadoop当中的原属句信息辅助管理元数据的，定期...
2019-08-14 23:48:27
179
原创 学习 sparksql 遇到的异常问题
问题描述：启动spark和zookeeper，在客户端以spark-shell --master local[2] 方式启动1. val lineRDD= sc.textFile("/person.txt").map(_.split(" ")) 读取hdfs上的文件将RDD转换成DataFrame 执行rdd.toDF方法报错执行lineRDD.collect方法仍然报错才发现had...
2019-07-16 15:01:43
519
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人