牧牧牧牧牧-CSDN博客

原创 CSAPP学习笔记 day1

文章目录课程一综述课程二bits，byte，integer浮点数表示位运算加减运算乘法运算（同样是4bit）课程一综述[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TLBJAlgi-1618152935744)(C:\Users\10736\AppData\Roaming\Typora\typora-user-images\image-20210409185015611.png)]for(i=0;i<n;i++){ for(j=0;j<n;j++)

2021-04-11 22:56:49 138

原创 Redis学习笔记之Epoll

文章目录Redis epolllinux5种IOredis epoll调用流程Redis epolllinux5种IOIO个人理解的Socket的读取方式，将socket中的数据拷贝到内核态，再从内核态拷贝到用户态（程序中）。同步阻塞IOlinux下使用man bio命令，可以得到如下描述A BIO is an I/O abstraction, it hides many of the underlying I/O details from an application. 表示是一

2021-04-02 22:05:00 209

原创 java学习笔记（3）

文章目录jdk、jre、jvm==和equals区别finalstring、stringbuffer、stringBuilder重载和重写抽象类和接口list和sethashCode和equalsarraylist和linkedlisthashmap和hashtableconcurrenthashMapIOCjava类加载器双亲委派java中异常gc如何判断对象可以回收线程的声明周期sleep/wait/join/yieldthread和runable守护线程ThreadLocal的原理threadloca

2021-03-17 16:55:30 105

原创 java学习笔记之虚拟机(1)

文章目录Java虚拟机堆栈（线程）本地方法栈方法区程序计数器字节码引擎垃圾回收算法可达性分析minor gc 收集年轻代垃圾full gc 收集老年代垃圾STW(Stop the word)Java虚拟机堆保存各个对象年轻代，老年代 1：2年轻代：eden：s0：s1 8：1：1默认对象存在eden区每次minor gc运行一次就会让eden对象转移到s1,s0,然后每次运行年龄加1，达到15就会达到老年代s1 s0一次性存放不下的大对象也会被存入老年代栈（线程）存放线程栈

2021-03-17 16:49:36 67

原创 Hive语句到MR的执行过程笔记

hive执行到mr的过程hive SQL 经过SQL parser 语义解释器，然后生成AST（抽象语法树）接着编译器AST生成逻辑执行计划优化器对逻辑执行计划进行优化（优化合并不必要的ReduceSinkOperator）减少shuffle数量执行器再对逻辑执行计划进行实际的执行，即MR和Spark可使用explain命令查看语法树细说就是Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树AST Tree 遍历AST Tree，抽象出查询的基本组成单元Q

2021-03-15 23:16:07 487

原创 Zookeeper一致性协议

文章目录zookeeper一致性协议ZABZAB协议介绍消息广播崩溃恢复数据同步zookeeper一致性协议ZABZAB协议介绍ZAB协议（zoo原子广播协议）zookeeper是一个分布式应用提供高效而可靠的分布式协调服务。协议主要是两个方面崩溃恢复原子广播所有客户端写入的数据都是写到主进程中（和Raft类似）只要有一半的follower返回ack，leader就能够提交确认当leader可用则进行消息广播，不可用则崩溃恢复消息广播二阶段提交，所有

2021-03-15 23:14:31 104

原创 java学习笔记（2）

java sleepjava sleep不会释放锁wait会释放锁多态的概念一个接口多种实现方式不同实例实现同一个接口应用不同功能抽象类和接口参数抽象类接口默认的方法实现它可以有默认的方法实现接口完全是抽象的。它根本不存在方法的实现实现子类使用extends关键字来继承抽象类。如果子类不是抽象类的话，它需要提供抽象类中所有声明的方法的实现。子类使用关键字implements来实现接口。它需要提供接口中所有声明的方法的实现构造器抽象类可以有构造

2021-03-15 23:13:16 59

原创 Spark学习笔记-内存管理

文章目录Spark内存管理堆内内存和堆外内存堆内内存堆外内存统一内存管理机制Spark内存管理执行spark程序时spark集群会启动Drive和Executor两种JVM，前者为主控后者为计算执行进程主要说明计算任务内存管理堆内内存和堆外内存堆内内存jvm虚拟机分配给Executor的内存，共享的堆内存Storage：缓存RDD和广播变量Execution：执行Shuffle占用的内存剩余空间：Spark内部的对象实例和用户自定义的对象实例spark submit参数配置：

2021-03-14 16:05:05 62

原创 JAVA学习笔记

文章目录方法重写重载杂项记录多线程静态代理模式注解：初始化：类加载到内存过程：方法重写指子类重写父类方法，实例变量和静态方法跟随左边，非静态类方法跟随右边；方法名和参数必须相同A a = new A();B b = new A();如果子类重写了相同的方法，调用时会调用子类方法。构造方法是与类同名的函数方法，子类重写时，拥有的构造方法父类必须拥有。重载同类中参数不同函数名相同，调用时会自动调用对应的。杂项记录instanceof（A，B） A是否时B的子类 A指代的是实

2021-03-12 18:14:59 71

原创 Kafka学习笔记

文章目录kafka对比Rocket:kafka订阅模式：kafka架构：Kafka基础命令基本概念ack应答机制（ acks配置参数）：关键名词解释故障处理exactly one消费模式：zookeeper的作用生产者事务其他知识kafka对比Rocket:Nameserver:只有路由信息和各个节点信息储存、Brokers信息、topic和broke的信息broker：提供Topic和Queue机制，支持主从容错机制，主要负责Topic消息的存储、管理、分发，单个broke和- 所有Namese

2021-03-12 18:06:51 91

原创 flink学习笔记

文章目录基础知识flink 状态:flink容错机制状态一致性end to end一致性：基础知识物理执行图（在各个TaskManager上部署Task后生成的图，并不是一个数据结构）并行度相同的one-to-one任务可以合并成一个大任务（减少数据传输）disablechaining():强制不合并，前后都断开（针对任务资源消耗大的）startnewChain()：从当前任务断开不合并slotshareingGroup（）：同一个共享组任务可以共享slot，不同的共享组不能共享slot默

2021-03-12 17:49:07 368

原创 go学习笔记day3

文章目录jsongoroutine设计策略channel无buffer有buffer管道关闭select 和 channeljsonpackage mainimport( "fmt" // "reflect" "encoding/json")type User struct{ Id int `json:"id"` Name string `json:"name"` Age int `json:"age"` Family []string `json:"family"`}fun

2021-03-05 19:52:56 56

原创 go学习记录day2（2）

文章目录万能类型golang pair反射万能类型interface{}func myfunc(arg interface{}){ value,erro := arg.(string) //判断arg是否是string interface{}独有}//可以传递任意类型的参数golang pairgolang每个变量都是由type-value组成 type又分为static和concretetype Reader interface{ ReadBook()}type W

2021-03-03 21:09:11 80 1

原创 go学习笔记day2(1)

文章目录mapstruct继承多态maptestMap:=make(map[string]string)//定义delete(testMap,key)//删除map在作为参数传递给函数时是传递的引用即指针，指向的是同一块内存地址的值structtype myint int //声明一种类型或结构体该语句表示将int取别名为myinttype mystruct struct{ a string b string }结构体在做为参数传递时不是传递的指针，而是传递的副

2021-03-03 14:15:11 94 1

原创 go学习记录 day1

文章目录局部变量的声明全局变量声明常量和iota返回值init函数import导入的问题指针defer局部变量的声明//1var a inta = 100// 2var b int = 100// 3var c = 100// 4d := 100全局变量声明全局变量声明只能使用1，2，3方法，方法4只能用于局部变量声明常量和iota在变量前加constconst b int = 10const( a = iota b c d)fm

2021-03-02 21:18:17 62

原创 Redis学习笔记

Nosqlnot only sql 泛指非关系型数据库使用map<String,Object>键值对控制redis介绍是一个开源的内存中存储数据结构存储系统，可用作数据库，缓存，消息中间件支持多种数据结构：string，hash，list，set，sorted set,bitmaps,hyperloglogs内存存储、持久化，内存中是断电即失、持久化很重要（rdb、aof）效率高，可用于高速缓存，发布订阅系统计时器、计数器redis-benchmark -h localho

2021-03-01 22:26:19 95

原创 Zookeeper笔记

半数机制：集群中半数以上机器存活集群可用。指定一个机器为leader选举机制：顺序启动服务器，半数以上启动时id数最大的为leader节点类型：持久:客户端和服务器端断开连接后，创建的节点不删除短暂：客户端和服务器端断开连接后，创建的节点自己删除监听器原理：首先一个主进程main()在main线程中创建Zookeeper客户端创建两个线程connet和listenerconnet将组测的监听事件发送给zookeeper,zookeeper将事件添加到监听器列

2021-01-31 19:01:22 58

原创 Spark框架基本知识总结

RDDRDD闭包检测：检查闭包内对象是否可以序列化进行网络传输血缘关系:当部分分区数据丢失时，根据血缘关系图，重新生成数据分区宽依赖（父亲（前）有多个儿子（后）窄依赖（父亲最多只有一个儿子）任务划分：Application：初始化一个sparkcontext就会生成一个applicationjob:一个action算子就会生成一个jobstage：等于宽依赖个数加1task：一个stage中最后一个rdd的分区个数就是task的个数RDD检查点对RDD进行的

2021-01-31 16:50:59 311 1

转载 filter过滤字符串技巧

candidate = ‘dade142.;!0142f[.,]ad’filter(str.isdigit, candidate)　　#保留数字‘1420142’filter(str.isalpha, candidate)　　#保留字母‘dadefad’filter(str.isalnum, candidate)　　#保留数字字母‘dad...

2021-01-31 16:24:54 1326

原创 Spark算子笔记

Spark算子Transformation: map:返回一个新的RDD，经过一个新的Fun函数转换之后组成RDD=sc.parallelize（rdd） rdd2 = rdd.map(fun)mapPartitions:将数据分区为单位发送到计算节点（减少网络传输，可能造成内存不足）mapPartitionsWithIndex:以分区发送处理并能获得当前分区索引号flatmap:数据扁平化映射处理返回一个序列（list）glom：将数据转换为相同类型的数组进行处理

2021-01-31 16:21:19 82

原创计算机基础知识整理笔记

数据库ACIDA 原子性：事务只能提交或者未提交C 一致性：执行前后都必须处于一致状态例如a-1 b+1 如果a-1失败 b+1也必须失败I 隔离性：多个事务之间不互相影响D 持久性：事务一旦提交，改变为永久语法left join：on后面的约束语句只会影响右表如果要对结果表进行筛选必须用where right join同理in 和 exists：in 是先查询子查询然后内表外表做一个笛卡尔积子查询比较小情况适用exists是先执行外部表的查询，然后在子查询中做外

2021-01-31 16:06:46 1090

原创从零开始学习hive语句

链接: 参考sql语句原文链接建表语句参考链接原文，自行转换为hive。*# 查询‘01’课程比‘02’课程成绩高的学生的信息及课程分数SELECT st.*,sc.s_score '语文',sc2.s_score '数学'from student st LEFT JOIN score sc on st.s_id = sc.s_id and sc.c_id = '01' left join score sc2 on st.s_id = sc2.s_id and sc2.c_id = '02'w

2020-11-24 13:25:25 173

原创 python【windows】OSError: [Errno 22] Invalid argument:

问题:windows平台下使用python open函数a+模式打开文件报错“OSError: [Errno 22] Invalid argument: codename = 'code'+time.strftime('%Y-%m-%d-%H:%M:%S', time.localtime(time.time()))+'.txt' with open(codename, 'a+') as f:...

2020-02-11 13:05:39 435

原创 sklearn决策树与随机森林参数及规则提取模型可视化（初体验）

决策树import osimport pandas as pdimport numpy as npfrom sklearn import treefrom sklearn.tree import _treefrom sklearn.model_selection import train_test_splitfrom sklearn.feature_extraction import...

2020-02-10 15:51:46 3443 2

m0_37872998的博客