- 博客(12)
- 收藏
- 关注
RSS订阅原创 MapReduce模型
MapReduce模型该模型对应的是MapReduce: Simplified Data Processing on Large Clusters论文中提出的模型。mr模型基于分布式文件系统和集群，高吞吐但也存在高延迟的大数据处理模型，map和reduce的思想很值得借鉴。map和reduce任务可以总结为：map：(k1, v1) => list (k2, v2).reduce：(k2, list(v2)) => list(v2).MR流程将输入文件拆分为大小（由
2022-03-25 19:13:07
3527
原创 同步、异步与阻塞、非阻塞
这里所讨论的函数是指，需要等待除CPU之外资源（等待网络包、互斥锁等）的函数，只有这类函数才会出现使得进程进入阻塞状态。等待CPU资源，进程只会从运行态转换为就绪态。根据进程等待函数调用时的状态，函数可以分为阻塞和非阻塞。阻塞：在得到函数返回值之前，该进程处于挂起状态，不属于工作队列（可运行状态进程组成的队列），不会占用CPU资源。非阻塞：进程调用函数之后，无论是否返回结果，进程都会继续运行，进程仍处于可运行状态。根据进程和函数之间的通信机制，函数可以分为异步和同步。同步：进程调用函
2022-03-21 16:06:19
785
原创 MySQL更新操作（InnoDB引擎）
MySQL中的一个表，表的创建语句如下，使用的是InnoDB引擎。create table T(ID int primary key, c int);对于下列这样一条更新语句，MySQL进行了哪些操作？update T set c = c+1 where ID = 2;使和这个表有关的查询缓存失效。开启事务，根据索引选择，选择使用ID索引，经过B+树的查找算法，找到ID=2的这一行，判断该行是否在内存中。如果在内存中，直接到下一步；如果不在，那么尝试将该行数据所在的数据页读入到内存中。若此
2022-03-13 15:08:39
1174
原创 MySQL日志机制
MySQL日志机制在各种系统中，凡是要使用什么，我们都要为其建立一个数据结构，借助数据结构，我们能更深入的了解。MySQL中有几种非常重要的日志：binlog：归档日志，MySQL的server层实现，所有引擎都可以使用，是逻辑日志，记录的是数据操作的原始逻辑。redo log：重做日志，InnoDB引擎实现，是物理日志，记录的是在某个数据页上的操作。undo log：回滚日志，MySQL的server层实现，是逻辑日志，记录的是数据操作的反逻辑，如：delete一条记录，binlog记录的
2022-03-13 14:27:25
1051
原创 贪心算法
贪心算法总结往往伴随着排序贪心选择 + 最优子结构（关键）贪心选择：对子问题进行一系列的局部最优选择。最优子结构：问题的最终解可以转化为子问题的解。作当前来看最好的选择，不从整体最优考虑因此，当尝试使用贪心算法时，无需从全局的角度进行考虑，短视/简单地来看待问题，无需将问题复杂化！局部最优DP和贪心相同点：都要求问题具有最优子结构不同点：贪心使用自顶向下的方式，通过某种策...
2020-04-23 15:25:02
123
原创 背包问题全解析
背包问题阅读崔添翼老师《背包九讲》后，个人所作总结目录01背包完全背包多重背包混合背包二维费用背包分组背包有依赖的背包问题泛化物品背包问题目标的变化01背包题目描述：有N件物品和一个容量为V的背包。放入第i件物品耗费的费用是Ci，得到的价值是Wi。求解将哪些物品装入背包可使价值总和最大。特点：每种物品只有一件，选择放或不放。状态：F[i,v]表示前...
2020-03-30 21:57:35
516
原创 C++ STL 总结（algorithm.h）
algorithmmax()、min()、abs()参数必须是两个，如果要三者最大值，可使用max(x,max(y,z))abs() 只适用int; fabs() 浮点型swap(x,y)reverse()reverse(it,it2) 将数组指针在[it,it2)之间的元素或容器的迭代器进行反转next_permutation()给出全排列中的下一排列，用法如下：i...
2020-03-26 20:33:06
3829
原创 python爬取豆瓣TOP250并保存到Mysql中
代码#!/usr/bin/env python # -*- coding:utf-8 -*-import pymysqlimport requestsfrom bs4 import BeautifulSoupimport lxmldef createDB(): # 创建数据库 print("创建数据库doubantop250...") try: ...
2019-10-13 19:07:17
1236
原创 linux内存管理memory.c 源码注释
/* * linux/mm/memory.c * * (C) 1991 Linus Torvalds *//* * demand-loading started 01.12.91 - seems it is high on the list of * things wanted, and it should be easy to implement. - Linus */...
2019-10-12 09:21:15
941
1
原创 8086中的32位保护模式（一）
概述系统中的各种寄存器标志寄存器EFALGS：控制I/O、可屏蔽中断、调试、任务切换以及保护模式和多任务环境下虚拟8086程序的执行等。全部标志都是保存在标志寄存器中；内存管理寄存器，用于分段内存管理GDTR：全局描述符表寄存器，指向段描述符表GDTLDTR：局部描述符表寄存器，指向段描述符表LDTIDTR：中断描述符表寄存器，指向中断处理向量（句柄）表IDT的入口点，所有中断处理...
2019-09-27 21:35:58
395
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人