juyuyh的博客

事务事务的四大特性原子性: 构成事务的所有操作必须是一个逻辑单元, 要么全部执行, 要么全部不执行.一致性: 数据库在事务执行前后状态都必须是稳定的或者是一致的，从数据库层面理解，操作完的数据必须符合你设置的约束（负数），从业务层面理解，操作映射的业务必须满足真实的规则隔离性: 事物之间不会互相影响. 有锁机制和MVCC机制来实现.持久性: 不管是数据库重启或崩溃，事务执行成功后必须全部写入磁盘。对于一致性的理解一致性是指，事务必须是使数据库从一个一致性状态变到另一个一致性状态。（从一个正常状

Python代码优化尽量使用内置函数改进算法，选择合适的数据结构字典和列表Python 字典中使用了 hash table，因此查找操作的复杂度为 O(1)，而 list 实际是个数组，在 list 中，查找需要遍历整个 list，其复杂度为 O(n)，因此对成员的查找访问等操作字典要比 list 更快。对于列表，在CPython中，列表被实现为长度可变的数组。数组元素为对应对象的指针，增删改查的时间复杂度和C语言的类似。不好记得话可以联想C数组的相关操作过程。为了避免每次有新元素加入li

连接from pyspark import SparkConf, SparkContextimport os# pyspark使用的python环境地址os.environ['PYSPARK_PYTHON']='/usr/local/anaconda3/envs/py36_general/bin/python3'# conf = SparkConf().setMaster("spark://master:7077").setAppName("My App")conf = SparkConf

相关知识物联网等感知技术将数据产生的速度推到顶峰大数据的关键技术主要发生在数据存储与管理(分布式存储)数据处理与分析(分布式处理)大数据计算模式批处理计算(量大)流计算(量不大,连续不断,及时响应)图计算(图结构数据)查询分析计算大数据处理生态hadoop是一个生态系统(mapreduce思想:分而治之)spark是一个单纯的计算框架,和hadoop里的mapreduce(分布式计算框架)对等hadoop的分布式文件系统是完全没问题的spark改进

SQLStructured Query LanguageSELECT - 从数据库中提取数据select col1,col3 from table_name; 按列选择select * from table_name; 选择全部列SELECT * FROM Websites WHERE name IN (‘Google’,‘菜鸟教程’); 选择列在集合中的列，还有NOT INSELECT column_name(s) FROM

Python慢的主要原因解释性语言, 需要边解释, 边执行GIL限制, 不能发挥多核cpu的性能GIL全局解释锁GIL是cpython解释器遗留的问题, 比如jpython解释器就没有GILGIL使每个线程在执行的过程中都需要先获取GIL, 保证同一时刻只有一个线程可以执行代码.线程释放GIL的情况: 在I/O操作等可能会引起阻塞的system call之前,可以暂时释放GIL, 阻塞完毕后, 必须重新获取GIL才能继续执行, Python3使用计时器(当执行时间达到阈值后, 当前线程释

引用计数器为主标记清除和分代回收为辅+缓存机制1. 引用计数器1.1 环状双向链表refchainpython程序创建的任何对象都会放在rechain链表中name = "Adsa"age = 17hobby = ["ads", "dasads"]python内部会为这些对象创建一个结构体[上一个对象,下一个对象,类型,引用个数]比如age = 17 结构体包括[上一个对象,下一个对象,类型,引用个数, val=17]hobby = ["ads", "dasads"] 结构体包括[上

MySQL索引# 1.什么是索引- 官方定义: 一种帮助mysql提高查询效率的数据结构- 索引的优点: 1、大大加快数据查询速度- 索引的缺点: 1、维护索引需要耗费数据库资源 2、索引需要占用磁盘空间 3、当对表的数据进行增删改的时候，因为要维护索引，速度会受到影响# 2.索引分类- a.主键索引 设定为主键后数据库会自动建立索引，innodb为聚簇索引- b.单值索引 即一个索引只包含单个列，一个表可以有多个单列索引 - c.唯一索引 索引列的值

mysql复习关于索引关于python内存回收机制多线程, 多进程, 协程, GIL