- 博客(30)
- 收藏
- 关注
RSS订阅原创 单机mysql部署完整流程(centos7)
部署流程创建mysql运行时使用的用户mysql安装mysql server程序配置mysql配置文件初始化、启动创建mysql客户端用户创建用户mysqlgroupadd mysqluseradd -r -g mysql mysqlmkdir -p /mysql #创建数据目录chown mysql:mysql -R /mysql #赋予权限安装mysql server程序下载/上传 mysql-5.7.25-linux-glibc2.12-
2021-06-04 15:02:45
397
原创 《Python参考手册》7 类与面向对象编程
文章目录7.1 class语句7.2 类实例7.3 作用域规则7.4 继承7.4.1 多重继承7.5 多态动态绑定和鸭子类型7.6 静态方法和类方法7.7 特性7.8 描述符7.9 数据封装和私有属性7.10 对象内存管理7.11 对象表示和属性绑定7.12 \_\_slots\_\_7.13 运算符重载7.14 类型和类成员测试7.15 抽象基类7.16 元类7.17 类装饰器7.1 clas...
2020-03-05 22:59:42
262
原创 《Python参考手册》6 函数与函数式编程
文章目录6.1 函数6.2 参数传递与返回值6.3 作用域规则6.4 作为对象与闭包的函数6.5 装饰器6.6 生成器与yield6.7 协程与yield表达式6.8 使用生成器与协程6.9 列表推导6.10 生成器表达式6.11 lambda运算符6.12 递归6.13 文档字符串6.14 函数属性6.15 eval(),exec(),compile()6.1 函数函数调用的sum(x,y)...
2020-03-05 22:38:35
263
原创 《Python参考手册》5 程序结构与控制流
文章目录5.1 程序结构与执行5.2 执行条件语句5.3 循环与迭代5.4 异常5.5 上下文管理器与with语句5.6 断言与__debug__5.1 程序结构与执行debug=Trueif debug: def convert(x): return x*xelse : def convert(y): return y**3print...
2020-03-05 21:35:22
153
原创 《Python参考手册》2 词法约定和语法
文章目录2.1 行结构和缩进2.2 标识符和保留字2.3 数字字面量2.4 字符串字面量2.5 容器2.6 运算符、分隔符、特殊符号2.7 文档字符串2.8 装饰器2.9 源代码编码2.1 行结构和缩进程序中每条语句以换行符结束，使用续行符\\可将长语句分为多行。如果程序本身就能识别多行，那么就不需要续行符，例如(...),[...],{...}#续行符a=3\ +4#三引号l...
2020-03-05 14:54:18
157
原创 《数据密集型应用系统设计》笔记-8-流处理
文章目录0 前言1 发送事件流1.1 消息系统1.1.1 生产者与消费者之间的直接消息传递1.1.2 消息代理1.1.3 消息代理与数据库1.1.4 多个消费者1.1.5 确认和重新传递1.2 分区日志1.2.1 基于日志的消息存储1.2.2 对比日志和传统消息系统1.2.3 消费者偏移量1.2.4 磁盘空间使用1.2.5 当消费者跟不上生产者时1.2.6 重新处理信息2 数据库与流2.1 保持系...
2019-08-03 14:43:05
583
原创 《数据密集型应用系统设计》笔记-7-批处理系统
文章目录0.前言1.使用Unix工具进行批处理1.1Unix设计哲学1.1.1统一接口1.1.2逻辑与布线分离1.1.3透明与测试2.MapReduce与分布式文件系统2.1MapReduce作业执行2.1.1MapReduce的分布式执行2.1.2MapReduce工作流2.2Reduce端的join与分组2.3map端join操作2.3.1广播哈希join2.3.2分区哈希join2.3.3m...
2019-07-28 00:42:58
743
原创 《数据密集型应用系统设计》笔记-6-共识问题
文章目录前言一致性保证可线性化线性化的依赖条件(使用场景)实现线性化系统线性化的代价顺序保证顺序与因果关系序列号排序全序关系广播分布式事务与共识原子提交与两阶段提交实践中的分布式事务XA交易支持容错的共识共识算法与全序广播Epoch和Quorum共识算法局限性成员与协调服务节点任务分配服务发现成员服务小结前言分布式系统存在许多可能出错的场景。处理错误的两种思路:停机，向用户提示出错信息;不停机...
2019-07-20 17:48:45
451
原创 《数据密集型应用系统设计》笔记-5-分布式系统的挑战
文章目录前言故障与部分失效云计算和超算不可靠的网络不可靠的时钟墙上时钟(wall-clock time)/单调时钟进程暂停知识，真想与谎言真相由多数决定主节点与锁拜占庭故障理论系统模型与现实算法正确性总结前言这一章的内容是探讨分布式系统普遍存在的一些疑难问题。故障与部分失效单节点系统总是只呈现出两种状态:工作或者出错，它通常不会出现模棱两可的现象，相同的操作通常产生相同的结果(确定性)。...
2019-07-20 15:06:50
358
原创 《数据密集型应用系统设计》笔记-4-事务
文章目录前言深入理解事务ACID含义单对象与多对象事务操作单对象写入多对象事务的必要性处理错误与中止弱隔离级别读-提交防止脏读防止脏写实现读-提交快照隔离与可重复度实现快照隔离一致性快照可见性规则索引与快照级别隔离可重复读与命名混淆防止更新丢失原子写操作显示加锁自动检测更新丢失原子比较和设置(CAS)冲突解决与复制写倾斜与幻读应对写倾斜串行化实际串行执行采用存储过程封装事务分区串行化条件两阶段加锁...
2019-07-07 00:20:08
473
原创 《数据密集型应用系统设计》笔记-3-分布式系统分区
文章目录前言数据分区与数据复制键-值数据的分区基于关键字区间分区基于关键字哈希值分区负载倾斜与热点分区与二级索引基于文档分区的二级索引基于词条的二级索引分区分区再平衡动态再平衡策略为什么不用取模固定数量分区动态分区按节点比例分区自动与手动再平衡操作请求路由并行执行查询前言什么情况下需要对数据进行分区？海量数据或者IO压力非常大的时候。分区也叫分片。在不同系统有不同的称呼:MongoDB，E...
2019-07-06 13:18:49
347
原创 《数据密集型应用系统设计》笔记-2-分布式系统:复制
文章目录基本问题复制与分区第5章 数据复制主从节点同步复制/异步复制增加新的从节点节点失效复制日志的实现基于语句的复制基于预写日志(WAL)传输基于行的逻辑日志复制基于触发器的复制复制滞后问题读自己的写单调读前缀一致读复制滞后问题的解决方案多主节点复制适用场景多数据中心离线客户端操作实时协作编辑处理写冲突拓扑结构无主节点复制节点失效时写入数据库读修复与反熵读写quorum最后写入者获胜(丢弃并发写...
2019-07-06 13:16:28
451
原创 《数据密集型应用系统设计》笔记-1-基础
文章目录总览数据系统基础原则第1章 可靠、可扩展、可维护的应用系统可靠性`Reliability`可扩展性`Scalability`可维护性`Maintainability`第2章 数据模型与查询语言关系模型与文档模型关系/文档数据库比较数据查询语言图状数据模型第3章 数据存储与检索数据库核心:数据结构日志式其他索引(SSTables/LSM-Tree)SSTableLSM-Tree性能优化B-t...
2019-06-20 15:32:08
2068
原创 n维点到直线的距离
点A:[a1,a2,...,an]T=aA:[a_1,a_2,...,a_n]^T=aA:[a1,a2,...,an]T=a,直线方程:WTX+b=0,WT=[w1,w2,...,wn]W^TX+b=0,W^T=[w_1,w_2,...,w_n]WTX+b=0,WT=[w1,w2,...,wn]向量OA=[a1,a2,...,an]TOA=[a_1,a_2,...,a_n]^TOA...
2019-05-04 00:09:26
1685
1
原创 领域模型设计(20190407)
文章目录说明领域模型实践心得领域模型与传统业务分层区别应用场景实践心得(简要)领域模型缺点《领域驱动设计》笔记分层领域模型内常用元素领域模型内关联问题领域模型安全问题好例子代码重用说明业务模型的设计无定式，领域模型设计也不是适应任何业务，对于复杂业务逻辑可考虑使用。领域模型实践心得领域模型与传统业务分层区别使用Spring框架的项目，业务模型通常是：Bean-Service-Dao其...
2019-04-07 15:50:41
2572
原创 pexpect(4.6.0)文档
文章目录说明API结构核心组件创建Spawn方法Controlling the child processrun functionExceptionsUtility Functionsfdpexpectpopen_spawnreplwrappxssh基本用法重要方法说明文档参考(翻译)自官方文档(地址),加入了一些我在使用过程中的心得体会。间略了我认为不重要的内容。间略了我不懂的内容。水平有限...
2019-03-28 20:31:47
1549
原创 概率导论(极限理论)
极限理论讨论的是随机变量序列渐进(在n→∞n\rightarrow \inftyn→∞时的)性质.为使用有限样本进行统计推断提供了理论基础。X1,X2,...,XnX_1,X_2,...,X_nX1,X2,...,Xn是独立同分布的随机变量序列.均值均为μ\muμ,标准差σ\sigmaσ.定义序列SnS_nSn:Sn=X1+X2+...+XnS_n=X_1+X_2+...+X_nSn...
2019-03-24 11:59:00
2166
原创 概率导论(贝叶斯统计推断)
概率导论-贝叶斯统计推断基本问题统计学与概率论贝叶斯统计与经典统计推断模型与推断变量术语解释贝叶斯统计推断流程最大后验概率准则及应用贝叶斯最小均方估计LMS性质多维度(多次观测及多估计参数)线性最小均方估计一元一次函数多观测值和多参数基本问题统计推断是什么？统计推断是从观测数据推断未知变量或未知模型的有关信息的过程。统计推断的用途是什么？统计推断可用于“参数估计”,“假设检验”，“显著...
2019-03-24 11:58:47
2963
原创 概率导论(基础部分笔记)
概率导论1心得1.概率模型1.1样本空间1.2概率律1.2.1 概率率模型-离散模型古典概型条件概率全概率定理和贝叶斯准则独立性2.离散随机变量分布列伯努利分布列随机变量的函数期望均值方差多个随机变量的联合分布在某个条件下的随机变量独立性3.连续随机变量分布函数F(X)正态分布(高斯分布)联合分布条件以事件为条件的随机变量以随机变量为条件的随机变量独立性连续贝叶斯准则4.随机变量的深入内容随机变量...
2019-03-24 11:58:17
1876
1
原创 统计推断-经典统计推断
统计推断-经典统计推断基本问题统计学与概率论贝叶斯统计与经典统计推断模型与推断变量术语解释经典参数估计术语最大似然估计均值和方差的估计置信区间求近似的置信区间基于方差近似估计量的置信区间线性回归最小二乘法合理性贝叶斯线性回归多元线性回归非线性回归线性规划注意事项简单假设检验内曼-皮尔逊引理显著性检验广义似然比和拟合优度检验基本问题统计推断是什么？统计推断是从观测数据推断未知变量或未知模型的...
2019-03-24 01:28:21
5977
2
原创 Java图片处理:网页转图片(HtmlToImage)
Java图片处理:网页转图片需求来源于前端同事跟我反馈整天调试布局样式很难受，希望能有服务端网页转图片的方法。 记录一下研究过程。可选方案及评价。最终选取的方案代码细节不足之处可选方案及评价从以下三个方面考虑：页面效果还原程度是否支持复杂html/js解析中文字体显示效果JEditorPane首先找到的方案是使用java内置的Html解释工具javax.sw...
2019-03-12 15:02:17
10474
1
原创 矩阵计算误差分析(条件数和范数)
矩阵计算误差分析(条件数和范数)引言误差问题是不可避免的，在大量的数据样本中，如果能去掉部分可能造成误差很大的样本，那么对于应用矩阵得到的结果的可靠性则大大加强。例如有999个员工的月收入为10410^4104元，马云的月收入为109{10^9}109元，现在问这1000个人的平均月收入，显然将马云的这一数据去掉，更能反映出总体的平均月收入水平。研究矩阵计算Ax=bAx=bAx=b中的误差问题...
2019-02-02 23:11:35
11706
1
原创 《数学分析八讲》(2)-极限
极限极限定义常量的极限柯西准则基本定理的注记部分极限、上极限、下极限总结极限极限是数学分析最重要的概念之一。可以加深理解极限各种运算的使用条件。原文较难理解，只列出一些我认为关键的内容。定义limx=a\lim x=alimx=a单独的式子的意义还未有精确的定义，limx→ay=b\lim_{ x \to a }y=blimx→ay=b却有精确的定义：无论数b的领域V是怎么样的，都...
2019-01-31 22:40:03
908
1
原创 正定矩阵相关应用-最值问题
最小原理及Rayleigh商简介最小原理Rayleigh商(瑞利商)简介介绍两个与正定矩阵相关的最值问题。最值问题始终是一个值得研究的问题，确定解的问题不是那么多，最优解更具有普适性。最小原理最小原理在物理现象中很常见。重液体一沉到底就是使其势能最小化的结果。这些势能的表达式，正是二次型。研究二次型的最小值问题，是一个常见的求最优解的问题。如果AAA是标量，则函数P(x)=1/2Ax2...
2019-01-06 00:21:45
1708
2
原创 矩阵特征值
简介本文的主要是内容是从矩阵的特征值出发，不断深入与之相关的线性代数知识。为什么要研究矩阵的特征矩阵是一种计算工具，研究矩阵的特征值可以简化矩阵的计算，至于到底能简化什么计算，请往后看。已知序列F是Fibonacci序列：1,1,2,3,5,8,...1,1,2,3,5,8,...1,1,2,3,5,8,...Fk=Fk−1+Fk−2F_k=F_{k-1}+F_{k-2}Fk=Fk−...
2019-01-01 15:43:07
2494
原创 函数空间简介
函数空间简介无限维向量空间相关定义函数空间傅立叶级数其他函数空间函数拟合本文的目的是把有限维矩阵向量空间的思想，扩展到无限维向量空间。并以傅立叶级数为例讨论。无限维向量空间假设3*3矩阵A的列向量线性无关，则矩阵A的列向量构成R3R^3R3空间。现在将线性无关组的向量个数推广到无穷大，即R∞R^\inftyR∞.相关定义对于R∞R^\inftyR∞，需要有一定的限制条件，一个自然的想法是...
2018-12-12 22:58:55
11595
原创 《数学分析八讲》(1)-连续统理论
前言《数学分析八讲》是俄罗斯数学家辛钦(辛钦大数定律的辛钦)的一本书，本人不是数学专业，只是爱好读一读，写一写心得体会。
2018-12-08 16:47:40
3104
原创 最小二乘法
没写完先保存最小二乘法可以解决的问题介绍功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入最小二乘法我会微积分和线性代...
2018-12-06 21:51:53
344
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人