Java
zhangchenxiang_
这个作者很懒,什么都没留下…
展开
-
单机mysql部署完整流程(centos7)
部署流程创建mysql运行时使用的用户mysql安装mysql server程序配置mysql配置文件初始化、启动创建mysql客户端用户创建用户mysqlgroupadd mysqluseradd -r -g mysql mysqlmkdir -p /mysql #创建数据目录chown mysql:mysql -R /mysql #赋予权限安装mysql server程序下载/上传 mysql-5.7.25-linux-glibc2.12-原创 2021-06-04 15:02:45 · 405 阅读 · 0 评论 -
《数据密集型应用系统设计》笔记-7-批处理系统
文章目录0.前言1.使用Unix工具进行批处理1.1Unix设计哲学1.1.1统一接口1.1.2逻辑与布线分离1.1.3透明与测试2.MapReduce与分布式文件系统2.1MapReduce作业执行2.1.1MapReduce的分布式执行2.1.2MapReduce工作流2.2Reduce端的join与分组2.3map端join操作2.3.1广播哈希join2.3.2分区哈希join2.3.3m...原创 2019-07-28 00:42:58 · 1219 阅读 · 0 评论 -
《数据密集型应用系统设计》笔记-8-流处理
文章目录0 前言1 发送事件流1.1 消息系统1.1.1 生产者与消费者之间的直接消息传递1.1.2 消息代理1.1.3 消息代理与数据库1.1.4 多个消费者1.1.5 确认和重新传递1.2 分区日志1.2.1 基于日志的消息存储1.2.2 对比日志和传统消息系统1.2.3 消费者偏移量1.2.4 磁盘空间使用1.2.5 当消费者跟不上生产者时1.2.6 重新处理信息2 数据库与流2.1 保持系...原创 2019-08-03 14:43:05 · 594 阅读 · 0 评论 -
《数据密集型应用系统设计》笔记-6-共识问题
文章目录前言一致性保证可线性化线性化的依赖条件(使用场景)实现线性化系统线性化的代价顺序保证顺序与因果关系序列号排序全序关系广播分布式事务与共识原子提交与两阶段提交实践中的分布式事务XA交易支持容错的共识共识算法与全序广播Epoch和Quorum共识算法局限性成员与协调服务节点任务分配服务发现成员服务小结前言分布式系统存在许多可能出错的场景。处理错误的两种思路:停机,向用户提示出错信息;不停机...原创 2019-07-20 17:48:45 · 809 阅读 · 0 评论 -
《数据密集型应用系统设计》笔记-5-分布式系统的挑战
文章目录前言故障与部分失效云计算和超算不可靠的网络不可靠的时钟墙上时钟(wall-clock time)/单调时钟进程暂停知识,真想与谎言真相由多数决定主节点与锁拜占庭故障理论系统模型与现实算法正确性总结前言这一章的内容是探讨分布式系统普遍存在的一些疑难问题。故障与部分失效单节点系统总是只呈现出两种状态:工作或者出错,它通常不会出现模棱两可的现象,相同的操作通常产生相同的结果(确定性)。...原创 2019-07-20 15:06:50 · 367 阅读 · 0 评论 -
《数据密集型应用系统设计》笔记-4-事务
文章目录前言深入理解事务ACID含义单对象与多对象事务操作单对象写入多对象事务的必要性处理错误与中止弱隔离级别读-提交防止脏读防止脏写实现读-提交快照隔离与可重复度实现快照隔离一致性快照可见性规则索引与快照级别隔离可重复读与命名混淆防止更新丢失原子写操作显示加锁自动检测更新丢失原子比较和设置(CAS)冲突解决与复制写倾斜与幻读应对写倾斜串行化实际串行执行采用存储过程封装事务分区串行化条件两阶段加锁...原创 2019-07-07 00:20:08 · 1015 阅读 · 0 评论 -
《数据密集型应用系统设计》笔记-3-分布式系统分区
文章目录前言数据分区与数据复制键-值数据的分区基于关键字区间分区基于关键字哈希值分区负载倾斜与热点分区与二级索引基于文档分区的二级索引基于词条的二级索引分区分区再平衡动态再平衡策略为什么不用取模固定数量分区动态分区按节点比例分区自动与手动再平衡操作请求路由并行执行查询前言什么情况下需要对数据进行分区?海量数据或者IO压力非常大的时候。分区也叫分片。在不同系统有不同的称呼:MongoDB,E...原创 2019-07-06 13:18:49 · 644 阅读 · 0 评论 -
《数据密集型应用系统设计》笔记-2-分布式系统:复制
文章目录基本问题复制与分区第5章 数据复制主从节点同步复制/异步复制增加新的从节点节点失效复制日志的实现基于语句的复制基于预写日志(WAL)传输基于行的逻辑日志复制基于触发器的复制复制滞后问题读自己的写单调读前缀一致读复制滞后问题的解决方案多主节点复制适用场景多数据中心离线客户端操作实时协作编辑处理写冲突拓扑结构无主节点复制节点失效时写入数据库读修复与反熵读写quorum最后写入者获胜(丢弃并发写...原创 2019-07-06 13:16:28 · 465 阅读 · 0 评论 -
《数据密集型应用系统设计》笔记-1-基础
文章目录总览数据系统基础原则第1章 可靠、可扩展、可维护的应用系统可靠性`Reliability`可扩展性`Scalability`可维护性`Maintainability`第2章 数据模型与查询语言关系模型与文档模型关系/文档数据库比较数据查询语言图状数据模型第3章 数据存储与检索数据库核心:数据结构日志式其他索引(SSTables/LSM-Tree)SSTableLSM-Tree性能优化B-t...原创 2019-06-20 15:32:08 · 2239 阅读 · 0 评论 -
领域模型设计(20190407)
文章目录说明领域模型实践心得领域模型与传统业务分层区别应用场景实践心得(简要)领域模型缺点《领域驱动设计》笔记分层领域模型内常用元素领域模型内关联问题领域模型安全问题好例子代码重用说明业务模型的设计无定式,领域模型设计也不是适应任何业务,对于复杂业务逻辑可考虑使用。领域模型实践心得领域模型与传统业务分层区别使用Spring框架的项目,业务模型通常是:Bean-Service-Dao其...原创 2019-04-07 15:50:41 · 2843 阅读 · 0 评论 -
Java图片处理:网页转图片(HtmlToImage)
Java图片处理:网页转图片需求来源于前端同事跟我反馈整天调试布局样式很难受,希望能有服务端网页转图片的方法。 记录一下研究过程。可选方案及评价。最终选取的方案代码细节不足之处可选方案及评价从以下三个方面考虑:页面效果还原程度是否支持复杂html/js解析中文字体显示效果JEditorPane首先找到的方案是使用java内置的Html解释工具javax.sw...原创 2019-03-12 15:02:17 · 10613 阅读 · 1 评论