peng4602-CSDN博客

原创 HikariCP参数配置

Configuration (knobs, baby!)HikariCP comes with sane defaults that perform well in most deployments without additional tweaking. Every property is optional, except for the "essentials" marked below...

2018-10-10 16:46:44 1301

原创 Spring Security Reference

Spring Security 参考手册preface 序Spring Security 为基于javaEE的企业级软件应用提供了一个综合的的安全解决方案。当你探索这个参考指南的时候你会发现，我们尝试为你提供一个有用的高度可配置的安全系统。安全是一个永远动态的目标，追求全面的，系统级的方法很重要。在安全领域我们鼓励你采用“安全层”，以便每个层在它自己的权限里尽可能的安全，连续的层提...

2018-07-20 09:14:21 405

原创 oracle 备份

-bash: exp: command not foundvi /etc/environment 修改方法一：export PATH=/ora01/app/oracle/product/11.2.0/db_1/bin:$PATH//配置完后可以通过echo $PATH查看配置结果。生效方法：立即生效有效期限：临时改变，只能在当前的终端窗口中有效，当前窗口关闭后就会恢复原...

2017-07-30 14:00:51 207

原创 hdfs和mapreduce启动的进程名称

hdfsnamenode 通过ip：50070图形化访问datanode 通过ip：50075图形化访问2nd namenode 通过ip：50090图形化访问mapreduce（yarn）resourcemanager 通过ip：8088图形化访问nodemanage 通过ip：8042图形化访问 ...

2017-07-18 20:28:25 610

原创 ubuntu16硬盘扩容

VirtualBox安装了ubuntu16，默认的是8G内存，运行了hadoop以后不够用了，需要扩容。扩容还不那么智能，有点麻烦，主要有几个步骤，1先用virtualbox自带的工具进行扩容，2然后在进行分区的合并，3在分区配置文件中fstab进行配置修改。第一次的时候并没有做分区合并的动作，只是将新增的磁盘作为一个分区挂在到了一个目录下，后来发现要完美解决还是要在原分区上合并。第二次又进行...

2017-07-08 17:02:13 349

原创各虚拟机中配置hadoop的模块

ubuntu-64-10 namenodeubuntu-64-11 datanode1ubuntu-64-12 datanode2ubuntu-64-13 secondarynamenode

2017-07-07 22:34:03 176

原创计算TPCC值的例子（转）

源文地址：http://blog.csdn.net/miyatang/article/details/6387818 参考二：某项目计算实例为了方便计算数据库服务器的造型，我们约定：" 系统同时在线用户数为1500人（U1）； " 平均每个用户每分钟发出2次业务请求（N1）；" 系统发出的业务请求中，更新、查询、统计各占1/3；" 平均每次更新业务产生3个事务（T1）；" 平均每次查询业...

2017-05-18 10:57:36 216

原创看大众点评如何通过实时监控系统CAT打造7*24服务

本文根据尤勇在【QCon高可用架构群】中的分享内容整理而成。尤勇是大众点评网资深工程师，开源监控系统CAT(Central Application Tracking)的开发者，目前主要负责C和大众点评私有云平台的开发。 CAT是一个实时监控系统，它侧重于Java应用的监控，基本接入了点评所有核心应用。CAT已经在中间件框架（MVC框架、RPC框架、数据库框架、缓存框架等）中得到...

2017-05-16 18:00:12 475

原创 Kafka集群partitions/replicas默认分配算法解析（转）

源文地址：http://blog.csdn.net/lizhitao/article/details/417781931. Kafka集群partition replication默认自动分配分析下面以一个Kafka集群中4个Broker举例，创建1个topic包含4个Partition，2 Replication；数据Producer流动如图所示：(1) (2)当集...

2017-05-16 15:27:13 247

原创使用kafka消息队列解决分布式事务(可靠消息最终一致性方案-本地消息服务)（转）...

微服务框架Spring Cloud介绍 Part1: 使用事件和消息队列实现分布式事务不同于单一架构应用(Monolith), 分布式环境下, 进行事务操作将变得困难, 因为分布式环境通常会有多个数据源, 只用本地数据库事务难以保证多个数据源数据的一致性. 这种情况下, 可以使用两阶段或者三阶段提交协议来完成分布式事务.但是使用这种方式一般来说性能较差, 因为事务管理器需要在多个数据源之间...

2017-05-16 14:31:28 667

原创 Java中的ReentrantLock和synchronized两种锁定机制的对比（转）

原文：http://www.ibm.com/developerworks/cn/java/j-jtp10264/index.html多线程和并发性并不是什么新内容，但是 Java 语言设计中的创新之一就是，它是第一个直接把跨平台线程模型和正规的内存模型集成到语言中的主流语言。核心类库包含一个 Thread 类，可以用它来构建、启动和操纵线程，Java 语言包括了跨线程传达并发性约束的构造 ...

2017-05-16 13:02:26 77

原创 redis dump数据优化（转）

redis 改版的项目上线有两个月了,记录一下redis 相关的经验,也给大家一个参照:我们的redis server是一主一从,使用R710的机器,8核心,24G内存; 每天约插入200万左右的数据,现在库里有3000万条纪录,占用了9G的内存;由于现在每天内存增长太快,担心很快会无法负载,因此写了脚本每天将过期数据删除;现在运行中的问题:1.redis运行基本稳定,从没有自己中断过服务,p...

2017-05-15 21:49:56 372

原创保证分布式系统数据一致性的6种方案

问题的起源在电商等业务中，系统一般由多个独立的服务组成，如何解决分布式调用时候数据的一致性？具体业务场景如下，比如一个业务操作，如果同时调用服务 A、B、C，需要满足要么同时成功；要么同时失败。A、B、C 可能是多个不同部门开发、部署在不同服务器上的远程服务。在分布式系统来说，如果不想牺牲一致性，CAP 理论告诉我们只能放弃可用性，这显然不能接受。为了便于讨论问题，先简...

2017-05-14 16:13:54 124

原创 mysql检查死锁

http://blog.sina.com.cn/s/blog_66519bd80102v3ct.html 1、查询是否锁表show OPEN TABLES where In_use > 0; 2、查询进程 show processlist 查询到相对应的进程===然后 kill id 补充：查看正在锁的事务SELECT * FROM ...

2017-04-20 20:47:26 110

原创 10 个非常重要的 HotSpot JVM 参数（转）

https://www.oschina.net/translate/hotspot-jvm-options-java-examples?cmp

2017-04-19 21:00:55 111

原创 jvm部分命令

#列出所有进程信息CMD>wmic process #列出所有Java进程CMD>wmic process where caption="java.exe" 查看jvm某个参数的值jinfo -flag MaxPermSize 2788。显示默认参数java -XX:+PrintFlagsInitial显示我们更改过的参数值。java ...

2017-04-19 21:00:00 86

原创 windows进程命令

#列出所有进程信息CMD>wmic process #列出所有Java进程CMD>wmic process where caption="java.exe" java -XX:+PrintFlagsInitialjava -XX:+PrintFlagsFinal

2017-04-19 18:20:50 191

原创 mysql逻辑结构

mysql逻辑结构

2017-04-19 00:33:11 158

原创高可用架构设计数据存储层七

单机存储引擎哈希存储引擎：数组+链表。readO(1) B数存储引擎：顺序扫描，范围查找 innoDBLSM存储引擎：对于增量数据保存在内存中，达到一定条件存储到硬盘。查询的时候要硬盘内容和内存merge在返回给调用方。通过CommitLog可以保证内存数据丢失后可恢复。数据模型分类：关系型mysql。键值型 Memcached。列存储型Hbase。文档性MongoDB。多机...

2017-04-18 01:05:33 295

原创高可用架构设计逻辑层六

逻辑层的职责，功能上：用户相关：用户登录登出，用户信息设置查询。好友相关：添加好友，删除好友，修改好友。消息相关：收发好友消息，收发陌生人消息等。A给B发消息，先判断B是否把A拉黑，如果拉黑消息直接丢弃。如果没有，还要判断消息是否有涉黄政治病毒等内容，这部分验证交给反垃圾系统来处理。如果通过，接下来判断B用户数是否在线，在线发送到在线队列。离线，发送到离线队列。逻辑层整体架构：ALL IN O...

2017-04-16 17:17:46 174

原创高可用架构设计接入层六

接入层职责：判断请求的接口参数是否完整和合法，判断用户是否登录，接入的攻防例如单位时间内的链接次数。做请求的转发。管理客户端海量长短链接tcp、http、htttps。建立与客户端通信的加密通道。数据合法性正确性校验。整合内部少量的长连接，session管理，实施初步的攻防，请求转发到逻辑层。无状态设计，每层模块动态高扩展，模块冗余，高可用性保证，动态负载均衡，动态切换服务节点，优化（...

2017-04-15 23:25:47 437

原创高可用架构设计CDN五

CDN Content Deliery Network 内容分发网络将内容从源站传输到用户端加速网络访问速度静态资源缓存CDN架构LocalDNS----CDN DNS CANMECDN DNS获取全局负载均衡IP获取局部负载均衡IP找到最优CDN节点IP全局负载均衡服务把CDN节点iP返回给用户用户请求CDN节点，获取数据没有数据请求上一级缓存，直到...

2017-04-15 16:09:00 355

原创高可用架构设计DNS四

DNS Domain Name System 域名ip关系。Hosts文件存储了域名ip的对应关系。服务器内部把域名指向了内部ip。DNS协议：Domain name 指出这个条鱼适用于那个域名；Time to live用来表情记录的生存周期，也就是最多可以魂村记录多长时间；Type：记录的类型 a记录 cname；Value：a记录是ip ，cname是域名...

2017-04-15 14:51:41 666

原创 paxos分布式一致性协议

Paxos究竟在解决什么问题？Paxos如何在分布式存储系统中应用？Paxos算法的核心思想是什么？第一阶段做什么？第二阶段做什么？Paxos用来确定一个不可变变量的取值，取值可以是一个二进制的数据，有点确定经不能改变，并且可以被获取到（不可变性，可读取性）。在分布式存储系统中应用Paxos，数据本身可变，采用多副本进行存储（网络延迟，故障都有可能导致副本不一致）。多个副本的更新...

2017-04-15 00:42:43 128

原创一致性哈希算法（转）

转载请说明出处：http://blog.csdn.net/cywosp/article/details/23397179 一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简单哈希算法带来的问题，使得分布式哈希（DHT）可以在P2P环境中真正得...

2017-04-14 01:43:19 81

原创 Web开发基本准则-55实录-缓存策略（转）

原文地址：http://www.cnblogs.com/zhengyun_ustc/p/rule2.html续上篇《Web开发基本准则-55实录-Web访问安全》。Web开发基本准则-55实录-缓存策略郑昀创建于2013年2月郑昀最后更新于2013年10月26日提纲：Web访问安全缓存策略存储介质连接池业务降级并发请求的处理关键...

2017-04-12 23:52:11 98

原创高可用架构设计硬件三

如何选择硬件互联网主流硬件构成：cpu：32porcessor（8个物理核，每核2个处理器，开启超线程） 2.5GHZ内存：32G>64G>96G>128G硬件：SATA机械盘>SAS机械盘>SSD固态硬盘（300M--500M）价格10倍，IO性能50倍，读写速度越来越快，硬件成本原来越高网卡：100mbs 1000mbslinux ...

2017-04-12 23:51:21 534

原创 MySQL 加锁处理分析（转）

原文地址：http://hedengcheng.com/?p=771 1 背景 11.1 MVCC：Snapshot Read vs Current Read 21.2 Cluster Index：聚簇索引 31.3 2PL：Two-Phase Locking 31.4 Isolation Level 42...

2017-04-12 01:07:08 137

原创高可用架构设计二

架构高可用遇到的问题上线发生数据改动，格式和之间不兼容，回滚也不正常，如何处理？数据库备份。高可用架构为什么需要分层？数据层关系型数据库，NoSQL数据库，缓存。逻辑层根据项目相关。接入层对外暴露API层（用户身份，数据加密，攻防，提供最原始的数据，美化由前端展示）。展示层前端用户展示。高可用架构分层设计原则是什么？功能单一（数据，逻辑，接入，展示）...

2017-04-11 23:35:24 148

原创微服务架构的理论基础 - 康威定律（转）

原文地址：https://yq.aliyun.com/articles/8611概述关于微服务的介绍，可以参考微服务那点事。微服务是最近非常火热的新概念，大家都在追，也都觉得很对，但是似乎没有很充足的理论基础说明这是正确的，给人的感觉是不明觉厉。前段时间看了Mike Amundsen 《远距离条件下的康威定律——分布式世界中实现团队构建》（是Design RESTful API的...

2017-04-11 22:54:20 149

原创高可用架构的手段

1.无状态化服务。2.子系统冗余。3.幂等性设计，一个接口执行同样的数据多次结果相同。数据累加接口，天然不是幂等的。但可以根据累加明细判断是否能再次累加，这样也可以做幂等。4.异步调用。同步请求时，发出请求后整个线程处于等待状态，此时cpu利用率不高。但如果是计算密集型就不要异步。5.超时机制设置。上游调用下游的时候，要求上游要有超时机制。6.分级管理。核心服...

2017-04-11 00:52:55 229

原创 mapreduce初始二

如果一个文件大于hadoop指定的block大小（默认是128M），那么就会被切割。在集群环境里下，假设一个文件被切割成了4块那么，实际存储的时候不一定是4块，hadoop也有可能将将其中的2块合并，行成3块存储。一般情况下mapreduce 会执行本地的块的块，但也有清苦下本地没有块而去执行其他节点上的数据。主要是为集群中的机器能充分利用。hdfsnamenode ip：http:/...

2017-04-09 23:34:05 89

原创 virtualbox 硬盘扩容

virtualbox的动态磁盘分配是指如果你设置了10G，刚开始的时候不会占用10G，随着使用的增加逐渐变成10G。但到了10G就不能再增长了，这时候就需要对硬盘进行扩容了。cd “C:\Program Files\Oracle\VirtualBox”VBoxManage modifyhd "D:\VirtualBox VMs\ubuntu16-64-10\ubuntu16-64-10...

2017-04-08 01:28:58 81

原创 hadoop启动脚本分析

start-all.cmdsetlocal enabledelayedexpansion//@rem是主注释@rem Start all hadoop daemons. Run this on master node.//echo是输出文本echo This script is Deprecated. Instead use start-dfs.cmd and st...

2017-04-04 21:19:12 1061

原创 hadoop启动脚本精华汇总

start-all.cmd --->set HADOOP_BIN_PATH=${hadoop_install}\sbin --->set HADOOP_LIBEXEC_DIR=${hadoop_install}\libexec ===>${hadoop_install}\libexec\hadoop-config.cmd ...

2017-04-04 21:15:51 183

原创 Call From s0/192.168.56.140 to s0:8020 failed on connection exception

ubuntu@s0:~$ hadoop fs -ls /ls: Call From s0/192.168.56.140 to s0:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/...

2017-04-03 21:12:26 1528

原创（转）HDFS 原理、架构与特性介绍

本文主要讲述 HDFS原理-架构、副本机制、HDFS负载均衡、机架感知、健壮性、文件删除恢复机制1：当前HDFS架构详尽分析 HDFS架构 •NameNode •DataNode •Sencondary NameNode 数据存储细节 NameNode 目录结构 Namenode 的目录结构： ${ dfs.name.dir}/curr...

2017-04-03 20:33:29 118

原创 MapReduce介绍

MapReduce分为两个部分一个是map，一个是reduce对应的java类分别是mapper和reducer。MapReduce的特性是对集群内的数据进行并行计算。MapReduce的初识，例如黄匡内的是气象数据。经过第二步初始映射key是行号，value就是数据库，在经过第三步带有实际业务的映射输出把有用的数据抽出，key是年份，value是温度。然后经过shuttle（洗牌...

2017-04-03 09:38:02 145

原创（转）mat使用

原文地址：http://www.jianshu.com/p/d8e247b1e7b2MAT简介MAT(Memory Analyzer Tool)，一个基于Eclipse的内存分析工具，是一个快速、功能丰富的JAVA heap分析工具，它可以帮助我们查找内存泄漏和减少内存消耗。使用内存分析工具从众多的对象中进行分析，快速的计算出在内存中对象的占用大小，看看是谁阻止了垃圾收集器的回收工作，...

2017-04-02 20:15:07 102

原创 jvm性能监控工具

linxu系统下的命令：uptime查看系统运行时间、运行时间、每个终端连接数。1，5，15分钟内系统平均负载，运行队列中的平均进程数。 17:08:15 up 3 min, 2 users, load average: 0.01, 0.03, 0.00 top，同uptime ，cpu内存使用情况，每个进程占cpu的情况。 top - 17:09:21 up 4 m...

2017-04-02 19:01:53 90