- 博客(76)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 交易结算金额一致性保证
目录一、背景技术和业务的发展是分不开的。业务驱动技术的发展，技术反辅业务的提升。1.1 结算交易产品介绍1.2 为什么要做结算金额的保证1、结算涉及到金钱，一旦金额不一致，则会导致大问题。2、结算涉及的系统链路较长，涉及系统交互如下:以下情况均会引起结算出错： 逻辑错误，如交易在错误的时机发起了结算、结算构造结算信息计算金额错误等 流程中断，如结...
2018-12-19 17:49:48
2969
原创 代码开发规范
目录 一、命名规约1、各层类名命名规约 类型 说明 示例 Mapi数据实体 业务实体 +Do AirportShopGroupDo Web请求返回实体 业务实体 +Bean AirportTaxiBean...
2018-12-19 17:06:45
358
原创 性能优化方法论
目录方法论批量、异构索引、产品规则、简化SQL、加索引、异步写、pipeline一、依赖远程读服务场景1.1 缓存化缓存化适用于依赖服务的性能不满足自身服务SLA的场景。当我们引入缓存后，需要通过一定策略对缓存数据进行更新，有以下三种更新方式：①定期更新，以job的形式定期对全量数据进行更新。②读时更新：在读服务时更新缓存结果。③通知更新：以消息的形式对特定数据...
2018-12-18 14:32:36
986
原创 分布式系统下数据一致性解决之分布式事务
一、定义参考百度百科定义：分布式事务是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。二、分布式事务的理论2.1 CAP理论CAP 是指在一个分布式系统下， 包含三个要素：Consistency（一致性）、Availability（可用性）、Partition tolerance（分区容错性），并且三者不可得兼。 C：Co...
2018-10-22 21:30:42
338
原创 第三方库存数据一致性解决
1、面临的问题1.1 第三方可用性差1.2 网络的不确定性1.3 第三方支持度低 2、解决方案2.1 从无到有，数据全量拉取应用前提:全量数据量少，网络效率高，拉取时间效率可控应用案例：直连平台每n分钟主动拉取供应商下的全部酒店下全部房型信息以及60天内的价格，库存，售卖取消规则等信息。问题:网络不可控，会有中断情况。数据不一致会最大会持续n分钟。定...
2018-09-16 11:27:59
1359
原创 技术规划
1、技术规划目的1.1 指导系统发展技术规划主要针对自己负责业务系统的非功能性问题的计划。有规划可以做到系统以终为始。而不是盲目的生长。1.2 解决系统问题技术规划是为了整理出当前系统遇到的问题，并能对问题归类排序后逐步优化2、技术规划的方法...
2018-09-08 17:27:47
1206
原创 系统设计
1、系统设计目的1.1 解决问题: 从业务角度解决产品功能问题，从技术角度解决非功能性问题1.2 用于评审: 通过对方案评审，对质量进行把控，并对参与系统开发的人达成一致1.3 用户归档: 使系统具有延续性，并能使其他人更好的理解系统2、系统设计流程2.1 识别问题方案设计的首要目的是解决实际问题。要解决的问题可以从两方面考虑：功能性方面；非功能性方面。 功能性方...
2018-09-08 17:26:54
251
原创 技术方案设计规范
目的这个文档用于描述方案的详细设计，包含但不仅限于对架构图的影响、关键系统功能的实现方式（功能维度和非功能维度 背景介绍简单文字介绍 + tapd链接 架构变更业务用例图需要体现本次需要中公司对外部用户带来的价值功能点 业务用例时序图需要体现出系统的边界，即每个功能需要经过哪些系统的合作如果是基于现有系统的改造，需要标记处变化的点 功能...
2018-09-08 17:25:54
3785
原创 目标拆解
一、定明确的目标1.1 目标定优先级1.2 目标不能限定为自己伸手就能够得着的二、找出阻碍实现目标的问题2.1 不要逃避问题2.2 精准地找到问题所在2.3 不要把问题的某个原因误认为是问题本身2.4 问题必须排序三、准确诊断问题，找到问题的根源3.1 先把问题弄明白，多问几个为什么3.2 区分直接原因和根本原因四、规划可以解决问题的方案4.1 先回...
2018-09-08 17:21:09
443
原创 面试、被面试的技术总结
初级、中级 类型 团队 问题 期望 框架相关 后端开发 框架怎么配置？ 框架解决什么问题？ 框架内部实现的原理是什么？ 知道怎么使用框架 ...
2018-09-08 15:57:44
408
原创 Sonar+Maven+Jenkins的安装与部署
准备工作整套环境需要如下几个东东：1.一台服务器，对配置什么的没太大要求，能用就行。。（在cloud.sankuai.com申请就行了，我申请的是一个ubuntu的测试机）2.Mysql。（我自己在测试机上部署了一个）3.Jenkins 4.Maven （3.1）5.SonarQube （我用的是4.0版本的，官网可下http://www.sonarqube.org）...
2018-08-30 14:25:49
784
转载 基于jenkins搭建集成环境
转载自:https://www.ibm.com/developerworks/cn/java/j-lo-jenkins/持续集成概述什么是持续集成随着软件开发复杂度的不断提高，团队开发成员间如何更好地协同工作以确保软件开发的质量已经慢慢成为开发过程中不可回避的问题。尤其是近些年来，敏捷（Agile） 在软件工程领域越来越红火，如何能再不断变化的需求中快速适应和保证软件的质量也显得尤其的...
2018-08-30 14:21:01
167
原创 生产web应用java内存及回收配置
JAVA_OPTS="$JAVA_OPTS -server -Xms1g -Xmx1g -XX:NewSize=512m -XX:MaxNewSize=512m -XX:PermSize=256m -XX:MaxPermSize=256m -Dfile.encoding=UTF-8 -XX:+AggressiveOpts -XX:+UseBiasedLocking -XX:+DisableEx
2017-09-18 21:26:34
463
原创 微信小程序开发
一、官方文档学习 1、介绍 https://mp.weixin.qq.com/debug/wxadoc/introduction/index.html 2、设计 https://mp.weixin.qq.com/debug/wxadoc/design/index.html 3、开发 https://mp.weixin.qq.com/debug/wxadoc/dev/inde
2017-02-24 18:59:20
685
转载 sed替换字符
sed -i s/"str1"/"str2"/g `grep "10.21.11.251" -rl --include="config" ./`将当前目录下(包括子目录)的所有config文件中的str1字符串替换为str2字符串。参数解释: sed:-i 表示操作的是文件，``括起来的grep命令，表示将grep命令的的结果作为操作文件s/"str1"/"
2017-02-08 10:24:48
847
原创 java反射机制
java的反射主要使用了以下几个类：Class Method Constructor Field。顾名思义：Class 是类，可以通过以下几种方式取得：Class.forName("xx");MyModel.classConstructor是构造函数，可以通过此构造函数实例化一个类:Constructor.newInstance(Object ... initargs
2016-06-14 19:06:49
413
原创 从AtomicInteger源码看线程安全
一、当我们在说线程安全时，我们必须谈到线程安全的两个要素：1、操作的原子性。一个操作(可能包含多个子操作)要么全部执行，要么全部不执行。一个经典的案例是：比如A和B两人，银行账户都有100块，在同一时间,A向B转100块钱，B向A转100块钱。如果转账操作不是原子性的，则在A向B转账时，取得B账户的钱是100，再加100是200;B向A转账时，取得A账户的钱是100，在加100是2
2016-06-14 17:40:07
2771
原创 setInterval的停止方法
网上查了一些资料，很多都是误导人的。现在把正确方法贴上来建立定时任务 var referId = window.setInterval(function() { //dosomething1 },3000); 停止定时任务clearInterval(referId);
2015-05-08 17:32:23
4278
原创 解决ext textarea下拉框自动下拉
由于ext的textarea没有scrollTop属性，所以比较麻烦，代码如下：{ xtype : 'textareafield', name : 'log', id : 'log', region :'center', autoSc
2015-05-08 17:17:22
2144
原创 Hadoop 从零开始学习系列-bulk load研究
以下场景适合应用bulk load1.大批量数据导入，可以适用bulkload 来减轻regionserver的负载第一步，把HDFS文件转化成Hfile文件，第二步，把Hfile文件move到hbase里代码如下：package com.cloudera.examples.hbase.bulkimport;import java.io.IOException;
2015-04-16 17:38:32
1616
原创 Hadoop 从零开始学习系列-hive与hbase外部关联表建立及数据导入
由于项目中要把统计的结果提供给外部使用，由于hive查询启动mapreduce等等太慢，所以考虑把数据导入到hbase，用hbase实现。其中调研过用bulkload来把数据导入hbase。这个下篇再记。此篇只记hive建立外部表及数据导入建立外部表的sqlcreate table test_outside (key string,sip string,cip string) stor
2015-04-16 17:19:48
3364
原创 hdfs性能调优
参照官方文档：http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_yarn_tuning.html1）对YARN调优：我们实际是2颗CPU，一共24核心数，上面的服务用掉了5核，还剩下24-5=19核心我们实际的64G的内存，64-1-1-（64*
2015-03-20 17:47:32
8095
原创 Cloudera Manager 5.3.2 和 CDH5.3.2 环境配置
系统环境9台DELL R720xd服务器（192.168.3.245-253），1台R410master节点（192.168.3.243）网卡：1000M9台DELL R720xd服务器各有12*4T磁盘。网络环境内网Centos6.6 x64 (Final) 1、准备工作卸载系统自带OPEN-JDK（所有节点）安装好的Centos系统有时会自动
2015-03-20 17:43:17
5160
原创 mysql实现nextVal功能
首先创建表：CREATE TABLE `sys_sequence` ( `NAME` varchar(50) NOT NULL, `CURRENT_VALUE` int(11) NOT NULL DEFAULT '0', `INCREMENT` int(11) NOT NULL DEFAULT '1', PRIMARY KEY (`NAME`) )插入记录IN
2015-03-12 22:33:30
41925
原创 Hadoop 从零开始学习系列-旧版本hadoop工程升级新版本问题及解决
由于hadoop版本升级，运行在旧版本机器上的程序在新版本下不能运行，需要更新jar包版本。由于之前程序引用jar包，配置文件太散，导致现在更新升级特别麻烦。先把升级过程中遇到的问题记录如下:1.protobufjar包版本问题，错误信息如下这个jar包是一个google大牛所开发。由于hadoop相关的jar包升级，需要对此jar包升级。2.现在还不知道是什么
2015-01-28 17:45:01
777
原创 Hadoop 从零开始学习系列-hive从元数据生成表结构、分区等建表语句
继上一章说到倒完数据后，这次需要把表结构及分区信息迁移到新集群上，并且load数据。由于表个数及分区个数太多。所以必须通过元数据生成建表及分区语句。元数据的配置在hive-site.xml配置图如下：此处使用pgsql来存储。所有的元数据表如下：其中比较重要的表为：TBLS：存储所有表信息的表PARTITION_KEYS：存储所有分区的key
2015-01-26 13:48:10
2742
2
原创 Hadoop 从零开始学习系列-hadoop版本升级之文件迁移
此次版本从Hadoop2.0.0-cdh4.7.0升级到Hadoop 2.0.0-chd5.3.0 此文只说hadoop部署后文件迁移，有两种方式，一种是distcp,另一种是fastcopy，但是fastcopy需要用facebook的jar，且这个fastcopy.java类还依赖了其他的包中的类，感觉太麻烦，所以没深入研究，不知道各位看官是否有方法。1.distcp先把dis
2015-01-13 11:45:04
2909
原创 Hadoop 从零开始学习系列-wordCount
学习基于hadoop2.5.2版本WordCount做为hadoop的hello world程序，今天花了半天时间，终于跑出了结果，以下记录过程:1.建立maven工程，加载hadoop相关jar包。目录结构如下：pom.xml配置如下：<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="h
2015-01-09 16:20:42
2004
1
转载 linux机器间文件拷贝
转载自：http://www.cnblogs.com/erhsh/archive/2011/02/14/1954477.html设有两台机器：A: *.101及 B: *.102。把A下的/temp/var/下的所有文件拷贝到B机器/test/目录下：进入B机器：scp root@*.101:/temp/var/* /test/或进入A机器：scp /tem
2015-01-09 15:33:05
575
转载 mysql 中时间和日期函数
转载自：http://www.cnblogs.com/redfox241/archive/2009/07/23/1529092.html一、MySQL 获得当前日期时间 函数1.1 获得当前日期+时间（date + time）函数：now()mysql> select now();+---------------------+| now()
2015-01-04 14:13:55
464
转载 CentOS yum 源的配置与使用
转载于：一、yum 简介 yum，是Yellow dog Updater, Modified 的简称，是杜克大学为了提高RPM 软件包安装性而开发的一种软件包管理器。起初是由yellow dog 这一发行版的开发者Terra Soft 研发，用python 写成，那时还叫做yup(yellow dog updater)，后经杜克大学的Linux@Duke 开发团队进行改进，遂
2014-07-18 10:35:11
485
原创 CentOS下Could not update ICEautority file /var/lib/gdm的解决办法
1.启动linux时 发现出现以下错误信息
2014-04-17 11:23:55
2267
原创 ORACLE性能优化之SQL语句优化
操作环境:AIX +11g+PLSQL包含以下内容：1. SQL语句执行过程2. 优化器及执行计划3. 合理应用Hints4. 索引及应用实例5. 其他优化技术及应用
2014-04-16 16:53:08
26988
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人