- 博客(60)
- 收藏
- 关注
RSS订阅转载 支付结算系统如何应对高并发、热点账户等问题
互联网金融系统的核心是支付结算，而支付结算的基础又是账户系统。金融账户系统的特点是并发量大、响应快、交易金额大，热点账户问题突出。一个合格的账户系统既要解决上述问题，又必须绝对保证资金安全。作为宜信这家互联网金融公司的支付结算中心，其账户系统也必须具备上述特征。一、账户体系1.1 账户结构宜信支付结算账户体系是客户、用户、账户三层结构，证件号和证件类型唯一确定一个客户，客户号和机构号确定一个...
2019-09-16 10:33:19
658
转载 基于Selenium+Python的web自动化测试框架
一、什么是Selenium？Selenium是一个基于浏览器的自动化测试工具，它提供了一种跨平台、跨浏览器的端到端的web自动化解决方案。Selenium主要包括三部分：Selenium IDE、Selenium WebDriver 和Selenium Grid。Selenium IDE：Firefox的一个扩展，它可以进行录制回放，并把录制的操作以多种语言（例如java、python等）...
2019-09-12 09:56:01
196
转载 SIA-GateWay之API网关安装部署指南
SIA-GATEWAY是基于SpringCloud微服务生态体系下开发的一个分布式微服务网关系统。具备简单易用、可视化、高可扩展、高可用性等特征，提供云原生、完整及成熟的接入服务解决方案。本文介绍API网关的安装部署。微服务与网关技术（SIA-GateWay）一、环境1.1 编译环境Maven3+nodejsJdk1.8+1.2 运行时第三方依赖Mysql5.6+elast...
2019-09-11 14:36:28
366
转载 MyCat数据库的基础配置及使用
一、为什么需要分布式数据据库随着计算机和信息技术的迅猛发展，行业应用系统的规模迅速扩大，行业应用所产生的数据量呈爆炸式增长，动辄达到数百TB甚至数百PB的规模，已远远超出传统计算技术和信息系统的处理能力，集中式数据库面对大规模数据处理逐渐表现出其局限性。因此，人们希望寻找一种能快速处理数据和及时响应用户访问的方法，也希望对数据进行集中分析、管理和维护。这已经成为迫切需求。分布式数据库是在集中式...
2019-09-10 14:52:43
429
转载 WEB-UI自动化测试实践
一、设计背景随着IT行业的发展，产品愈渐复杂，web端业务及流程更加繁琐，目前UI测试仅是针对单一页面，操作量大。为了满足多页面功能及流程的需求及节省工时，设计了这款UI 自动化测试程序。旨在提供接口，集成到蜗牛自动化测试框架，方便用例的设计。整个程序是基于 selenium 设计的。程序对 selenium 提供的接口进行了二次封装以满足日常的用例设计，二次封装后的接口解决了元素加载，元素定...
2019-09-09 14:24:32
84
转载 海量数据搜索---demo展示百度、谷歌搜索引擎的实现
在我们平常的生活工作中，百度、谷歌这些搜索网站已经成为了我们受教解惑的学校，俗话说得好，“有问题找度娘”。那么百度是如何在海量数据中找到自己需要的数据呢？为什么它搜索的速度如此之快？我们都知道是因为百度的搜索引擎，那么搜索引擎到底是个什么东西呢？可能有的程序员会想到es，但是es并不能代表搜索引擎，它只是其中的一种工具，不过这种工具确实好用，效率很高。本文会向大家讲述搜索引擎的基本知识以及中文分...
2019-09-06 10:11:54
309
转载 如何运用PHP+REDIS解决负载均衡后的session共享问题
一、为什么要使用Session共享？稍大一些的网站，通常都会有好几个服务器，每个服务器运行着不同功能的模块，使用不同的二级域名，而一个整体性强的网站，用户系统是统一的，即一套用户名、密码在整个网站的各个模块中都是可以登录使用的。各个服务器共享用户数据是比较容易实现的，只需要在后端放个数据库服务器，各个服务器通过统一接口对用户数据进行访问即可。但还存在一个问题，就是用户在这个服务器登录之后，进入另...
2019-09-05 11:33:20
139
转载 Agentless监控实践中的预警指标采集
很多公司已经开发了监控解决方案，解决了指标收集、展示、预警发送等一系列问题。本文介绍的监控解决方案由高性能时序数据库InfluxDB、时序分析监控工具Grafana及Agentless自动化工具Ansible构成：Ansible负责不间断抓取服务器硬件指标数据，并将数据存储在数据库InfluxDB中；时序分析监控工具Grafana负责从InfluxDB中读取并展示指标数据，设定阈值，配置预警。...
2019-09-04 10:40:42
78
转载 82天突破1000star，项目团队梳理出软件开源必须注意的8个方面
近期，我们在GitHub上开源了微服务任务调度框架SIA-TASK，82天，收获了1000+个star！由于这是SIA团队第一次开源项目，开源的相关工作，团队之前并没有太多的经验，因此我们特别整理了本次开源的各种记录事项，希望给今后开源的项目做参考。关键步骤开发协议安全扫描文档版本号开源后期迭代下面我们逐个步骤进行阐述。一、开发在开源项目的开发过程中要注意以下几点：...
2019-09-03 11:21:51
80
转载 递归算法的时间复杂度
递归算法应该都不陌生，其实最开始遇见递归应该是在数学课上，类似于f(x)=f(x-1)+f(x+1)，f(1)=1，f(2)=4，f(3)=3这种数学题大家应该见过不少，其实思想就是层层递归，最终将目标值用f(1)，f(2)，f(3)表示。之前做了一个需求，需要实现类似操作系统文件夹的功能，我们用MySQL数据库记录数据，表字段有4列，分别是id，index_name，pid，is_direct...
2019-09-02 13:43:41
362
转载 云端数据仓库的模式选型与建设
数据，对一个企业的重要性不言而喻，如何利用好企业内部数据，发挥数据的更大价值，对于企业管理者而言尤为重要。作为最传统的数据应用之一，数据仓库在企业内部扮演着重要的角色，构建并正确配置好数据仓库，对于数据分析工作至关重要。一个设计良好的数据仓库，可以让数据分析师们如鱼得水；否则可能使企业陷入无休止的问题之中，并在未来的企业竞争中处于劣势。随着越来越多的基础设施往云端迁移，数据仓库是否也需要上云？上...
2019-08-29 10:54:35
188
转载 企业使用数据库的12种姿势
数据库，作为IT系统的基础类软件，发挥着非常巨大的作用。那么企业在使用数据库时，有什么样的方式可以选择？不同方式又各有其什么特点呢？本文将从使用方式、适用场景、未来发展、成本因素（人力、财务、时间）及风险点等多角度分析十二种情况（前六种为本地方式，后六种为云端方式）。方式1：商业数据库 + 商业服务这是比较传统的一种方式。企业购买大型商业数据库软件，并对应购买服务支持工作。在过去三、四十年里，...
2019-08-28 15:10:37
104
转载 DNS域名解析服务及其配置
一、背景到 20 世纪 70 年代末，ARPAnet 是一个拥有几百台主机的很小很友好的网络。仅需要一个名为 HOSTS.TXT 的文件就能容纳所有需要了解的主机信息：它包含了所有连接到 ARPAnet 的主机名字到地址的映射（name-to-addressmapping）。HOSTS.TXT 文件是由 SRI 的网络信息中心（Network Information Center，简称 NIC...
2019-08-27 11:54:46
114
转载 解密“CDO-首席数据官”的价值、挑战及发展
数据，不论形态、格式和类型，已经迅速成为企业最有战略意义的资产；数据资产已经成为了可以形成业务洞察及优势的战略资源，数据的体量、多样性和复杂性也正以指数级增长。就像其他重要的企业资产，数据需要适当的管理和治理水平, 以确保它的潜在价值得到理解和发挥。基于上述原因，近些年来产生了首席数据官-CDO这一新兴岗位，旨在帮助企业保护并解锁数据资产全部价值。一、CDO职能对企业数据工作战略指引和落地支持...
2019-08-26 11:25:09
263
转载 Container及其内部进程监控剖析
目前市场上的虚拟化技术种类很多，例如moby(docker)、LXC、RKT等等。在带来方便应用部署和资源充分利用的好处的同时，如何监控相应Container及其内部应用进程成为运维人员不可避免遇到的新情况。UAV.Container从虚拟化技术的基础原理和Linux操作系统的内核特性出发，得到Container容器和内部进程的各维度监控数据，使无论是虚拟机或物理机运维人员，还是业务运维人员角度，...
2019-08-23 14:22:02
171
转载 公司为什么需要建立一套统一的开发框架？
一、起因：野蛮生长近十年，中国互联网发展的速度越来越快，互联网科技颠覆了越来越多的传统行业，我们的衣食住行随着互联网科技的进步，发生了翻天覆地的变化。在这个大潮中，越来越多新兴的公司如雨后春笋般的冒了出来，他们的业务增长非常快，公司规模也越来越大。这得益于中国经济的高速增长和互联网的快速发展。弊端一：自我繁衍在公司快速的发展过程中，往往会出现这样一个链条。新增一块业务 —> 招聘一位...
2019-08-22 10:46:53
170
转载 回归架构本质，重新理解微服务
第一部分：微服务的诞生、演变以及应用策略记者：近几年来，微服务架构设计方式被提出并在越来越多的企业中得以实践和落地，但对于刚开始接触微服务的人来说，还是不知道要从哪些方面开始了解。您能否结合软件架构的发展历史，聊聊微服务的发展与特征。梁鑫：微服务本质上是一种架构的风格，如果要了解微服务，我认为需要先了解整个架构的发展脉络。软件架构，总是在不断的演进中。如果把时间退回到二十年前，当时企业级领...
2019-08-20 16:14:15
94
转载 十步法原则解决数据质量问题
一、相关概念1.1 数据质量数据的一组固有属性满足数据消费者要求的程度。1）数据固有属性真实性：即数据是客观世界的真实反映及时性：即数据是随着变化及时更新的相关性：即数据是数据消费者关注和需要的2）高质量数据满足要求（消费者角度）可得的，当数据消费者需要时能够获取到；及时的，当需要时，数据获得且是及时更新的；完整的，数据是完整没有遗漏的；安全的，数据是安全的，避免非授权...
2019-08-20 12:04:53
977
转载 中间件增强框架之InterceptFramework
一、前言在智能运维中，应用服务所使用的组件及JAR包等相关信息非常重要，这些信息能够清晰地描绘一个应用服务的骨架，我们称这些信息为应用画像。在UAVStack中，中间件增强框架（MOF）下的InterceptFramework可以在应用启动过程中获取画像信息。本文主要介绍InterceptFramework的架构原理和在此基础上实现的应用画像数据采集与存储。二、整体架构2.1 关键技术...
2019-08-19 10:03:50
54
转载 调用链系列（3）：服务信息上下文传递
在调用链的绘制过程中，调用链上下文的传递非常值得关注。各个节点在获取上层上下文后生成新的上下文并向后传递。在传递过程中，上下文一旦丢失或出现异常就会导致调用链数据缺失，甚至可能会发生断裂。本文主要讲述UAV中调用链上下文传递过程中的部分实现细节。前言在调用链的实现中，主要存在以下几种调用链上下文的传递方式：请求处理前到请求处理后的上下文传递；各个客户端调用间的上下文传递；各个...
2019-08-16 10:43:35
302
转载 调用链系列（2）：如何从零开始捕获body和header
拓展阅读：调用链系列（1）：解读UAVStack中的贪吃蛇在Java中，HTTP协议的请求/响应模型是由Servlet规范+Servlet容器（如Tomcat）实现的。换句话说，在类Tomcat容器中，一次完整的HTTP请求都是通过实现Servlet规范完成的；Spring、Jesery 等技术栈也是在Servlet规范基础上封装的。因此我们可以借助底层的Servlet规范来获取Java技术栈中...
2019-08-15 10:38:19
74
转载 调用链系列（2）：如何从零开始捕获body和header
拓展阅读：调用链系列（1）：解读UAVStack中的贪吃蛇在Java中，HTTP协议的请求/响应模型是由Servlet规范+Servlet容器（如Tomcat）实现的。换句话说，在类Tomcat容器中，一次完整的HTTP请求都是通过实现Servlet规范完成的；Spring、Jesery 等技术栈也是在Servlet规范基础上封装的。因此我们可以借助底层的Servlet规范来获取Java技术栈中...
2019-08-15 10:38:16
90
转载 调用链系列（1）：解读UAVStack中的贪吃蛇
一、背景对于分布式在线服务，一个请求需要经过多个系统中多个模块，可能多达上百台机器的协作才能完成单次请求。这种场景下单靠人力无法掌握整个请求中各个阶段的性能开销，更无法快速的定位系统中性能瓶颈。当发生故障时通常需要查看大量日志跨越多个团队来确认问题。二、举个栗子程序猿小亮作为一个在职场摸爬滚打多年资深工程师，他可能面临的系统设计是这个样子的，如下图。（图片来自于网络）借助良好的系统设计...
2019-08-13 11:58:54
83
转载 以赋能业务为目标的技术创新
在软件研发从业者的视角里，创新分为两种：一种是与软件研发技术相关的创新，特别是在大数据和AI这种快速发展的领域，需要保持与技术进步的同频；而另一种创新，是与公司业务相关的，不断运用技术实现自动化、智能化、规范化，提高业务服务能力与用户体验。但对于很多技术人来说，常常会沉迷于技术创新或者是业务优化，将新的技术趋势强加在业务上，或者固守陈规地拒绝一些新的有效的技术解决方案。而真正的创新，是在理性思考...
2019-08-13 10:35:52
434
转载 微服务与网关技术（SIA-GateWay）
一、背景软件架构，总是在不断的演进中...把时间退回到二十年之前，当时企业级领域研发主要推崇的还是C/S模式，PB、Delphi这样的开发软件是企业应用开发的主流。随着时间的推移，基于浏览器的B/S架构开始渐渐流行了起来。初期，Web开发ASP还占据了不少优势，但JSP的预编译模式让性能有了很大提升，随后基于JAVA语言的J2EE架构变得越来越流行。早期软件架构基本都是单体架构，系统之间往往...
2019-08-12 11:45:47
132
转载 中间件增强框架之-CaptureFramework框架
一、背景应用服务监控是智能运维系统的重要组成部分。在UAV系统中，中间件增强框架（MOF）探针提供了应用画像及性能数据收集等功能，其中数据收集功能主要采集四类数据：实时数据、画像数据、调用链接数据生成以及线程数据分析数据。为实现实时数据采集，UAVStack设计了CaptureFramework框架，提供统一的数据抓取行为和生成抓取结果能力。二、CaptureFramework运行原理2....
2019-08-09 10:47:23
127
转载 大数据可视洞察Davinci的安装与配置攻略
Davinci既可作为公有云/私有云独立使用，也可作为可视化插件集成到三方系统。用户只需在可视化UI上简单配置即可服务多种数据可视化应用，并支持高级交互/行业分析/模式探索/社交智能等可视化功能。一、环境准备JDK 1.8（或更高版本）MySql5.5（或更高版本）Mail ServerPhantomJs（安装请参考：phantomjs.org）Redis（可选）二、配置部署1...
2019-08-08 11:02:53
416
转载 Redis进阶应用：Redis+Lua脚本实现复合操作
一、引言Redis是高性能的key-value数据库，在很大程度克服了memcached这类key/value存储的不足，在部分场景下，是对关系数据库的良好补充。得益于超高性能和丰富的数据结构，Redis已成为当前架构设计中的首选key-value存储系统。虽然Redis官网上提供了200多个命令，但做程序设计时还是避免不了为了实现一小步业务逻辑而多次调用Redis的情况。以compare ...
2019-08-07 10:39:53
145
转载 一个项目的SpringCloud微服务改造过程
SSO是公司一个已经存在了若干年的项目，后端采用SpringMVC、MyBatis，数据库使用MySQL，前端展示使用Freemark。今年，我们对该项目进行了一次革命性的改进，改造成SpringCloud架构，并且把前后端分离，前端采用Vue框架。一、使用SpringCloud架构进行改造1.1 为什么使用SpringCloudSpringCloud的核心是SpringBoot，相比较于传...
2019-08-06 10:03:24
107
转载 通过OpenGL理解前端渲染原理（1）
一、OpenGLOpenGL，是一套绘制3D图形的API，当然它也可以用来绘制2D的物体。OpenGL有一大套可以用来操作模型和图片的函数，通常编写OpenGL库的人是显卡的制造者。我们买的显卡都支持特定版本的OpenGL。下图是用OpenGL做的旋转的立方体。二、渲染原理2.1 渲染管道在OpenGL中，所有东西都在一个3D的空间里，而我们的屏幕和窗口都是2D的，所以OpenGL需要...
2019-08-05 11:26:15
160
转载 关系型数据库全表扫描分片详解
导读：数据总线（DBus）专注于数据的实时采集与实时分发，可以对IT系统在业务流程中产生的数据进行汇聚，经过转换处理后成为统一JSON的数据格式（UMS），提供给不同数据使用方订阅和消费，充当数仓平台、大数据分析平台、实时报表和实时营销等业务的数据源。本文从数据分片的角度出发，具体介绍DBus在数据采集的过程中，运用了什么样的分片策略和分片原理，以及过程中遇到的问题及解决方案。一、分片策略对...
2019-08-02 10:40:48
152
转载 AI中台——智能聊天机器人平台的架构与应用（分享实录）
内容来源：宜信技术学院第3期技术沙龙-线上直播|AI中台——智能聊天机器人平台主讲人：宜信科技中心AI中台团队负责人王东导读：随着“中台”战略的提出，目前宜信中台建设在思想理念及架构设计上都已经取得了很多成果。宜信是如何借助中台化的思想打造“AI中台”及相关的智能产品呢？本次直播，宜信科技中心AI中台团队负责人王东老师分享了宜信AI中台的具体实施路径，并重点介绍了AI中台的智能产品——智能...
2019-08-01 12:23:58
1039
转载 基于可视化配置的日志结构化转换实现
导读：数据总线DBus的总体架构中主要包括六大模块，分别是：日志抓取模块、增量转换模块、全量抽取程序、日志算子处理模块、心跳监控模块、Web管理模块。六大模块各自的功能相互连接，构成DBus的工作原理：通过读取RDBMS增量日志的方式来实时获取增量数据日志（支持全量拉取）；基于Logstash，flume，filebeat等抓取工具来实时获得数据，以可视化的方式对数据进行结构化输出。本文主要介绍的...
2019-07-31 11:02:03
123
转载 基于kubernetes自研容器管理平台的技术实践
一、容器云的背景伴随着微服务的架构的普及，结合开源的Dubbo和Spring Cloud等微服务框架，宜信内部很多业务线逐渐了从原来的单体架构逐渐转移到微服务架构。应用从有状态到无状态，具体来说将业务状态数据如：会话、用户数据等存储到中间件中服务中。微服务的拆分虽然将每个服务的复杂度降低，但服务实例的数目却呈现出爆炸式增长，这给运维增加难度，一方面是服务部署、升级，另一方面是服务的监控故障恢...
2019-07-30 11:55:09
148
转载 正交分析法设计理论及实践
一、理念介绍在黑盒用例设计方法中有一个大家耳熟能详的正交分析法，却鲜有人知 “Pairwise”设计理念。设想一种常见的场景，工期很紧的项目，原定的测试时间被“无理”地压缩之后，如何能用极少的时间去保证更高的质量呢？举个例子，如果让你测试一下word字体效果，你会整理出多少个用例呢？答案很简单是2的七次方=128个用例，但当工期特别紧的时候（128个用例执行不完）你又会从中选取哪些用例来...
2019-07-29 10:20:27
160
转载 iOS中基于协议的路由设计
一、背景前段时间对我们自己的App做了结构上的重构，抛弃了之前简单的MVC开发模式，原因是随着App的业务线越来越多，单个页面的功能越来越复杂，MVC开发模式导致整个Controller-layer的代码越来越多。本文将分享重构中的Router模块。 使用路由模式可以解决我们项目中页面与页面之间的耦合(因为我们App是视图生命周期作为驱动，所以这里说是页面，实际是控制器层)，因为一个页面功能太...
2019-07-25 13:41:01
80
转载 一文了解JVM
一、什么是JVMJVM是Java Virtual Machine（Java 虚拟机）的缩写，JVM是一种用于计算设备的规范，它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。Java语言的一个非常重要的特点就是平台无关性。而使用Java虚拟机是实现这一特点的关键。一般的高级语言如果要在不同的平台上运行，至少需要编译成不同的目标代码。而引入Java语言虚拟机后，Ja...
2019-07-24 10:16:00
68
转载 专访宜信AI中台团队负责人王东：智慧金融时代，大数据和AI如何为业务赋能
前言：宜信技术人物专访是宜信技术学院推出的系列性专题，我们邀请软件研发行业的优秀技术人，分享自己在软件研发领域的实践经验和前瞻性观点。第一期专访我们邀请到宜信科技中心AI中台负责人王东老师，从大数据和AI赋能金融业务的角度，分享了中台、大数据、AI等软件研发趋势为业务赋能的经验与思路。王东老师从技术视角到业务视角，在中台的落地契机、AI与大数据关系、AI和大数据技术的落地等方面提出了自己的看法...
2019-07-23 11:34:08
813
转载 iOS开发如何避免安全隐患
现在很多iOS的APP没有做任何的安全防范措施，导致存在很多安全隐患和事故，今天我们来聊聊iOS开发人员平时怎么做才更安全。一、网络方面用抓包工具可以抓取手机通信接口的数据。以Charles为例，用Charles可以获取http的所有明文数据，配置好它的证书后就可以模拟中间人***，获取https加密前的明文数据。1.1 中间人***先简要地说下什么是中间人***：①客户端：“我是客户端...
2019-07-22 14:15:25
204
转载 如何基于日志，同步实现数据的一致性和实时抽取?
一、背景事情是从公司前段时间的需求说起，大家知道宜信是一家金融科技公司，我们的很多数据与标准互联网企业不同，大致来说就是：玩数据的人都知道数据是非常有价值的，然后这些数据是保存在各个系统的数据库中，如何让需要数据的使用方得到一致性、实时的数据呢？过去的通用做法有几种，分别是：DBA开放各个系统的备库，在业务低峰期（比如夜间），使用方各自抽取所需数据。由于抽取时间不同，各个数据使用方数据...
2019-07-19 13:52:21
273
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人