- 博客(614)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 一篇文章概括——2021 不容错过的后端技术趋势（强烈推荐）
前言2020 年注定是不平凡的一年，虽疫情肆虐，但我国互联网产业展现出巨大韧性，不仅为精准有效防控疫情发挥了关键作用，还在数字基建、数字经济等方面取得了显著进展，成为我国应对新挑战、建设新经济的重要力量。腾讯在线教育部后台中心团队，作为在线教育行业的从业者，我们尝试整理一下 2020 年后端技术要点，以此窥探后台未来技术的发展趋势：云计算进程提速，一切皆服务。 云上安全越来越受到企业的重视。 从资源云向业务云化转变，最终全面云原生化。 微服务、DDD、中台技术并非企业技术架构设计的银弹。
2021-03-19 18:52:46
4212
转载 机器学习新概念-MLOps简介
什么是 MLOps？机器学习操作 (MLOps) 基于可提高工作流效率的DevOps原理和做法。例如持续集成、持续交付和持续部署。MLOps 将这些原理应用到机器学习过程，其目标是：更快地试验和开发模型 更快地将模型部署到生产环境 质量保证顾名思义，MLOps就是机器学习时代的DevOps。它的主要作用就是连接模型构建团队和业务，运维团队，建立起一个标准化的模型开发，部署与运维流程，使得企业组织能更好的利用机器学习的能力来促进业务增长。举个简单的例子，几年前我们对于机器学习的印象主...
2021-03-18 16:57:00
23012
转载 线上故障排查全套路盘点，运维一片就够
线上故障主要会包括cpu、磁盘、内存以及网络问题，而大多数故障可能会包含不止一个层面的问题，所以进行排查时候尽量四个方面依次排查一遍。同时例如jstack、jmap等工具也是不囿于一个方面的问题的，基本上出问题就是df、free、top 三连，然后依次jstack、jmap伺候，具体问题具体分析即可。CPU一般来讲我们首先会排查cpu方面的问题。cpu异常往往还是比较好定位的。原因包括业务逻辑问题(死循环)、频繁gc以及上下文切换过多。而最常见的往往是业务逻辑(或者框架逻辑)导致的，可以..
2021-03-18 16:37:39
287
转载 文件下载解决方案
转自https://mp.weixin.qq.com/s?__biz=MzI4NjY4MTU5Nw==&mid=2247490535&idx=2&sn=84b615ec02ef54d1c1d469dd11af91e2&utm_source=tuicool&utm_medium=referralhttps://www.tuicool.com/articles/JNbUjmu一、业务背景目前，vivo 平台有很多的业务都涉及到文件的下载：譬如说应用商.
2021-03-18 10:21:11
963
原创 使用Protostuff序列化进行Netty-RPC调用
rpc调用，有多种序列化的方式，通用如json，mongodb使用的bson；java方面的，比如Java默认的序列化，比如hessian；还有跨语言的，比如thrift、protocolbuf。thrift和pb的好处是序列化后size比较小，但是缺点是得生成java代码，这个挺鸡肋的，所以不管二者运行时效率有多高，开发效率相对比较低的。像hessian，是有一些在用，但是感觉不如pb那样强大。所以也一直在寻找运行效率与开发效率兼得的序列化方式。偶尔在网上看到protostuff，觉得找到了一直在找的这种
2021-01-20 15:58:57
289
原创 Protostuff序列化分析
Protostuff序列化分析最近项目中需要将业务对象直接序列化，然后存数据库；考虑到序列化、反序列化的时间以及生产文件的大小觉得Protobuf是一个很好的选择，但是Protobuf有的问题就是需要有一个.proto的描述文件，而且由Protobuf生成的对象用来作为业务对象并不是特别友好，往往业务对象和Protobuf对象存在一个互相转换的过程；考虑到我们仅仅是将业务对象直接序列化到数据库，发现Protobuf在这种情况下并不是特别的好；这时候发现了Protostuff，protostuff不需
2021-01-20 15:48:27
736
转载 Nginx Ingress 高并发实践
概述Nginx Ingress Controller 基于 Nginx 实现了 Kubernetes Ingress API，Nginx 是公认的高性能网关，但如果不对其进行一些参数调优，就不能充分发挥出高性能的优势。之前我们在Nginx Ingress on TKE 部署最佳实践一文中讲了 Nginx Ingress 在 TKE 上部署最佳实践，涉及的部署 YAML 其实已经包含了一些性能方面的参数优化，只是没有提及，本文将继续展开介绍针对 Nginx Ingress 的一些全局配置与内核参数调优..
2020-09-03 10:36:48
333
转载 全链路压测体系建设方案的思考与实践
转载：https://club.perfma.com/article/1581928系统性能测试的几个痛点在金融、零售快消、物流、新能源等传统行业，通常都会有一个相对独立的测试团队，其中包括了性能测试。过去性能测试通常是开发自测、或以项目需求驱动的方式实施，也就是根据需求在测试环境验证相应的性能目标，出具性能验收报告后就算结束。但随着业务系统的迭代速度不断加快，这种做法也会存在诸多不足：首先，测试环境得出的测试结果，可以验证程序级问题，但因环境和数据的差异，无法验证或获得业务系统在生产.
2020-08-31 15:03:33
664
转载 Spring 事务 -- @Transactional注解使用详细说明
https://www.jianshu.com/p/befc2d73e487一、事务简单介绍 事务指逻辑上的一组操作，组成这组操作的各个单元，要不全部成功，要不全部不成功。1.1 事务基本要素原子性(Atomicity): 事务开始后所有操作，要么全部做完，要么全部不做，不可能停滞在中间环节。事务执行过程中出错，会回滚到事务开始前的状态，所有的操作就像没有发生一样。也就是说事务是一个不可分割的整体，就像化学中学过的原子，是物质构成的基本单位。 一致性(Consistency):...
2020-07-13 15:08:02
2545
转载 用户精细化运营的逻辑、策略和方法
经常听到用户精细化运营，用户增长等与用户运营相关的名词，听的很多，但是对于这些名词的理解都是很模糊的，今天就来聊聊所谓的“用户精细化运营”是什么，以及有哪些相关的工作方法。关于用户运营的理解用户运营的关键指标是：拉新、促活、留存、付费转化率。在某种意义上这个理解是没有错的，但是如此理解的方式，其实囊括了所有的运营，其实所有的运营的核心指标都是拉新，促活，留存和付费转化率。实际上用户运营存在着广义上的用户运营和微观上的用户运营。广义上的用户运营就是上面提到的运营指标，即用户至上，以目标为核
2020-05-19 15:53:37
566
原创 druid使用入坑记（链接缓慢，hold问题）
在工作中，出现使用Druid链接Postgresql数据库，当第一次动态链接数据库源或者连过长时间不使用数据库时，出现链接过程缓慢，甚至hold的情况，链接时间以分计算，导致前端接口响应缓慢，影响用户操作问题。 经过日志的排查，发现是在DruidDataSource对象链接数据源过程中卡主了，并不是执行SQL语句查询慢的原因，通过网上查询资料，从一下几方面进行改进...
2020-04-16 14:11:54
5923
转载 DevOps的概念和实践并兼谈SRE
最近几年，由于负责的范围的变化。工作逐渐从某个IT领域或者部门，开始关注到整个IT体系的运转和管理。中间也遇到不少困难，同时也有机会去从更高的层面去学习和实践IT治理。文章主要是总结一下我对DevOps相关的理解和认识。为什么会有DevOps，解决了什么问题：现代企业其实都是通过IT系统进行管理和运营的，在变化迅速和竞争激烈的领域，IT系统的新需求数量越来越多，软件发布的频率越来越高，不少...
2020-02-11 14:38:15
479
转载 病毒扩散仿真java程序，仿真模拟新冠肺炎病毒扩散
GitHub 地址如下：https://github.com/KikiLetGo/VirusBroadcast源码结构源码结构比较简单，我们来一起看一下：模型讲解我对仿真模型做了一个抽象和概括，我们一起对照着源码分析模型的整个模拟过程和思路。模型前提设置首先，假设 C(400，400) 是城市的中心，整个城市是以 C 为中心的圆，L=100 是圆的半径。假设 P(x...
2020-02-10 15:02:25
5485
2
转载 使用JS请你实现一个大文件上传和断点续传
大文件上传整体思路前端前端大文件上传网上的大部分文章已经给出了解决方案，核心是利用 Blob.prototype.slice方法，和数组的 slice 方法相似，调用的 slice 方法可以返回原文件的某个切片这样我们就可以根据预先设置好的切片最大数量将文件切分为一个个切片，然后借助 http 的可并发性，同时上传多个切片，这样从原本传一个大文件，变成了同时传多个小的文件...
2020-01-21 15:48:31
1699
转载 海量业务下高效运维最佳实践——智效平台
前言随着信息技术的高速发展，云计算、物联网、移动互联网、大数据、人工智能、VR等概念层出不穷。众彩纷呈的概念背后实际上仍然离不开最基础的IT系统，而IT系统正在向更大规模、更复杂、更高级的方向演进，而越来越复杂的系统，对运维的要求就越来越高，海量业务通常需要高实时处理，并且更加关注用户体验，重视响应时间、可用率等性能指标，例如我们常常说的系统可用性达到四个九。各种各样的操作都要在安全的前提下同...
2020-01-21 09:28:35
864
原创 spring boot过滤器中获取Url请求中的参数（打印接口参数日志）
最近有一个需要从接口请求参数后，打印日志，进行接口参数记录。这里记录一下处理过程中出现的问题。首先想到的就是request.getParameter(String )方法，但是这个方法只能在get请求中取到参数，post是不行的，后来想到了使用流的方式，调用request.getInputStream()获取流，然后从流中读取参数，如下代码所示：String body = "";...
2020-01-20 18:49:44
11405
转载 你应该这样去开发接口：Java多线程并行计算（Google的Guava使用）
所谓的高并发除了在架构上的高屋建瓴，还得需要开发人员在具体业务开发中注重自己的每一行代码、每一个细节，面子有的同时，更重要的还是要有里子。面对性能，我们一定要有自己的工匠精神，不可以对任何一行代码妥协!今天和大家分享在业务开发中如何降低接口响应时间的一个小技巧，也是大家日常开发中比较普遍存在的一个问题，即如何提高程序的并行计算能力?本文主要包含以下内容：顺序执行很慢 线程池+...
2020-01-19 10:53:36
2642
转载 面试题-关于Java线程池一篇文章就够了
在Java面试中，线程池相关知识，虽不能说是必问提，但出现的频次也是非常高的。同时又鉴于公众号“程序新视界”的读者后台留言让写一篇关于Java线程池的文章，于是就有本篇内容，本篇将基于Java线程池的原理、实现以及相关源码进行讲解等。什么是线程池线程池是一种多线程处理形式，处理过程中将任务提交到线程池，任务的执行交由线程池来管理。为了充分利用CPU多核资源，应用都会采用多线程并行/并发...
2020-01-06 10:44:16
243
转载 微服务架构，如何做分布式，通用缓存机制？
什么是静态数据 为什么需要缓存 通用缓存机制 总结 后记 在分布式系统中，特别是最近很火的微服务架构下，有没有或者能不能总结出一个业务静态数据的通用缓存处理机制或方案，这篇文章将结合一些实际的研发经验，尝试理清其中存在的关键问题以及探寻通用的解决之道。什么是静态数据这里静态数据是指不经常发生变化或者变化频率...
2019-12-19 14:16:33
185
转载 前后端分离开发，HTTP API 认证授权术
我们知道，HTTP 是无状态的，所以，当我们需要获得用户是否在登录的状态时，我们需要检查用户的登录状态，一般来说，用户的登录成功后，服务器会发一个登录凭证(又被叫作 Token)，就像你去访问某个公司，在前台被认证过合法后，这个公司的前台会给你的一个访客卡一样，之后，你在这个公司内去到哪都用这个访客卡来开门，而不再校验你是哪一个人。在计算机的世界里，这个登录凭证的相关数据会放在两种地方，一个地方在...
2019-12-17 10:56:45
471
转载 微服务之间的最佳调用方式
在微服务架构中，需要调用很多服务才能完成一项功能。服务之间如何互相调用就变成微服务架构中的一个关键问题。服务调用有两种方式，一种是RPC方式，另一种是事件驱动（Event-driven）方式，也就是发消息方式。消息方式是松耦合方式，比紧耦合的RPC方式要优越，但RPC方式如果用在适合的场景也有它的一席之地。我们总在谈耦合，那么耦合到底意味着什么呢？耦合的种类：时间耦合：客户端...
2019-12-17 09:47:17
602
转载 PostgreSQL监控之pgwatch2
https://www.tuicool.com/articles/fmyUfqI前言：虽然作者已经推出了docker版本，只需一键(一条命令)即可完成搭建。 但是本着学习的心理还是要自己折腾一遍，一键虽好但不明了啊。 官方已经把安装写的很详细了，但毕竟是英文...... pgwatch2官方地址：https://github.com/cybertec-postgresql/pgwat...
2019-12-16 09:30:43
465
转载 超详细：如何设计出健壮的秒杀系统？（高并发系统设计思路）
来源：https://www.tuicool.com/articles/Ib2Mniz前言秒杀系统相信很多人见过，比如京东或者淘宝的秒杀，小米手机的秒杀，那么秒杀系统的后台是如何实现的呢？我们如何设计一个秒杀系统呢？对于秒杀系统应该考虑哪些问题？如何设计出健壮的秒杀系统？本期我们就来探讨一下这个问题博客的目录 秒杀系统应该考虑的问题 秒杀系统的设计和技术方案 ...
2019-12-10 10:54:29
721
转载 支持百亿请求服务的运维技术实践（多图）
一、运维在广告体系中的价值运维的工作来源已久，但直到近些年，随着互联网的发展，产品的维护工作越来越复杂，以及服务可用性的提升，都让运维的工作越来越重要。我们可以回顾下运维发展至今都经历了哪些阶段。① 人工阶段这个阶段的运维主要通过人肉操作我们的服务，由于这个阶段的服务大都是单实例，流量服务器都比较少，所以我们通过命令行就能够解决绝大多数的问题。② 工具阶段随着互联网影响逐渐变大...
2019-12-06 09:16:54
390
转载 全网最通俗易懂的Kafka（分布式消息队列）入门
转自：https://www.tuicool.com/articles/veaE7jR众所周知，消息队列的产品有好几种，这里我选择学习Kafka的原因，无他，公司在用。我司使用的是Kafka和自研的消息队列(Kafka和RocketMQ)改版，于是我就想学学Kafka这款消息队列啦。本篇文章对Kafka入门，希望对大家有所帮助。本文知识点提前预览：提前预览这篇文章花了我很长...
2019-12-05 09:30:50
585
转载 最全的微服务知识科普
https://www.tuicool.com/articles/yqABrez微服务好处：实现跨团队的解藕，实现更高的并发（目前单机只能实现C10k）不用在拷贝代码，基础服务可以公用，更好的支持服务治理，能够更好的兼容云计算平台。RPCRPC：向调用本地方法一样调用远程函数。客户端：一般利用动态代理生成一个接口的实现类，在这个实现类里通过网络把接口名称，参数，方法序列化后...
2019-05-18 16:44:17
481
转载 如何在线关闭一个tcp socket连接
你可能会说，简单，netstat -antp找到连接，kill掉这个进程就行了。# netstat -antp|grep 6789tcp 0 0 1.1.1.1:59950 1.1.1.2:6789 ESTABLISHED 45059/ceph-fuse# kill 45059连接确实关掉了，进程也跟着一起杀死了。达不到“在线...
2019-05-18 10:09:41
2638
转载 JNI基础知识（java中的一套接口，用来跟c和c++通信）
JNI(Java Native Interface)，它是java中的一套接口，用来跟c和c++通信。JNI中的数据类型java中的数据类型和c的数据类型之间的映射关系：java->JNI->c/c++基本数据类型：java JNI boolean jboolean byte jbyte char jchar...
2019-05-14 09:05:50
1232
原创 Web指纹识别技术研究与优化实现（CMS）
本文通过分析web指纹的检测对象、检测方法、检测原理及常用工具，设计了一个简易的指纹搜集脚本来协助发现新指纹，并提取了多个开源指纹识别工具的规则库并进行了规则重组，开发了一个简单快捷的指纹识别小工具TideFinger，并实现了一套在线的指纹识别平台“潮汐指纹”，希望能为大家带来方便。前言在web渗透过程中，Web指纹识别是信息收集环节中一个比较重要的步骤，通过一些开源的工具、平台或者手工...
2019-05-14 09:01:05
7103
2
转载 Go 网络编程示例
示例：并发时钟服务器本节介绍 net 包，它提供构建客户端和服务器程序的组件，这些程序通过 TCP、UDP 或者 UNIX 套接字进行通信。网络服务 net/http 包是在 net 包的基础上构建的。时钟服务器这个示例是一个时钟服务器，它以每秒一次的频率向客户端发送当前时间：package mainimport ( "io" "log" "net"...
2019-05-13 10:56:54
364
转载 10分钟掌握数据类型、索引、查询的MySQL优化技巧
本文大纲： MySQL的特点 数据类型优化 索引优化 查询优化 一、MySQL的特点了解MySQL的特点有助于更好的使用MySQL，MySQL和其它常见数据库最大的不同在于存在存储引擎这个概念，存储引擎负责存储和读取数据。不同的存储引擎具有不同的特点，用户可以根据业务的特点选择适合的存储引擎，甚至是开发一个新的引擎。MySQL的逻辑架构大致如下：...
2019-05-10 16:16:13
190
转载 算法时间空间复杂度学习总结
https://www.tuicool.com/articles/R一、代码的执行效率 ：快 ： 时间复杂度省： 空间复杂度二、大O复杂度表示法T(n)=O(f(n))n: 数据规模的大小 // 需要重点理解 n 的含义T(n)： 所有代码的执行时间f(n)：每行代码执行的次数总和O ： 代码的执行时间T(n)与f(n)表达式成正比三、时间复杂度分析(1...
2019-05-08 16:34:31
491
转载 流程不紧扣价值，就是伪流程
https://www.tuicool.com/articles/bQ7FBju现在很多企业老板都患有不同程度的焦虑症，压力可能来自很多方面，比如：1.每年的战略规划和目标，总是不能如愿以偿；2.老板很多“金点子”和管理思路，总是贯彻不下去；3.生意一天比一天难做，老客户没黏性，新客户跟不上；4.产品缺乏创新，新产品上市速度太慢；5.内部流程繁琐冗长，并且越理...
2019-04-24 15:41:52
179
转载 如何用产品思维迭代项目管理流程？（创业有感）
https://www.tuicool.com/articles/RZFFbmB18年3月份，接到一位创业兄弟的邀请，加入团队负责项目管理流程的规范，他表示：现有项目的开发流程太乱，项目交付太慢。刚开始接到这个需求，我的内心是很虚的，只有一年工作经验的PM Dog，哪有能力搞这么高大上的东西。虽然顾虑重重，但想体验创业快感的我，还是硬着头皮上了，毕竟，万一失败了，亏的又不是我的钱…...
2019-04-24 15:28:11
995
转载 敏捷开发下的B端交互设计流程
https://www.tuicool.com/articles/jqa6zuq交互设计师在这整个流程中，需要主动推动项目的进展，积极沟通，充分协作。在需求阶段充分了解需求，设计阶段不断与产品经理（需求方）及相关人员（视觉、开发等）沟通，开发阶段积极传递设计目标及效果，有变更及时通知。尽量保证整个团队的信息同步，才有可能高品质地实现敏捷开发。1.需求理解多问为什么，充分理解需求，发...
2019-04-24 15:24:03
298
转载 PostgreSQL中表的阶层数据取得方法
在我们的树状结构的表中，如何取得一个节点的所有孩子节点，或者一个节点的所有父亲节点。ORACLE和PostgreSQL中都有系统函数可以实现。不需要自己写函数。PostgreSQL数据中的取得方法例子：假设我们有这样一张表masteridparentidchildid110001000121...
2019-04-02 16:56:34
234
转载 WEB模糊查询注意的问题（排除%等通配符并支持不连续关键字查询）
前段时间我在开发项目的时候，就关于模糊查询遇到了一点问题，主要是有两大问题：1、通配符问题；2、不连续关键字查询。下面我一一说出我是怎么解决的：1、统配符问题比如说在搜索框中输入'%'、'_'、'/'时会出错，因为这些特殊符号在sql语句查询的时候是有他特定的意义的，所有这里要对前台传过来的keyword搜索内容进行排除通配符处理，我是在工具类中写了一个方法代码如下：/*** 根据搜...
2019-03-27 10:25:39
695
转载 Java+Maven+selenium+testng+reportng自动化测试框架（简易搭建说明）
转自：https://www.cnblogs.com/helenMemery/p/8733960.html最近公司新出了一个产品，需要搭建自动化测试框架，这是一个学以至用的好机会，跟上级申请后，决定搭建一个java自动化测试框架。Java自动化测试对我来讲可以说不难不易，因为java是我大学在校四年学的主要开发语言，但是毕业这么多年没写了难免生疏。weiUI自动化测试需要掌握以下几点：...
2019-03-03 10:09:18
1479
转载 Java读取Properties文件的六种方法
使用J2SE API读取Properties文件的六种方法1。使用java.util.Properties类的load()方法示例： InputStream in = lnew BufferedInputStream(new FileInputStream(name));Properties p = new Properties();p.load(in);2。使用java.util....
2019-02-23 10:22:40
188
转载 Redis GEO 的java实现（通过Jedis）（GIS相关）
1，Redis的安装参考：https://blog.csdn.net/zhu_tianwei/article/details/448905792，Jedis使用2.90版本，maven配置： <dependency> <groupId>redis.clients</groupId> <a...
2019-02-23 10:20:35
2009
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人