- 博客(77)
- 收藏
- 关注
RSS订阅原创 mongo备份和恢复（mongodump,mongorestore）
mongodump和mongorestore是MongoDB自带的备份恢复工具。下面是命令参数说明和简单示例。
2023-06-29 16:33:33
3086
转载 ffmpeg命令
FFMPEG是特别强大的专门用于处理音视频的开源库。你既可以使用它的API对音视频进行处理，也可以使用它提供的工具，如 ffmpeg, ffplay, ffprobe，来编辑你的音视频文件。本文将简要介绍一下 FFMPEG 库的基本目录结构及其功能，然后详细介绍一下我们在日常工作中，如何使用 ffmpeg 提供的工具来处理音视频文件。
2022-09-03 15:50:39
877
1
转载 如何写出一篇好的技术方案？
近期在写某个项目的技术方案时，来来回回修改了许多版，很是苦恼。于是，将自己之前写的和别人写的技术方案都翻出来看了几遍，产生了一些思考，分享给大家。我们为什么需要写技术方案？总结下来无非是几点，从不同人的视角来看：产品：验证技术方案是否能够 match 上产品方案测试：验证技术方案对测试方案是否有足够 & 准确的输入同事 & leader：参与技术方案评审，验证技术方案的合理性新人(不单单指新同学也指新接触这一块的同学)：拿到技术方案可以很快对某一块的事情熟悉起来什么样的技术方案是一个好的技术方案我们都知道技
2022-06-07 21:46:29
580
转载 2万字详解，彻底讲透 全文搜索引擎 Elasticsearch
由于近期在公司内部做了一次 Elasticsearch 的分享，所以本篇主要是做一个总结，希望通过这篇文章能让读者大致了解 Elasticsearch 是做什么的以及它的使用和基本原理。生活中的数据搜索引擎是对数据的检索，所以我们先从生活中的数据说起。我们生活中的数据总体分为两种： 结构化数据 非结构化数据 结构化数据：也称作行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。指具有固定格式或有限长度的数据，如数据..
2022-04-07 16:48:04
222
转载 何为微服务、网关、服务发现/注册？
来源：joyohub.com/micro-server/ 1. 单体结构 1.1 什么是单体结构？ 1.2 单体架构的优缺点 2.微服务 2.1 什么是微服务？ 2.2 微服务的优缺点 2.3 微服务架构 3.微服务网关 3.1 什么是服务网关？ 3.2 为什么需要服务网关？ 3.3 微服务网关的功能 3.4 微服务网关开源应用
2022-01-27 19:22:05
748
转载 原来这才是 Socket
大家好，今天我们来聊一下 Socket。关于对 Socket 的认识，大致分为下面几个主题，Socket 是什么，Socket 是如何创建的，Socket 是如何连接并收发数据的，Socket 套接字的删除等。 Socket 是什么以及创建过程一个数据包经由应用程序产生，进入到协议栈中进行各种报文头的包装，然后操作系统调用网卡驱动程序指挥硬件，把数据发送到对端主机。整个过程的大体的图示如下。我们大家知道，协议栈其实是位于操作系统中的一些协议的堆叠，这些协议包括TCP、UDP、AR..
2021-12-30 19:29:02
126
原创 ffmpeg 音频转换后音频头不是44字节问题处理记录
这个是通过命令ffmpeg -y -i daab6472f0f2452ba785b3e2ff31afbc_06.mp3 -f wav -ac 1 -ar 16000 -ab 16k daab6472f0f2452ba785b3e2ff31afbc_06.wav命令转出的wav文件，很明显可以看到多出了 Lavf57.56.101等信息，这个是ffmpeg默认加到音频头里的标注信息从ffmpeg命令库中找到通过指定-map_metadata -1 -fflags +bitexact...
2021-12-13 09:36:58
977
转载 爱奇艺埋点投递治理实践
以下文章来源于爱奇艺技术产品团队，作者i技术会9月26日下午，爱奇艺技术产品团队举办了第19期“i技术会”，本次技术会的主题是“数据治理探索与应用”，来自快手、美团、快看的几位资深专家同大家就相关议题进行了深入探讨。爱奇艺研究员杜益凡分享了题为《爱奇艺埋点投递治理实践》的内容。分享从埋点的定义、规范以及数据质量要求开始，介绍了爱奇艺在治理埋点数据、提高埋点数据质量工作中的一些实践经验。以下为“《爱奇艺埋点投递治理实践》”干货分享，根据【i技术会】演讲整理成文。01什么是埋点.
2021-11-06 21:48:29
158
转载 实现多级缓存的架构设计方案
为什么要做 TMC 多级缓存解决方案的痛点 TMC 整体架构 TMC 本地缓存 如何透明 整体结构 热点发现 整体流程 数据收集 热度滑窗 热度汇聚 热点探测 特性总结 实战效果 快手商家某次商品营销活动 双十一期间部分应用 TMC 效果展示** 功能展望 - ...
2021-11-06 21:44:54
376
原创 SpringBoot集成elasticsearch 总结
说明：本次集成环境为 java8 + es 6.7版本一，介绍参考官方文档：开始使用 Elasticsearch | Elastic Videos基本概念与关系型数据库的对应、便与理解：Elasticsearch RDBMS Index(索引) DataBase(数据库) Type(类型) Table(表) Document(文档) Row(行) Field(字段) Column(列) Mapping(映射) Schema(约束) ..
2021-10-25 21:15:18
731
转载 基于 SpringMvc + OpenCV 实现的答题卡识别系统（附源码）
java_opencv项目介绍OpenCV是一个基于BSD许可（开源）发行的跨平台计算机视觉库，它提供了一系列图像处理和计算机视觉方面很多通用算法。是研究图像处理技术的一个很不错的工具。最初开始接触是2016年因为公司项目需要，但是当时网上可供参考的demo实在太少了，而且基本上都是基于C、C++实现的。也就是从2017年开始，关于java+opencv的资料才渐渐多起来。处于这种情况，就想搭建一个有助于我们学习和了解opencv的一个平台。因此就有了这个系统。从安装开始，和大家一起学习记录
2021-09-01 10:01:53
274
转载 SpringBoot+Kafka+ELK 完成海量日志收集（超详细）
服务器准备 SpringBoot项目准备 Kafka安装和启用 filebeat安装和启用 logstash安装 ElasticSearch与Kibana 整体流程大概如下：图片服务器准备在这先列出各服务器节点，方便同学们在下文中对照节点查看相应内容图片推荐下自己做的 Spring Boot 的实战项目：https://github.com/YunaiV/ruoyi-vue-proSpringBoot项目准..
2021-09-01 09:59:04
207
转载 聊聊Spring Boot服务监控，健康检查，线程信息，JVM堆信息，指标收集，运行情况监控等！
前言 一、什么是 Spring Boot Actuator 二、快速开始，创建一个Spring Boot Actuator Demo 三、Endpoints 介绍 四、端点暴露配置 五、重要端点解析 六、整合Spring Security 对端点进行安全校验 前言去年我们项目做了微服务1.0的架构转型，但是服务监控这块却没有跟上。这不，最近我就被分配了要将我们核心的微服务应用全部监控起来的任务。我们的微服务应用都是SpringBoo..
2021-09-01 09:56:02
455
转载 关于加解密、加签验签的那些事
正文面对MD5、SHA、DES、AES、RSA等等这些名词你是否有很多问号？这些名词都是什么？还有什么公钥加密、私钥解密、私钥加签、公钥验签。这些都什么鬼？或许在你日常工作没有听说过这些名词，但是一旦你要设计一个对外访问的接口，或者安全性要求高的系统，那么必然会接触到这些名词。所以加解密、加签验签对于一个合格的程序员来说是必须要掌握的一个概念。那么加解密相关的密码学真的离我们很遥远吗？其实生活中有很多常见的场景其实都用到了密码学的相关知识，我们不要把它想得太难，例如在《睡在我上铺的兄弟》这一段中作弊
2021-07-31 21:33:38
1015
原创 使用POI提取Word文件的内容(纯文本、带html格式)
使用poi提取Word文件的内容，区分带html和不带格式的依赖jar导入pom.xml <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi-scratchpad</artifactId> <version>3.17</version> &.
2021-07-20 15:43:08
2251
转载 Netty 实现长连接服务的难点和优化点
我正在用 AWS lambda 开发一个无服务器架构的自由职业项目。用 Jenkins 和 Docker 实现 CI/CD，并在 Docker 容器上运行 Jenkins pipelines。我会向你展示如何一步步设置环境。由于是苹果电脑，我首先在电脑上安装 Docker 软件。还需 Jenkins 软件。我选择在 Docker 容器中运行 Jenkins，因为这样的运行环境更简单干净。于是，我为 Jenkins 找到一个 Docker 镜像版本（image）。简而言之，Doc...
2021-07-02 10:51:13
276
转载 动图图解 | TCP/IP到底是怎么分片的？
以下文章来源于golang小白成长记，作者胖虎什么是TCP分段和IP分片我们知道网络就像一根管子，而管子吧，就会有粗细。一个数据包想从管子的一端到另一端，得过这个管子。（废话）但数据包的量有大有小，想过管子，数据包不能大于这根管子的粗细。问题来了，数据包过大时怎么办？答案比较简单。会把数据包切分小块。这样数据就可以由大变小，顺利传输。数据分片回去看下网络分层协议，数据先过传输层，再到网络层。这个行为在传输层和网络层都有可能发生。在传输层（TCP协议）里，叫分.
2021-07-02 10:43:52
607
转载 Java中GC (Allocation Failure)日志分析实战
hugegraph图数据库索引详解版权声明：转载请注明出处 https://blog.csdn.net/u010260089/article/details/86712983前言在《技术文章之二 hugegraph图数据库概念详解》中我们介绍过IndexLabel，它是索引的元数据，用来描述对顶点/边的属性建立的索引。本文将对hugegraph中的索引做一个较为深入的介绍，并给出每一种索引的适用场景和使用方法的样例。hugegraph的查询系统是以索引为基础建立的，如果没有索引，hugegr
2021-06-17 11:24:42
1692
转载 Linux 环境变量配置全攻略
Linux环境变量配置在自定义安装软件的时候，经常需要配置环境变量，下面列举出各种对环境变量的配置方法。下面所有例子的环境说明如下： 系统：Ubuntu 14.0 用户名：uusama 需要配置MySQL环境变量路径：/home/uusama/mysql/bin Linux读取环境变量读取环境变量的方法： export命令显示当前系统定义的所有环境变量 echo $PATH命令输出当前的PATH环境变量的值 这两个命令执行的效果如下..
2021-05-31 22:07:05
96
转载 即使删了全库，如何半小时恢复？
摘要 内容 图解ElasticSearch 图解Lucene 搜索发生时 缓存的故事 在Shard中搜索 如何Scale 一个真实的请求 摘要先自上而下，后自底向上的介绍ElasticSearch的底层工作原理，试图回答以下问题： 为什么我的搜索 **foo-bar** 无法匹配foo-bar？ 为什么增加更多的文件会压缩索引（Index）？ ...
2021-05-31 22:05:29
150
转载 Redis 大数据量（百亿级）Key存储需求及解决方案
最近我在思考实时数仓问题的时候，想到了巨量的redis的存储的问题，然后翻阅到这篇文章，与各位分享。需求背景该应用场景为DMP缓存存储需求，DMP需要管理非常多的第三方id数据，其中包括各媒体cookie与自身cookie（以下统称supperid）的mapping关系，还包括了supperid的人口标签、移动端id（主要是idfa和imei）的人口标签，以及一些黑名单id、ip等数据。在hdfs的帮助下离线存储千亿记录并不困难，然而DMP还需要提供毫秒级的实时查询。由于cookie这...
2021-05-31 22:00:20
323
转载 Facebook是如何对视频进行编码的？
据 Facebook 2020 年第四季度财报披露，截至 2020 年 12 月，Facebook 日活跃用户平均达到 18.4 亿，全年月度活跃用户达到 28 亿，Facebook 应用家族（Facebook、Instagram 等）月度活跃用户平均达到 33 亿。Facebook 的体量如此庞大，由此不难想象，该平台要处理的视频量级有多大。那么问题来了，Facebook 是怎么处理如此海量的视频的？人们每天在 Facebook 上传数以亿计的视频。为了保证每一段视频的传输质量（最高分辨率和尽可能少的
2021-04-30 11:21:43
255
转载 高德打车通用可编排订单状态机引擎设计
一 背景订单状态流转是交易系统的最为核心的工作，订单系统往往都会存在状态多、链路长、逻辑复杂的特点，还存在多场景、多类型、多业务维度等业务特性。在保证订单状态流转稳定性的前提下、可扩展性和可维护性是我们需要重点关注和解决的问题。以高德打车业务的订单状态为例，订单状态就有乘客下单、司机接单、司机已到达乘车点、开始行程、行程结束、确认费用、支付成功、订单取消、订单关闭等；订单车型有专车、快车、出租车等几种车型，而专车又分舒适型、豪华型、商务型等；业务场景接送机、企业用车、城际拼车等等场景。...
2021-04-30 11:17:45
438
1
转载 这个Bug的排查之路，真的太有趣了
大家好呀，我是why哥。在《深入理解Java虚拟机》一书中有这样一段代码：publicclassVolatileTest{publicstaticvolatileintrace=0;publicstaticvoidincrease(){race++;}privatestaticfinalintTHREADS_COUNT=20;publicstaticvoidmain(String[]...
2021-04-30 11:12:16
267
转载 工作几年了，API 网关还不懂？
翻译一篇API网关的文章，介绍了其三种角色：API管理、集群ingress网关、API网关模式，最后还讲了与service mesh的关系，通过此文可以更全面的理解API网关的作用。原文：https://medium.com/solo-io/api-gateways-are-going-through-an-identity-crisis-d1d833a313d7这些年来，API网关正在经历一些身份危机。 它们是否是集中的、共享的资源，从而促进了API对外部实体的暴露与治理？ 它
2021-03-31 15:52:35
68
转载 您遵循过这些Jenkins优秀实践吗？
一、时刻保持Jenkins的安全在默认配置情况下，Jenkins是不执行任何安全检查的。也就是说，除一些简单基本的Jenkins配置、作业和构建，网站的访问者几乎可以在Jenkins的主数据库中执行任何随机代码。同时，Jenkins还允许在所有连接的代理上，执行包括用户密码、证书、以及其他隐私数据之类的代码操作。具体实践为了保护Jenkins的安全，我们需要通过如下两个方面，来“配置全局安全性(Configure Global Security)”选项。安全领域：通常也被称为“身份验证”。.
2021-03-31 15:51:16
133
转载 七种分布式事务的解决方案
什么是分布式事务分布式事务是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器「分别位于不同的分布式系统的不同节点之上」。一个大的操作由N多的小的操作共同完成。而这些小的操作又分布在不同的服务上。针对于这些操作，「要么全部成功执行，要么全部不执行」。为什么会有分布式事务？举个例子：转账是最经典的分布式事务场景，假设用户 A 使用银行 app 发起一笔跨行转账给用户 B，银行系统首先扣掉用户 A 的钱，然后增加用户 B 账户中的余额。如果其中某个步骤失败，此时就有可能会出现
2021-03-31 15:50:02
101
转载 Spring Boot 搭建 ELK，这才是正确看日志的方式
为什么要用ELK“ELK实际上是三个工具，Elastricsearch + LogStash + Kibana，通过ELK，用来收集日志还有进行日志分析，最后通过可视化UI进行展示。一开始业务量比较小的时候，通过简单的SLF4J+Logger在服务器打印日志，通过grep进行简单查询，但是随着业务量增加，数据量也会不断增加，所以使用ELK可以进行大数量的日志收集和分析”简单画了一下架构图在环境配置中，主要介绍Mac和linux配置，windows系统大致相同，当然，前提是大家都安装了JD
2021-03-01 09:21:09
280
转载 又一款Nginx 管理可视化神器！通过界面完成配置监控，一条龙！(含视频教程)
需求nginx 可视化管理，例如- 配置管理 - 性能监控 - 日志监控 - 其他配置方案目前已实现前两条:配置管理，和性能监控 日志分析监控这块还需要另找方案实现！目前方案直接套用github大神开发的nginx-gui github地址：https://github.com/onlyGuo/nginx-gui这个东西真的要吹一波，太好用了 而且源码公开，解决了我这种java出身的linux菜鸟的一大难题！界面截图：说明先说明下，我也是刚才现学的，只是写下折腾的
2021-03-01 09:19:58
1151
原创 vue 解决使用window.open打开新窗口功能导致的session丢失
使用window.open方式打开窗口替换为router-link标签直接看代码：<div class="content-table"> <Table :columns="pipelinecolumns" :data="pipelineList"> </Table></div>pipelinecolumns: [ { title: 'xxx名称', key: 'name', .
2021-02-20 18:10:15
2782
转载 微服务高可用之熔断器实现原理与 Golang 实践
I.内容提要在微服务架构中，经常会碰到服务超时或通讯失败的问题，由于服务间层层依赖，很可能由于某个服务出现问题，不合理的重试和超时设置，导致问题层层传递引发雪崩现象，而限流和熔断是解决这个问题重要的方式。之前发过一篇文章讲了限流的几种实现方案，具体参阅：分布式高并发服务限流实现方案今天我们探讨熔断的话题，本章内容提要： 微服务高可用容错机制 熔断器设计原理及 Golang 实现 服务网格和代理网关熔断机制 II.微服务容错机制微服务架构中，服务的依赖和.
2021-01-29 14:34:42
251
转载 又发现一款牛逼的 API 敏捷开发工具
初衷用尽可能简单的方式，完成尽可能多的需求。通过约定的方式 实现统一的标准。告别加班，拒绝重复劳动，远离搬砖特性 用于快速开发API接口。不再定义Controller,Service,Dao,Mybatis,xml,Entity,VO等对象和方法. 可视化界面，将入参自动封装到可执行的脚本上，支持所有关系性数据库SQL执行语句，非关系型MONGODB查询语句.欢迎扩展 完全基于springboot2.x 作为springboot项目的stater方式集成,无侵入性，新老项目
2021-01-29 14:32:42
78
转载 30G 上亿数据的超大文件，如何快速导入生产环境？
如果给你一个包含一亿行数据的超大文件，让你在一周之内将数据转化导入生产数据库，你会如何操作？上面的问题其实是小黑哥前段时间接到的一个真实的业务需求，将一个老系统历史数据通过线下文件的方式迁移到新的生产系统。由于老板们已经敲定了新系统上线时间，所以只留给小黑哥一周的时间将历史数据导入生产系统。由于时间紧，而数据量又超大，所以小黑哥设计的过程想到以下解决办法： 拆分文件 多线程导入 拆分文件首先我们可以写个小程序，或者使用拆分命令split将这个超大文件拆分成一个个小文件..
2021-01-29 14:24:13
336
原创 docker中解决问题记录 Could not initialize class sun.awt.X11FontManager
RUN apk add --update ttf-dejavu && rm -rf /var/cache/apk/*
2021-01-13 17:12:06
2305
转载 分布式任务调度系统设计：详解Go实现任务编排与工作流
I.内容提要定时调度系统（定时任务、定时执行）算是工作中经常依赖的中间件系统，简单使用操作系统的 crontab，或基于 Quartz，xxl-job 来搭建任务调度平台，行业有很多优秀的开源产品和中间件。了解其工作和设计原理，有助于我们完善或定制一套适合公司业务场景的任务调度中间件，之前写了两篇文章介绍了调度负载均衡和定时延时任务的内容，可以参考。 分布式调度分发负载均衡及服务保持 分布式调度延时任务实现原理 今天我们探讨另一话题，对调度任务的依赖关系及编排展开分析，实现一套.
2020-12-30 13:44:03
1284
原创 DOCKERFILE制作集成镜像记录
1. 前言随着互联网的高速发展，前端页面的展示、交互体验越来越灵活、炫丽，响应体验也要求越来越高，后端服务的高并发、高可用、高性能、高扩展等特性的要求也愈加苛刻，从而导致前后端研发各自专注于自己擅长的领域深耕细作。然而带来的另一个问题：前后端的对接界面双方却关注甚少，没有任何接口约定规范情况下各自撸起袖子就是干，导致我们在产品项目开发过程中，前后端的接口联调对接工作量占比在30%-50%左右，甚至会更高。往往前后端接口联调对接及系统间的联调对接都是整个产品项目研发的软肋。本文的主要初衷就是规范
2020-12-30 13:42:16
466
转载 TCP/IP 基础知识总结
要说我们接触计算机网络最多的协议，那势必离不开 TCP/IP 协议了，TCP/IP 协议同时也是互联网中最为著名的协议，下面我们就来一起聊一下 TCP/IP 协议。TCP/IP 的历史背景最初还没有 TCP/IP 协议的时候，也就是在 20 世纪 60 年代，许多国家和地区认识到通信技术的重要性。美国国防部希望能够研究一种即使通信线路被破坏也能够通过其他路线进行通信的技术。为了实现这种技术，出现了分组网络。即使在两个节点通信的过程中，几个节点遭到破坏，却依然能够通过改变线路等方式使两个节
2020-12-30 13:40:44
172
转载 移动端APM网络监控与优化方案
01 背景企业为了能够提升线上服务的可靠性和竞争力，需要从代码端的视角来监控自己线上应用的质量和性能，因此，APM系统(应用性能监控系统)应运而生。APM系统是互联网公司最重要的基础设施之一，它可以帮助发现并解决生产环境中遇到的各种问题。APM系统为了能够实现帮助企业确保自身的IT支撑系统高效地运行，它需要建立一个强大的IT运维管理体系，用来时刻监控IT环境各组件的性能和质量，并且通过多维度实时分析监控指标的异常，快速定位并解决线上应用的问题。其中，网络环境质量是线上服务最基本的性能指标之一，.
2020-11-29 17:08:17
726
转载 图解 Docker 架构
正文 01 Docker 的总体架构Docker 是一个 C/S 模式的架构，后端是一个松耦合架构，模块各司其职。下图是它的总体架构图：1 用户是使用 Docker Client 与 Docker Daemon 建立通信，并发送请求给后者。2 Docker Daemon 作为 Docker 架构中的主体部分，首先提供 Docker Server 的功能使其可以接受 Docker Client 的请求。3 Docker Engine 执行 Docke...
2020-11-29 17:07:02
287
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人