京东科技开发者

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica）分布式消息系统（，新增内部主体@metadata存储元数据信息），它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。

近期，又有云厂商和视频厂商发生故障，导致采用单云服务的企业应用出现无法访问或服务异常的情况，而这次多Region也不灵了。这一故障给所有的云厂商和视频厂商都敲响了警钟，也让所有上云企业都必须面对这个问题：没有一朵云是100%可靠，我们应如何保证业务的连续性和安全性？当下是该思考一下更领先的用云策略：混合多云。使用单云，不出问题时相安无事，一旦出现问题，就将会是灾难级的事故。

基于现代服务的云原生十二要素理论，我们在采用容器化部署时，要保证同一个镜像可以满足不同环境的部署要求，而不是不同环境打包不同的镜像。本文档主要介绍一种基于spring框架的满足不同环境配置的编译打包方案，满足同一个镜像可以在环境分组下通过启动项配置实现不同环境的部署。

如果通过brew或者dmg安装后无法打开，报错不受信任或者移到垃圾箱，执行下面命令后再启动即可:sudo xattr -rd com.apple.quarantine /Applications/Another\ Redis\ Desktop\ Manager.app。🚀🚀🚀 更快、更好、更稳定的Redis桌面(GUI)管理客户端，兼容Windows、Mac、Linux，性能出众，轻松加载海量键值。来源：京东云开发者社区 转载请注明来源。• 或者通过Win Store。• 或者通过App Store。

当用户充分利用原生云能力进行应用设计、部署和运维时，云原生也面临新的安全挑战，例如镜像漏洞与投毒、编排软件漏洞、不安全配置利用、容器逃逸等。面对这样的风险，，包含资产清点、镜像安全、运行时安全、网络安全、集群安全、节点安全等安全服务，提供从镜像生成、存储到运行时的全生命周期云原生安全解决方案。

随着云原生架构的快速发展，核心能力逐渐稳定，安全问题日趋紧急。在云原生安全领域不但有新技术带来的新风险，传统IT基础设施下的安全威胁也依然存在。要想做好云原生安全，就要从这两个方面分别进行分析和解决。

本文是基于redis缓存实现分布式锁，其中使用了setnx命令加锁，expire命令设置过期时间并lua脚本保证事务一致性。Java实现部分基于JIMDB提供的接口。

今天针对Elasticsearch的Mapping类型进行修改，讨论几个可行的方案

热key问题就是突然有几十万的请求去访问redis上的某个特定key，那么这样会造成流量过于集中，达到物理网卡上限，从而导致这台redis服务器直接宕机。

今天我们官宣一件大事：京东云开启中国云市场的首次公开比价活动，承诺“买贵就赔”！

最近使用Elasticsearch实现画像系统，实现的dmp的数据中台能力。同时调研了竞品的架构选型。以及重温了redis原理等。特此做一次es的总结和回顾。网上没看到有人用Elasticsearch来完成画像的。我来做第一次尝试。

数字化转型浪潮下，云原生技术领域的建设投入、集群规模持续走高，云原生技术已是大势所趋。在用户生产环境中，容器技术的采纳率已接近70%，docker 使应用部署更加轻量，可移植，可扩展，更好的环境隔离也更大程度地避免了生产环境与测试环境不一致的巨大尴尬，本文为大家详细讲解如何手动搭建 Docker 环境。

JupyterLab作为一种基于web的集成开发环境，被称为下一代的Jupyter Notebook，你可以使用它编写notebook、操作终端、编辑markdown文本、打开交互模式、查看csv文件及图片等功能,支持Python等多种语言，十分适合做数据分析及可视化工作。 随着GPT大模型算法的盛行，数据分析已经从过去传统的人为打标、清洗的运营流程转向更智能、高效、复合的机器学习分析。

测试环境这个话题对于开发和测试同学一定不陌生，大家几乎每天都会接触。但是说到对测试环境的印象，却鲜有好评，下面就主要给大家分享一次实际工作中的Mysql性能优化实践，与大家共勉~

Redis集群一般有四种方式，分别为：主从复制、哨兵模式、Cluster以及各大厂的集群方案。在3.0版本之前只支持单实例模式，3.0之后支持了集群方式。在3.0之前各大厂为了解决单实例Redis的存储瓶颈问题各自推出了自己的集群方案，其核心思想就是数据分片，主要有客户端分片、代理分片、服务端分片。这里咱们只介绍前三种方式：主从、哨兵、Cluster。

当今世界，云计算技术在快速发展，不断为我们带来新的应用场景和解决方案。作为一名前端开发者，了解云技术并掌握如何在前端中应用它们是必不可少的。本篇文章将介绍云计算技术的基本概念，并从前端角度探讨如何使用云技术提高应用的可扩展性、安全性、性能和用户体验。

今日，以“融合开放、重塑云上未来”为主题的2023年京东云城市峰会广州站顺利举行。工业和信息化部电子第五研究所党委书记季仲华，中电金信副总经理、研究院院长况文川，中国海洋石油国际公司董事、中国海洋石油集团公司原科技信息部总经理王同良，华南理工大学教授、博士生导师奚建清，以及来自海南交控、飞腾、达梦的客户代表出席了本次活动。在峰会上，京东云正式提出将构建融合开放的新型数字基础设施，全面支持产业深度数字化，并发布适配国产化的全套基础云设施产品，推动国产化替代从“可用”到“好用”渐进式迈进。京东集团技术委员

用例评审对于质量同学是再熟悉不过的一个重要环节，用例评审也是非常有效的保障测试质量的手段，但我们质量同学做了这么多次的评审，有没有去思考怎样去进一步提升用例评审的质量，使用例评审更加有效呢，这里呢抛砖引玉，总结一下对用例评审的思考，希望能给大家带来一些启发。

分享人：孙长虹 京东云 DevOps 解决方案架构师复旦大学计算机系毕业，并拥有人民大学心理学硕士学位。曾任职于 Alcatel-Lucent，IBM 和惠普，具有丰富的大型复杂产品研发及项目管理经验，擅长组织级敏捷和 DevOps 转型，并拥有 EXIN Agile Coach, 业务敏捷，DevOps Master，以及 SPC 认证，也是 EXIN 授权敏捷和 DevOps 讲师。他负责京东云 DevOps 解决方案，也为零售、金融、交通等多个行业的大型企业客户提供过敏捷和 DevOps 咨询服务。Q

随着业务快速发展，各种问题越来越明显，急需对系统进行微服务改造优化。经过思考，整体改造将分为三个阶段进行：数据库拆分、应用拆分、数据访问权限收口。

JUC提供的锁机制，可以保证在同一个JVM进程中同一时刻只有一个线程执行操作逻辑；多服务多节点的情况下，就意味着有多个JVM进程，要做到这样，就需要有一个中间人；分布式锁就是用来保证在同一时刻，仅有一个JVM进程中的一个线程在执行操作逻辑；换句话说，JUC的锁和分布式锁都是一种保护系统资源的措施。尽可能将并发带来的不确定性转换为同步的确定性；

日志在 IT 行业中被广泛使用，日志的异常检测对于识别系统的运行状态至关重要。解决这一问题的传统方法需要复杂的基于规则的有监督方法和大量的人工时间成本。

本文以2022年一个实际项目为基础，来演示在京东云上构建高可用业务的整个过程。公有云及私有云客户可通过使用京东云的弹性IAAS、PAAS服务，创建高可用、高弹性、高可扩展、高安全的云上业务环境，提升业务SLA,提升运维自动化水平，降低资源成本及运维成本。有业务迁移上云需求，希望构建云上高可用业务架构的客户或对云上高可用架构规划有兴趣的读者可以一看。

ElasticSearch必知必会-进阶篇

文章从计算资源、网络资源、存储资源三个方向展开，介绍了k8s里一些常见的概念和对象。由于篇幅问题，很多也很重要的概念并没有在文中详细介绍，读者可根据自身情况展开补充学习。关于k8s核心组件及工作原理将在后续陆续推出。

redis，对于一个java开发工程师来讲，其实算不得什么复杂新奇的技术，但可能也很少人去深入了解学习它的底层的一些东西。下面将通过对内存统计、内存划分、存储细节、对象类型&内部编码这四个模块来学习学习redis的内存模型，手字笔录，潜心修行。

CSS（全称 Cascading Style Sheets，层叠样式表）为开发人员提供声明式的样式语言，是前端必备的技能之一，基于互联网上全面的资料和简单易懂的语法，CSS 非常易于学习，但其知识点广泛且分散，很难做到精通，在我们日常开发中，常常忽视了 CSS 代码的质量，很容易写出杂乱无章的 CSS 文件。代码优化建议适用于：margin、padding、border、font、background 等。

随着前端工程化的快速发展， TypeScript 变得越来越受欢迎，它已经成为前端开发人员必备技能。TypeScript 最初是由微软开发并开源的一种编程语言，自2012年10月发布首个公开版本以来，它已得到了人们的广泛认可。TypeScript 发展至今，已经成为很多大型项目的标配，其提供的静态类型系统，大大增强了代码的可读性、可维护性和代码质量。同时，它提供最新的JavaScript特性，能让我们构建更加健壮的组件，新版本不断迭代更新，编写前端代码也越来越香。

bean，导致报错。以 com.gyh.circular.transactional 包下的 OneBean 和 TwoBean 为例，两个 Bean 相互依赖，且 OneBean 中的方法使用了 @Transactional 注解，启动Spring成功，并不会报错。依然以 com.gyh.circular.async 包下的 OneBean 和 TwoBean 为例，两个bean相互依赖，使 TwoBean(非OneBean)中的方法使用了 @Async 注解，此时启动spring成功，并未报错。

Dubbo是一款典型的高扩展、高性能、高可用的RPC微服务框架，用于解决微服务架构下的服务治理与通信问题。其中URL也是Dubbo内部通过@Adaptive注解实现SPI的核心，通过修改URL的头部协议（如：register、dubbo、injvm等），在调用。在介绍服务注册发现之前，先简单介绍一下贯穿整个Dubbo源码，也是Dubbo实现自适应扩展的核心--SPI机制，下图为Dubbo SPI实现的简单类图。该方法的时候，会根据不同的协议切换不通的实现类，实现了Dubbo技术架构与业务逻辑的解耦。

MergeTree 系列的引擎被设计用于插入极大量的数据到一张表当中。数据可以以数据片段的形式一个接着一个的快速写入，数据片段在后台按照一定的规则进行合并。相比在插入时不断修改（重写）已存储的数据，这种策略会高效很多。

面对更多项目现场交付，偶而会遇到客户环境不具备公网条件，完全内网部署，这就需要有一套完善且高效的离线部署方案。物联管理平台机器数量繁多，需要ansible进行批量操作机器，节省时间，需要从部署节点至其他节点root免密。注：以上依赖镜像需要从公网环境下载依赖并导入镜像库，需要设置以上对应镜像地址从私有镜像库拉取镜像。k8s容器运行环境docker部署。harbor私有镜像库依赖。

etcd是云原生架构中重要的基础组件，由CNCF孵化托管。ETCD是用于共享配置和服务发现的分布式，一致性的KV存储系统，是CoreOS公司发起的一个开源项目，授权协议为Apache。etcd 基于Go语言实现，主要用于共享配置，服务发现，集群监控，leader选举，分布式锁等场景。在微服务和 Kubernates 集群中不仅可以作为服务注册发现，还可以作为 key-value 存储的中间件。提到键值存储系统，在大数据领域应用最多的当属ZOOKEEPER，而ETCD可以算得上是后起之秀了。

JCQ 全名 JD Cloud Message Queue，是京东云自研、具有 CloudNative 特性的分布式消息中间件。JCQ 设计初衷即为适应云特性的消息中间件；具有高可用、数据可靠性、副本物理隔离、服务自治、健康状态汇报、少运维或无运维、容器部署、弹性伸缩、租户隔离、按量付费、云账户体系、授权等特性。

Dubbo 的核心模型，其它模型都向它靠拢，或转换成它，它代表一个可执行体，可向它发起 invoke 调用，它有可能是一个本地的实现，也可能是一个远程的实现，也可能一个集群实现。：封装多个提供者的路由及负载均衡，并桥接注册中心，以 Invoker 为中心，扩展接口为 Cluster, Directory, Router, LoadBalance。（5）服务消费者，从提供者地址列表中，基于软负载均衡算法，选一台提供者进行调用，如果调用失败，再选另一台调用。

时间序列的异常检测是实际应用中的一个关键问题，尤其是在 IT 行业。我们没有采用传统的基于阈值的方法来实现异常检测，而是通过深度学习提出了一种无阈值方法：基于 LSTM 网络的基线（一个 LSTM 框架辅助几个优化步骤）和无监督检测（神经网络和多种机器学习算法的组合）协同综合分析时间序列。当时间序列显示出清晰的周期性形态的情况下基线表现良好，而无监督检测在效率要求高且周期性不太清晰的情况下表现出色。通过两个并行模块的互补设计，可以在不依赖阈值设定和调整的情况下实现无阈值异常检测。京东云内部实践证明，我们所提

程序员作为一群专业的护林员，他们以代码为工具，协同行动，兢兢业业地维护着整个森林生态的平衡...关爱程序员，从我做起。京东云 11.11 云上狂欢季，为所有程序员送福利，解锁 N 种优惠玩法！

在linux系统中，root账户是有全部管理权限的，一旦root账户密码外泄，对于服务器而言将是致命的威胁；出于安全考虑，通常会限制root账户的登陆，改为配置普通用户登陆服务器后su切换到root账户使用，这种方式较为安全，限制root账户登陆的方式有多种，本文主要介绍如何通过linux-PAM限制账户登陆。

在Linux中，我们通常使用route命令来做路由信息的管理。但是该命令仅仅只能用于基本路由信息的管理，面对功能更加强大的基于策略的路由机制，route命令就显得捉襟见肘。在传统路由算法中，只能基于目的地址进行路由选择。但是如果对路由选择有更复杂的要求，比如针对不同源地址、传输层端口甚至是payload进行更细致的路由控制，传统的基于目的地址的路由表就无法满足需求了，需要使用功能更加强大的路由策略数据库来处理。

星链是京东科技消金基础研发部研发的一款研发效能提升的工具平台，面向后端服务研发需求，尤其是集成性、场景化、定制化等难度不太高、但比较繁琐的需求，如服务前端的后端 (BFF)、服务流程编排、异步消息处理、定时任务、运营后台、工作流程自动化、临时性需求等，以低代码方式开发微服务，以声明式进行 Serverless 部署，使研发人员聚焦业务逻辑而非各类细节，大幅提升研发效能、降本增效。