ejinxian的专栏

原创 分布式大数据引擎Presto和Apache Spark

Hive使用MapReduce作为底层计算框架，是专为批处理设计的。但随着数据越来越多，使用Hive进行一个简单的数据查询可能要花费几分到几小时，显然不能满足交互式查询的需求。Presto是一个分布式SQL查询引擎，它被设计为用来专门进行高速、实时的数据分析。它支持标准的ANSI SQL，包括复杂查询、聚合（aggregation）、连接（join）和窗口函数（window functions)。这其中有两点就值得探究，首先是架构，其次自然是怎么做到低延迟来支持及时交互。Spark 3.0...

原创 开源Blender 是3D 图形设计

Blender 是一款用于 3D 图形设计的自由开源软件，可免费使用，并且有着与商业软件几乎相同的功能，主要使用C、C++ 和 Python 语言进行开发，可以运行于不同的平台Development Fund支持所有人维护和改进 Blender参考：https://fund.blender.org/...

原创 开源的基于web视频会议（Apache OpenMeetings）开发

OpenMeetings 视频会议，仿QQ群视频，实现多人视频，多人语音，文字聊天，表情，共享PPT功能，自由发言，主持人控制发言，按F2发言三种语音模式。 OpenMeetings 是一个多语言可定制的视频会议和协作系统。它支持音频、视频，能让你查看每个与会者的桌面。OpenMeetings 还包含一个白板，通过白板可以导入各种格式的图片和涂鸦。参考：https://github.com/apache/openmeetings/ ...

原创 FileZilla是一种快速 FTP 上传

FileZilla 是一种快速、可信赖的 FTP 客户端以及服务器端开源程序，具有多种特色、直观的接口。FileZilla Client 不仅支持 FTP，还支持 FTP over TLS（FTPS）和 SFTP； FileZilla是一个免费开源的FTP软件，分为客户端版本和服务器版本，具备所有的FTP软件功能。可控性、有条理的界面和管理多站点的简化方式使得Filezilla客户端版成为一个方便高效的FTP客户端工具，而FileZilla Server则是一个小巧并且...

原创 FileSaver、js-xlsx、SheetJS在线报表预览导出

FileSaver、js-xlsx的前端插件files: [ vendor_path('file-saver/FileSaver.min.js'), vendor_path('js-xlsx/dist/xlsx.core.min.js'), ]FileSaver、js-xlsx的github，支持的版本类型，和使用方法。 filename = "ge.xls

原创 Java JDK 源码结构

JDK 14 Documentation：Java Platform, Standard EditionHow to use the Javadoc tool that is installed with the Java Development Kit (JDK).

原创 云架构化-设计理念参考

Salesforce占领了 Siebel 市场，曾经这个领域最好的软件叫 SiebelSalesforce 把 Siebel 的 Siebel Tools（核心底层）云架构化Force.comSiebel 有 Siebel Tools，Peoplesoft 有 Peopletools深度的去分析和对比了 Oracle 和 Salesforce 的应用架构层的设计理念aPaaS 层是 Application PaaSiPaaS 层是 intergration platform servic

原创 gim-实时通讯框架

gim 一个简单易用，稳定高效的及时通讯框架（支持端口多开，同时支持socket与websocket消息互通）gim是基于高性能网络框架getty封装的，轻量级，稳定高效的及时通讯框架Getty 地址（link）：https://github.com/gogym/gettygim目的是降低及时通讯的技术门槛，把消息的分发交给gim，让更多的时间专注在业务上而诞生的gim的特点：1、轻量级架构，核心代码仅几百行。2、高效的协议，基于google protobuf。3、框架提供了常用

转载 手稿生成 HTML 代码 SketchCode

SketchCode是一种深度学习模型，它采用手绘的Web原型并将其转换为有效的HTML代码，使用图像字幕体系结构从手绘网站线框生成HTML标记。注意：此项目是概念验证；该模型性能依赖于类似于核心数据集的线框。依赖Python 3 (not compatible with python 2)pip安装依赖pip install -r requirements.txt用法示例# Getting the data, 1,700 images, 342mbgit c...

原创 前端可视化开发-编辑器

draw.io 原型图设计编辑器：https://github.com/jgraph/drawiomethod draw svg绘制编辑器：https://github.com/methodofaction/Method-DrawFabric.js canvas图形编辑器：https://github.com/fabricjs/fabric.js

原创 Spring Boot 注解描述

一、注解(annotations)列表@SpringBootApplication：包含了@ComponentScan、@Configuration和@EnableAutoConfiguration注解。其中@ComponentScan让spring Boot扫描到Configuration类并把它加入到程序上下文。@Configuration 等同于spring的XML配置文件；使用Java代码可以检查类型安全。@EnableAutoConfiguration 自动配置。@Compone.

原创 软件工程的持续交付（CDF）和规范

持续交付（CD）是一种软件工程方法，开发团队在短周期内完成软件，确保软件可以随时可靠地发布。与之密切相关的是“持续集成（CI）”，持续集成是一种软件开发实践，开发团队成员经常集成他们的工作，每次集成都通过自动化的构建（包括编译、发布与自动化测试）来验证，从而尽快发现集成错误持续交付基金会（Continuous Delivery Foundation，CDF），以为重要的开源项目提供持续交付和规范，加快发布管道流程。当时首批托管项目包括开源CI/CD 系统 Jenkins、基于 Kubernete..

转载 Facebook 开源 Instagram 安全工具 Pysa

Facebook宣布开源静态分析工具Pysa。这是 Instagram 上用于检测和修复应用程序庞大 Python 代码库中错误的一个内部工具，可以自动识别 Facebook 工程师编写的易受攻击的代码段，然后再将其集成到社交网络的系统中。其工作原理是在代码运行/编译之前，以静态的形式扫描代码、查找潜在已知的错误模式、然后帮助开发者标注出潜在的问题。Facebook 声称，Pysa 现已通过持续改进达到了成熟；在2020 上半年，该工具在 Instagram 服务器端的 Python 代码中检测到...

原创 Python是Python的web框架

Python下有许多款不同的 Web 框架。Django是重量级选手中最有代表性的一位。许多成功的网站和APP都基于Django。Django 是一个开放源代码的 Web 应用框架，由 Python 写成。Django 采用了 MVT 的软件设计模式，即模型（Model），视图（View）和模板（Template）MVC 优势：低耦合 开发快捷 部署方便 可重用性高 维护成本低Python 加 Django 是快速开发、设计、部署网站的最佳组合。特点强大的数据库功能 自带

原创 PDFBox

PDFBox（一个BSD许可下的源码开放项目）是一个为开发人员读取和创建PDF文档而准备的纯Java类库,Jakarta Lucene等文本搜索引擎的整合过程十分简单　PDFBox: www.pdfbox.org　Apache FOP: http://xml.apache.org/fop/　iText: www.lowagie.com/iText/　PDF Reference: http://partners.adobe.com/asn/tech/pdf/specifications..

原创 GraphQL API 的查询语言

GraphQL是一个用于 API 的查询语言，是一个使用基于类型系统来执行查询的服务端运行时（类型系统由你的数据定义）。GraphQL 并没有和任何特定数据库或者存储引擎绑定，而是依靠你现有的代码和数据支撑一、完整原则确保图被明确定义、稳定且一致1. 单一图你的公司应当只有一个统一的图，而不是多个团队分别创建的多个图。2. 联合实现虽然只有一个图，但该图应该由多个团队联合实现。3. 追踪在注册表中的 Schema注册和追踪图时应当有一个单一的事实来源。二、敏捷原则.

原创 OpenNLP 自然语言处理工具

OpenNLP 是一个机器学习工具包，用于处理自然语言文本。支持大多数常用的 NLP 任务，例如：标识化、句子切分、部分词性标注、名称抽取、组块、解析等。特性：使用严格的数学进行计算以获得一致的评估 实现 langdetect 中的 Serializable 并进行规范化OpenNLP Home Pagedocumentation...

原创 研发工程规范性模型-DevSecOps

一、总体设计： 产品研发流程被抽象成 需求、开发、代码准入、测试、上线&验证 五个阶段：正式提交的代码必须严格遵循百度代码风格规范，否则不允许提交代码，产品能够优质、高效和稳定的交付，我们称之为研发工程规范性模型，下文简称工程规范性模型。二、构建产品研发的各个阶段都能实现高效、安全、可靠的交付，将安全漏洞和缺陷消灭在问题的根源:自动化安全工具很难覆盖到产品的需求设计阶段。 安全只覆盖了产品研发的编码和测试阶段，并没有实现全链条覆盖。 绝大多数产品的安全措施集中在测试阶...

原创 Sping和springBoot框架技术栈

Sping技术栈所包含的技术框架图：Spring Boot框架图Spring Boot是Spring框架的一部分，关于Spring的核心技术请参考Spring core technologies - spring.ioMaven项目构建创建pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="..

原创 软件工程设计图(总体设计、概要设计、详细设计)

敏捷开发一般不推荐详细设计，系统总体设计、概要设计可合并为架构（Architecture）设计。一、What is UML?二、Why UML Modeling?三、14种UML图类型概述常用的 UML 图可分静（态）图、动（态）图两类，静态图主要描绘软件的静态结构，而动态图主要描绘软件的动态行为。常用 UML 动态图（5 个）：用例图，活动图，状态机图，序列图，通信图。常用 UML 静态图（4 个）：类图，包图，部署图，构件图对象图（1.x 起）、组成结构图

原创 CMS软件系统架构设计思考

RXThinkCMF_TP6框架中集成了权限管理、模块管理、插件管理、钩子管理、数据库管理、富文本编辑器(已集成ueditor,kindeditor)，后台支持多主题切换、布局管理、广告管理、配置管理、字典管理、切图管理、CMS内容管理等常用功能模块官方网址：http://www.rxthink.cn/帮助文档：http://docs.dev6.rxthink.cn/...

原创 软件持续测试

原创 TARS 微服务开源生态

TARS 微服务开源生态基础层：基础架构（不同架构芯片、云、容器）、基础开发语言 存储层和协议层：存储（Cache、数据库、大数据、文件系统）、协议 逻辑平台层：框架、服务发现、Service Mesh、日志、监控、配置、追踪 应用层和业务层：API Gateway、业务、深度学习、边缘计算、TARS 实验室、DevOps测试相关的TARS Benchmark与TARS JMeter，服务网关TARS Gateway，以及此次重磅推出的TARS K8S。Li...