![](https://img-blog.csdnimg.cn/20190918140158853.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
后端技术
文章平均质量分 68
java、python、go语言为主的后端技术实战
码农丁丁
码农知识的搬运工,作为工作20年的码农,分享自己实践或看到的知识
展开
-
【代码实践】运行kafka出现ModuleNotFoundError: No module named ‘kafka.vendor.six.moves‘
升级Python版本后,原kafka-python组件不兼容报错原创 2024-06-20 09:54:23 · 657 阅读 · 0 评论 -
【云原生】Kubernetes 核心概念
Kubernetes,从官方网站上可以看到,它是一个工业级的容器编排平台。Kubernetes 这个单词是希腊语,它的中文翻译是“舵手”或者“飞行员”。在一些常见的资料中也会看到“ks”这个词,也就是“k8s”,它是通过将8个字母“ubernete ”替换为“8”而导致的一个缩写。Kubernetes 为什么要用“舵手”来命名呢?大家可以看一下这张图:这是一艘载着一堆集装箱的轮船,轮船在大海上运着集装箱奔波,把集装箱送到它们该去的地方。原创 2024-05-20 03:00:00 · 1143 阅读 · 0 评论 -
【软件测试】学习笔记-测试覆盖率
Java Agent,利用执行在main()方法之前的拦截器方法premain()来插入探针,实际使用过程中需要在JVM的启动参数中添加“-javaagent”并指定用于实时字节码注入的代理程序,这样代理程序在装载每个class文件前,先判断是否已经插入了探针,如果没有则需要将探针插入class文件中,目前主流的JaCoCo就是使用了这个方式。测试覆盖率通常被用来衡量测试的充分性和完整性,从广义的角度来讲,测试覆盖率主要分为两大类,一类是面向项目的需求覆盖率,另一类是更偏向技术的代码覆盖率。原创 2024-01-06 21:29:57 · 1364 阅读 · 0 评论 -
【基础知识】Windows/Linux文件系统类型基本介绍
最早出现在windowsNT的日志文件系统,有文件加密(权限管理)、磁盘文件压缩(节省磁盘空间)、目录索引(方便快速查找)、支持长文件名(255个字符)、磁盘预警、大容量(根据簇的不同最大容量可以达到16~256TB,但存储文件过多,由于索引增多,文件碎片化可能会导致实际性能下降)、记录操作日志(数据安全)等特性。如果你经常需要在Linux和Windows上用U盘互相传文件,而且Linux核心版本又比较低,U盘推荐还是使用FAT32,那么传输超4G的文件就只能用分包压缩的方式来规避最大文件限制。原创 2023-12-04 17:25:26 · 1012 阅读 · 0 评论 -
【数据中台】开源项目(2)-Davinci可视应用平台
社交智能能力指共享优秀的数据可视化思想,激发用户对数据可视化表达能力和艺术美感的追求,同时也使 Davinci 更加智能的引导和提高用户的数据可视化能力。自由布局的 Display(大屏),适用于一些特定的、需要添加额外修饰元素的、长时间查看的场景,通常配置这类场景需要花一定的时间和精力,如“双11”大屏。一次配置即可实现可视组件高级过滤、高级控制、联动、钻取、下载、分享等,帮助业务人员快速完成对比、地理分析、分布、趋势以及聚类等分析和决策。支持大屏、PC、Pad、手机移动端等多屏自适应。原创 2023-11-27 11:31:17 · 720 阅读 · 0 评论 -
【数据中台】开源项目(2)-Moonbox计算服务平台
Moonbox是一个DVtaaS(Data Virtualization as a Service)平台解决方案。Moonbox基于数据虚拟化设计思想,致力于提供批量计算服务解决方案。Moonbox负责屏蔽底层数据源的物理和使用细节,为用户带来虚拟数据库般使用体验,用户只需通过统一SQL语言,即可透明实现跨异构数据系统混算和写出。此外Moonbox还提供数据服务、数据管理、数据工具、数据开发等基础支持,可支撑更加敏捷和灵活的数据应用架构和逻辑数仓实践。原创 2023-11-26 22:55:34 · 710 阅读 · 0 评论 -
【数据中台】开源项目(2)-Wormhole流式处理平台
Wormhole 是一个一站式流式处理云平台解决方案(SPaaS - Stream Processing as a Service)。Wormhole 面向大数据流式处理项目的开发管理运维人员,致力于提供统一抽象的概念体系,直观可视化的操作界面,简单流畅的配置管理流程,基于 SQL 即可完成的业务逻辑开发方式,并且屏蔽了流式处理的底层技术细节,极大的降低了数据项目管理运维门槛,使得大数据流式处理项目的开发管理运维变得更加轻量敏捷可控可靠。原创 2023-11-26 22:47:52 · 736 阅读 · 0 评论 -
【数据中台】开源项目(2)-Dbus系统架构
大体来说,Dbus支持两类数据源:RDBMS数据源日志类数据源。原创 2023-11-26 22:42:08 · 1242 阅读 · 0 评论 -
【数据中台】开源项目(2)-Dbus数据总线
DBus 数据总线专注于数据的收集及实时数据流计算,通过简单灵活的配置,以无侵入的方式对源端数据进行采集,采用高可用的流式计算框架,对公司各个IT系统在业务流程中产生的数据进行汇聚,经过转换处理后成为统一JSON的数据格式(UMS),提供给不同数据使用方订阅和消费,充当数仓平台、大数据分析平台、实时报表和实时营销等业务的数据源。支持多租户管理,提供租户级资源、数据隔离机制。原创 2023-11-26 22:38:33 · 963 阅读 · 0 评论 -
【数据中台】开源项目(1)-LarkMidTable
LarkMidTable 是一站式开源的数据中台,实现中台的 基础建设,数据治理,数据开发,监控告警,数据服务,数据的可视化,实现高效赋能数据前台并提供数据服务的产品。满足许多的小企业,提供一站式的解决方案。做出世界级别,能够媲美BAT大厂的产品。创造价值,产生价值,让世界变得更加美好。原创 2023-11-26 22:35:40 · 1664 阅读 · 0 评论 -
【图数据库实战】gremlin语法
Gremlin 是 Apache TinkerPop 的图遍历语言。Gremlin 是一种函数式数据流语言,使用户能够简洁地表达对其应用程序属性图的复杂遍历(或查询)。每个 Gremlin 遍历都由一系列(可能嵌套的)步骤组成。步骤对数据流执行原子操作。每个步骤都是映射步骤(转换流中的对象)、过滤步骤(从流中删除对象)或副作用步骤(计算有关流的统计信息)。原创 2023-11-21 15:49:03 · 218 阅读 · 0 评论 -
【图数据库实战】图数据库基本概念
大多数基于非关系存储引擎的图数据库还添加了标记或属性的概念,这些标记或属性本质上是具有指向另一个文档的指针的关系。图数据库与20世纪70年代的网络模型数据库相似,它们都表示一般的图,但是网络模型数据库在较低的抽象层次运行,并且不能轻松遍历一系列边。在图形中,节点和关系是最重要的实体,所有的节点是独立存在的,为顶点设置标签,那么拥有相同标签的顶点属于一个集合;关系是有向的,关系的两端是起始顶点和结束顶点,通过有向的箭头来标识方向,顶点之间的双向关系通过两个方向相反的关系来标识。图数据库与图计算引擎不同。原创 2023-11-21 14:35:26 · 412 阅读 · 0 评论 -
【图数据库实战】HugeGraph图计算流程
2、并行加载3、并行计算4、并行输出5、算法流程6、算法开发示例原创 2023-11-20 22:38:25 · 520 阅读 · 0 评论 -
【图数据库实战】HugeGraph系列
【图数据库实战】gremlin语法。【图数据库实战】图数据库基本概念。【图数据库实战】cypher语法。原创 2023-11-20 21:16:53 · 1540 阅读 · 0 评论 -
【图数据库实战】HugeGraph架构
作为一款通用的图数据库产品,HugeGraph需具备图数据的基本功能,如下图所示。HugeGraph包括三个层次的功能,分别是存储层、计算层和用户接口层。HugeGraph支持OLTP和OLAP两种图计算类型,其中OLTP实现了框架,并支持Gremlin查询语言。OLAP计算是基于SparkGraphX实现。原创 2023-11-17 22:26:49 · 1100 阅读 · 0 评论 -
【图数据库实战】图数据库典型应用场景
图形数据库是一种 NoSQL 数据库,旨在存储和查询数据实体之间复杂的关系网络。近年来,由于它们处理大量数据的能力以及处理复杂查询的灵活性,它们变得越来越受欢迎。在本文中,我们将探讨图数据库的一些常见用例以及它们如何应用于各个行业。原创 2023-11-17 22:11:45 · 739 阅读 · 0 评论 -
小白学安全-KunLun-M静态白盒扫描工具
KunLun-M是一个完全开源的静态白盒扫描工具,支持PHP、JavaScript的语义扫描,基础安全、组件安全扫描,Chrome Ext\Solidity的基础扫描。Cobra是一款源代码安全审计工具,支持检测多种开发语言源代码中的大部分显著的安全问题和漏洞。Cobra-W是从Cobra2.0发展而来的分支,将工具重心从尽可能的发现威胁转变为提高发现漏洞的准确率以及精度。原创 2023-11-09 16:56:28 · 679 阅读 · 0 评论 -
mac 修改vmware的NAT网关
mac vmware修改NAT网关原创 2022-07-14 15:48:03 · 983 阅读 · 0 评论 -
#docker实践#Docker Desktop for Mac/Windows 开启 Kubernetes
参考文章1:macOS 下 Docker Desktop 启动 Kubernetes 一直处于 starting 状态的解决办法https://crowall.com/archives/macos-docker-desktop-k8s-always-starting.html参考文章2:Docker Desktop for Mac/Windows 开启 Kuberneteshttps://github.com/AliyunContainerService/k8s-for-docker-d原创 2020-07-08 14:27:20 · 361 阅读 · 0 评论 -
#idea#一个Java工程频繁被idea修改jdk版本问题
困扰。。。发现创建maven工程师pom.xml文件中编译版本写为1.7了,修改后再没出现。<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</m原创 2020-07-06 17:04:15 · 388 阅读 · 0 评论 -
#Redis# python Redis连接池
导入redis 模块 import redis pool = redis.ConnectionPool(host='127.0.0.1', port=6379, decode_responses=True) r = redis.Redis(host='127.0.0.1', port=6379, decode_responses=True) #注解 redis 提供两个类 Redis 和 StrictRedis, StrictRedis 用于...原创 2020-07-06 16:11:17 · 456 阅读 · 0 评论 -
#Redis# python 连接redis
python redis常用方法 pip3 install redis 2、测试是否安装成功: (base) chenjd:~ xqdd$ python Python 3.7.1 (default, Dec 14 2018, 13:28:58) [Clang 4.0.1 (tags/RELEASE_401/final)] :: Anaconda, Inc. on darwin Type "help原创 2020-07-06 15:14:44 · 314 阅读 · 1 评论 -
#Redis#Mac中docker安装Redis步骤记录
一、前提条件mac已经安装docker二、安装步骤如下:1、拉取镜像命令:docker pull redis sing default tag: latest latest: Pulling from library/redis 8559a31e96f4: Pull complete 85a6a5c53ff0: Pull complete b69876b7abed: Pull complete a72d84b9df6a: Pull comple.原创 2020-07-04 00:38:11 · 661 阅读 · 0 评论 -
#posgressql使用笔记# mac psql: command not found
使用 psql 在 mac os 系统上登录,系统显示没有 psql 这个命令存在 (base) chenjd:~ chenjianding$ psql -bash: psql: command not found 解决办法:设置环境边境:export PATH=$PATH:/Library/PostgreSQL/9.6/bin原创 2020-06-16 14:46:07 · 1112 阅读 · 0 评论 -
eclipse默认指向 WebContent 目录 修改为 webRoot
修改.settings目录下的org.eclipse.wst.common.component文件 重启Eclipse原创 2013-11-12 17:30:57 · 12394 阅读 · 0 评论 -
Maven入门笔记
win10下安装Maven --2018-2-121、下载 https://maven.apache.org/download.cgi 下载当前最新版本为3.5.22、解压安装包:apache-maven-3.5.2-bin.zip到当前目录,D:\apache-maven-3.5.23、设置环境环境M2_HOME=D:\apache-maven-3.5.2, PATH=%M2_HOME%\bi...原创 2018-02-12 11:00:13 · 197 阅读 · 0 评论 -
【R语言读书学习笔记】描述性统计
【智库的定义】 描述性统计是指将调查样本中的包含的大量数据资料进行整理、概况和计算。是推断性统计的基础。 描述性统计是以揭示数据分布特性的方式汇总并表达定量数据的方法。 主要包括数据的频数分析、数据的集中趋势分析、数据离散程度分析、数据的分布、以及一些基本的统计图形。特征括并表示定量数据,揭示数据分布的特征。 描述性统计是一类统计原创 2016-12-18 23:09:54 · 789 阅读 · 0 评论 -
【R语言读书学习笔记3】R语言数据类型
R语言支持的数据类型主要有原型(RAW)、数据型(numeric)、字符串型(Character)、逻辑型(Logical)和复数型(Complex)等。通过将数据赋值给一个变量,然后通过mode()函数来查询改变量的数据类型。 运行代码如下: 将数据3赋值被变量a a <- 3 查询a的数据类型 mode(a) [1] “numeric”原创 2016-12-13 13:31:30 · 708 阅读 · 0 评论 -
【R语言读书学习笔记】安装包和加载包
1、安装包install.packages("包名")install.packages("包名",repos="CRAN网站网址")2、加载安装包library(包名)注意和安装包的区别,直接写包名,不用加引号,3、升级安装包update.packages("包名")原创 2016-12-13 10:56:32 · 988 阅读 · 0 评论 -
【R语言读书学习笔记2】R预装好的基础包
R预装好的基础包1、base包:包含基础的R函数2、datasets包,自带的数据包,里面的数据结构包括矩阵、向量、数据框等3、utils:工具函数包4、grDevices:基础绘图工具包,提供调整图形颜色和字体的功能5、graphics:基础绘图工具包6、stats:统计函数的扩展包7、methods:R对象和其他编程工具定义方法和类比的扩展包金融分析统计原创 2016-12-13 11:16:07 · 777 阅读 · 0 评论 -
jQuery权威指南读书笔记1-初识jQuery
虽然项目中用户jQuery,但是对其了解还是很片段,趁着双11的大风,买本书:jQuery权威指南,准备边学习边记笔记,形成自己对jQuery 比较全面的理解。 还是从hello World开始。 1、认识jQuery 1.1 jQuery的基本功能 一、访问和操作DOM元素 二、控制页面样式 三、对页面事件的处理 四、大原创 2013-11-12 17:07:13 · 1134 阅读 · 0 评论 -
jQuery权威指南读书笔记2-jQuery 选择器
jQuery选择器继承了CSS和Path语法的部分语法,允许通过标签名、属性名或内容对DOM元素进行快速、准确的选择,而不必担心浏览器的兼容性,通过jQuery选择器对页面元素的精准定位,才能完成对元素属性和行为的处理。 2.1 选择器的优势 代码更简单 完善的检测机制,在jQuery选择器定位页面元素时,无需考虑所定位的元素在页面原创 2013-11-21 11:18:23 · 841 阅读 · 0 评论 -
用flatworm解析和生成Flat Files开发指南
用flatworm解析和生成Flat Files开发指南For Version 2.0Last Revised December, 2009 Flat files. Much as we live in an XML/SOAP/Web Services worl原创 2011-09-09 00:13:03 · 2863 阅读 · 0 评论 -
String.split()用法
在java.lang包中有String.split()方法,返回是一个数组 我在应用中用到一些,给大家总结一下,仅供大家参考: 1、如果用“.”作为分隔的话,必须是如下写法:String.split("//."),这样才能正确的分隔开,不能用String.split("."); 2、如果用“|”作为分隔的话,必须是如下写法:String.split("//|")原创 2007-05-23 00:28:00 · 1071 阅读 · 0 评论 -
批评一下String类
今天了为了得到类似: c://windows//system32这样的路径 //获取临时目录 string filepath = System.getProperty("java.io.tmpdir"); //要替换/为//需要下面 filepath.replaceAll("////","////////"); //看看替换我的效果 System.out.p原创 2007-06-07 17:50:00 · 649 阅读 · 0 评论