自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

.

'能用钱解决的问题,千万别花时间'。 '能升级硬件解决的问题,千万别优化程序'。

  • 博客(273)
  • 资源 (1)
  • 问答 (2)
  • 收藏
  • 关注

原创 Python爬虫:原理与实战

在当今的信息时代,互联网上的数据如同浩瀚的海洋,充满了无尽的宝藏。Python爬虫作为一种高效的数据抓取工具,能够帮助我们轻松地获取这些数据,并进行后续的分析和处理。本文将深入探讨Python爬虫的原理,并结合实战案例,帮助读者快速掌握爬虫技术。如果我们把互联网比作一张大的蜘蛛网,数据便是存放于蜘蛛网的各个节点,而爬虫就是一只小蜘蛛,沿着网络抓取自己的猎物(数据)爬虫指的是:向网站发起请求,获取资源后分析并提取有用数据的程序。从技术层面来说就是 通过程序模拟浏览器请求站点的行为,把站点返回的HTML代码/J

2024-03-15 11:23:41 1800

原创 基于LDA主题模型文本分类

项目场景:以微博为数据源,分析新冠疫苗舆情的主题演化和情感波动趋势,结合时事进行验证,从而得出特殊事件对于舆情的特定影响,为突发公共事件的社交媒体舆情合理引导提供建议。所以想要生成一篇文章,可以先以一定的概率选取上述某个主题,再以一定的概率选取那个主题下的某个单词,不断重复这两步就可以生成最终文章。LDA主题模型主要用于推测文档的主题分布,可以将文档集中每篇文档的主题以概率分布的形式给出根据主题进行主题。,通过分析一些文档抽取出它们的主题(分布)出来后,便可以根据主题(分布)进行主题聚类或文本分类。

2023-07-21 16:53:34 3054

原创 批处理-交互式分析一体化Trino深度测评

2020年12月27日,Presto社区将开源项目PrestoSQL的名字更名为TrinoDB(本文简称Trino)。Trino是一款开源的高性能、分布式SQL查询引擎,专门用于对各种异构数据源运行交互式分析查询,支持从GB到PB的数据量范围。Trino专门为交互式分析而设计,可以对来自不同数据源的数据(包括:Hive、AWS S3、Alluxio、MySQL、Kafka、ES等等)进行合并查询,并提供良好的自定义连接器编程扩展框架。适用于期望响应时间从亚秒到数分钟不等的分析师场景。

2023-07-20 17:29:49 677

原创 信创-大数据平台CPU架构支持

同时配套Aquila Insight、Manager、Audit、Guardian等工具,使TDH的安装、管理、开发、运维、升级十分便捷,给用户带来极致的开发和运维体验。阿里云智能总裁张建锋表示,传统IT时代围绕芯片建立IT生态,但云计算从根本上改变了这一模式,云操作系统可以将服务器芯片、专用芯片等硬件封装成标准算力,无论底层芯片是X86、ARM、RISC-V还是硬件加速,给客户提供的都是标准的、高质量的云计算服务。高度兼容现有的SQL标准、优化器标准、存储标准,减少用户的迁移难度和学习难度。

2023-06-16 10:53:20 2894

原创 CDH/HDP迁移星环大数据产品TDH

通过8种独立的存储引擎,支持业界主流的10种存储模型:关系型数据存储、宽表存储、搜索引擎、地理空间 存储、图存储、键值存储、事件存储、时序存储、文本存储、对象存储。星环科技TDH已完成与主流信创生态厂商的适配互认工作,适配长城飞腾、华为泰山、浪潮等服务器,鲲鹏、飞腾CPU,麒麟、统信等OS,并有官方认证,支持基于ARM与X86服务器服务器混合部署并有落地案例,满足信创验收要求。TDH的多模架构,支持关系表、文本、时空地理、图数据、文档、时序等在内的10种数据模型;整个易用性、开发效率和运行效率都提高很多。

2023-06-02 15:45:57 1100

原创 Flink + Iceberg打造流批一体的数据湖架构

对于数据湖架构来说,数据文件在HDFS的分布组织是由写入任务决定的,而对于分布式数仓来说,数据一般是通过JDBC写入,数据的存储组织方式是由数仓本身决定的,所以数仓可以按照对于查询更加友好的方式组织数据的存储,比如对数据文件定期compact到合适的大小或者对数据进行合理排序和分组,对于大规模的数据来说,数据的优化组织可以大大提高查询的效率。在这里需要做一个概念上的澄清:数据湖关注的是对原始数据高效、灵活的处理,DWD 及其他数仓分层是充分设计的数据模型,它并不符合我们对数据湖的定义和需求。

2023-03-10 17:44:44 3766

原创 为什么Kafka不使用http?为什么消息中间件不直接使用http协议?

为什么Kafka不使用http?kafka在tcp上使用二进制协议有人问我们为什么不使用http。原因有很多,最好的是客户机实现者可以利用一些更高级的tcp特性--多路请求的能力,同时轮询多个连接的能力,等等。我们还发现许多语言中的http库非常破旧。有没有明确的原因,因为这似乎没有说服力?Kafka 强调性能。通常 HTTP over TCP 带来的开销并不大,只要您将 header 保持在最小大小即可。但是如果您有大量的小消息来回传输,则应考虑 HTTP 的开销。

2023-02-08 13:20:56 1832

原创 CDH大数据平台

FineBI是帆软软件有限公司推出的一款商业智能(Business Intelligence)产品,它可以通过最终业务用户自主分析企业已有的信息化数据,帮助企业发现并解决存在的问题,协助企业及时调整策略做出更好的决策,增强企业的可持续竞争性。多维度分析:OLAP分析实现,提供各种分析挖掘功能和预警功能,例如任意维度切换,添加,多层钻取,排序,自定义分组,智能关联等等。即时分析:可以选择数据快速创建表格或者图表以使数据可视化、添加过滤条件筛选数据,即时排序,使数据分析更快捷。Canal的安装和使用。

2023-02-01 11:15:12 3524

原创 CUP架构:X86架构与Arm架构

一般也被称作“x86-64”、“x64”。值得注意的是,Intel也推出过IA-64架构,虽然名字上与“IA-32”相似,但两者完全不兼容,并不属于x86指令集架构家族。X86架构和ARM架构是主流的两种CPU架构,X86架构的CPU是PC服务器行业的老大,ARM架构的CPU则是移动端的老大。ARM主要应用于移动终端之中,类如手机,平板等,而X86则是主要应用于Intel,AMD等PC机,X86服务器中。X86主要追求性能,但会导致功耗大,不节能,而ARM则是追求节能,低功耗,但和X86相比性能较差。

2022-11-24 19:45:51 7983

原创 企业内外网数据同步解决方案

企业内部,一般对U盘/移动硬盘的使用有所限制,所以一般是指定少数有权限的人,经常是IT部门,负责通过移动硬盘在内外间,按照业务部门的要求,进行数据拷贝。采用创新的数字包裹概念,可以将待处理和交换的一个批次的业务文件封装进一个安全数字包裹,并且生成一个包含包裹内容信息(发货清单)和投递信息(快递单)的包裹元数据,可以确保一个批次业务数据的完整性和正确性,同时可以防止后续的篡改行为。不过,这些传统跨网络的数据移动方式,很难满足企业对于内外网文件交换的安全、高效、便捷、管理等方面的需求。,没有办法取得内网文件。

2022-11-12 19:07:50 3910

原创 HostMonitor监控软件

Host Monitor是KS-SOFT公司出品的一套安装在Windows上的网络监测工具,据官方网站的介绍,Host Monitor提供了56套测试工具和27种报警动作,能够定时监控目标主机Windows Server和各个版本的Linux上任何TCP服务、UDP、网络连通状态(Ping)、路由(Route)、DNS、FTP、SMTP、POP3、端口(Port)、URL以及Web Service、SQL Server、数据库表空间大小、硬盘空间、文件及文件夹大小、网络流量等指标,支持远程监控。

2022-10-19 15:23:20 2615

原创 Django--基于Python的Web应用框架

Django 是一个由 Python 编写的一个开放源代码的 Web 应用框架。使用 Django,只要很少的代码,Python 的程序开发人员就可以轻松地完成一个正式网站所需要的大部分内容,并进一步开发出全功能的 Web 服务 Django 本身基于 MVC 模型,即 Model(模型)+ View(视图)+ Controller(控制器)设计模式,MVC 模式使后续对程序的修改和扩展简化,并且使程序某一部分的重复利用成为可能。低耦合开发快捷部署方便可重用性高维护成本低...

2022-09-27 19:56:53 15158

原创 企业微信发送消息--Python

在使用应用消息推送的api时候,发送图片消息需要我们提供图片的media_id值,以此来获取我们要发送的图片。Python代码主要使用requests库,将企业微信API进行简单封装,模拟https的GET、POST操作,向指定的用户发送企业微信消息。Python代码主要使用requests库,将企业微信API进行简单封装,模拟https的GET、POST操作,向指定的用户发送企业微信消息。其中,corpid为企业id,可以在企业微信网页后台的“我的企业”——>“企业信息”——>“企业ID”中看到。

2022-09-01 22:03:37 7230 1

原创 如何使用Python进行批量文件整理

引言 ” 批量文件整理一直是日常工作中令人头疼的事,使用 Python 进行大批量文件整理,可以大大提升工作效率。我们在制作文件清单后,可以使用excel进行便捷的文件名统一调整(如去空格,增加头尾字段等)。在文件整理统计时,经常要给文件名添加序号,在上面保存文件清单的过程,我们可以看到脚本的默认排序保存是按首位数字排序,在此我们可以通过补零来保证按数字大小排序。我们在excel对文件名进行筛选后,将是否删除列为1的文件删除,保留为0的文件(如图)。获取文件名,并将序号和文件名写入 excel。......

2022-08-31 22:12:11 3474

原创 Gbase数据库

GBase 是南大通用数据技术有限公司推出的自主品牌的数据库产品,在国内数据库市场具有较高的品牌知名度。GBase系列产品包括:新型分析型数据库GBase 8a、分布式并行数据库集群GBase 8a Cluster、高端事务型数据库GBase 8t、高速内存数据库GBase 8m/AltiBase、可视化商业智能GBaseBI、大型目录服务体系GBase 8d、硬加密安全数据库GBase 8s。MySQL是一个关系型数据库管理系统,由瑞典MySQL AB公司开发,属于Oracle旗下产品。.........

2022-08-29 20:45:52 9995

原创 OLAP(三):Doris

1.编写测试程序1,无限循环通过Spark restful API 提交任务到spark集群运行,每个任务申请worker数1个,cpu:1核,内存:1g,driver端 cpu:核,内存1g,程序只提交spark任务不进行任务读取文件和处理分析操作,申请到资源就立马释放。4.编写测试程序4,提交2个任务,第一个任务先提交并申请spark集群50%资源,然后提交第二个任务,第二个任务也要获取spark集群50%资源。4.若提交一个任务,spark集群只能满足其一部分申请,这个任务该如何进行。......

2022-08-27 23:40:08 1830

原创 Impala优化,并发性能问题,压测

在进行impala性能测试的过程中,从测试结果发现impala的并发性能非常差。1.1 环境信息测试的环境配置如下:服务器内存:250G;CPU : 2个CPU,每cpu 6个物理核,逻辑核数24;带宽:万兆网口节点个数:3数据:TPC-DS生成的100G数据集,把数据导入parquet格式的hive表中。..........................................

2022-08-27 17:13:05 4643

原创 信创大数据平台容灾项目

对于实时性要求不高的如hive等组件采用批处理式容灾机制,生产集群内批处理作业产生的数据,充分考虑了批处理生成增量数据规模大,数据结构复杂多样,业务的实时性要求不高因素,综合集群的可用资源及带宽压力的因素,将该类数据的容灾控制RPO

2022-08-27 00:27:36 1379

原创 spark实现sqoop从oracle导数据到hive

有时候oracle中的数据中会存在换行符(" \n ")然而hive1.1.0中数据换行默认识别的也是\n,最坑的是还不能对它进行修改(目前我没有查出修改的方法,大家要是有办法欢迎在评论区讨论)那我只能对数据进行处理了,以前使用sqoop的时候也有这个问题,所幸sqoop有解决换行符的语句,,,,巴拉巴拉,,,扯远了。其中--jars 是指定连接oracle的驱动,ojdbc7.jar对应的是oracle12版本,--master local /...指定的是运行的python文件。.........

2022-08-26 22:29:17 2289

原创 数据沙箱在大数据生产、测试物理集群隔离场景中最佳实践

大数据平台不仅需要稳定地运行生产任务,还需要提供数据开发的能力。因此,不少大数据平台都会为每个任务区分开发模式与线上模式,可以通过提交上线的方式,将开发模式任务提交到线上,让其用于线上数据生产工作。开发模式与线上模式其实可以看成两个代码相似,但完全独立的任务,为了便于后续描述,将其分别称为开发模式任务与线上模式任务。开发模式下的任务可以进行编辑、运行、调试。当任务开发完毕后,通过提交上线功能,将开发模式的任务提交到线上,也即使用开发模式的任务代码覆盖原本的线上模式任务代码。

2022-08-21 21:54:55 1973

原创 python实现量化交易策略

相信大家都听说过股票,很羡慕那些炒股大佬,觉得量化投资非常高深,本文教大家用python实现简单的量化交易策略。在这强调一下,本文仅供交流学习参考,不构成任何投资建议。炒股有风险,投资需谨慎。本文用相关性构建一个简单的交易策略,但还有许多工作没有完成,有兴趣的读者可以进行改善。比如调参,本文用1年数据来测试1个季度,读者们可以用2年数据测试1个季度,用1年数据测试1个月等等。或者用今天和前天数据计算相关性,或者用所有上市公司代替沪深300,或者取相关性最大的5组股票等等。

2022-08-20 21:45:27 4544 1

原创 Hive把数据直接上传到分区目录上、hive表导入CSV文件时忽略首行、

表时,发现列头被当做数据导入到。向表中load数据过滤首行。

2022-08-17 19:34:30 1428

原创 权限管理系统设计方案

用户和角色,角色和权限都是多对多的关系,这种模型是最通用的权限管理模型,节省了很大的权限维护成本, 但是实际的业务千变万化,权限管理的模型也需要根据不同的业务模型适当的调整,比如一个公司内部的组织架构是分层级的,层级越高权限越大,因为层级高的人不仅要拥有自己下属拥有的权限,二期还要有一些额外的权限。这种模型能够满足权限的基本分配能力,但是随着用户数量的增长,这种模型的弊端就凸显出来了,每一个用户都需要去分配权限,非常的浪费管理员的时间和精力,并且用户和权限杂乱的对应关系会给后期带来巨大的维护成本。

2022-08-14 18:14:48 3533

原创 两表对比脚本CheckData

#! /bin/bash# sh /data/disk1/workspace/group_sjzt/bigdata_zdev/cxp/check/CheckData_test.sh CK_ZDEV.CLAIM_CALCULATE_DETAIL_nocar CK_ZDEV.CLAIM_CALCULATE_DETAIL -k calculate_detail_no calculate_id -d Etl_Upd_Dttm $current_date &Usage(){ echo "脚本名称: $sh_

2022-08-12 21:14:50 281

原创 Python量化交易

dit={'111':'重要价值客户','011':'重要保持客户','101':'重要挽留客户','001':'重要发展客户','110':'一般价值客户','010':'一般保持客户','100':'一般挽留客户','000':'一般发展客户',df.groupby(by='user_id').sum().query('order_amount ..................

2022-08-12 21:13:24 2314

原创 DAMA-总结(数据管理的总结)

数据管理利益相关方涉及众多,数据生产者、数据开发者、数据使用者,且大家核心目标是不一致的,生产者保证线上业务的连续性、开发者保证数据需求的完整性、使用者保证数据使用的有效性,看似都与数据有关、但却各自关注点大相径庭。,一开始的架构都是简洁明了的,然而随着组织业务不断的发展、人员的不断变更使得架构系统变得臃肿,难以为继。对外需要争取组织高层和数据消费者的支持,很多跨团队合作的业务需要自上而下,最终的数据消费者也是一个非常重要的部分,他们是数据的直接使用者,如果脱离他们的应用,数据价值就是空中楼阁。......

2022-07-17 09:17:00 1999

原创 DAM-第十三章(数据质量管理)

导致数据质量低下的因素很多,主要包括组织缺乏对低质量数据影响的理解、缺乏对数据的规划、孤岛式的业务&数据系统设计、不一致的开发过程、不完整的文档、缺乏标准或缺乏治理等。大多数组织都有大量的数据,但并非所有的数据都有同等的重要性。并非所有的数据都有同等的重要性,数据质量管理工作应首先关注最重要的数据如果数据价值更改,并将组织及其客户提供更多的价值。为了保证数据质量,应围绕数据质量方案制定一个实施计划,允许团队管理数据质量规则和标准、监控数据和规则的持续一致性、识别和管理数据质量问题,并报告质量水平。.....

2022-07-17 09:16:30 482

原创 DAMA-第十二章(元数据管理)

元数据本身也是需要进行管理的,由于元数据的特殊性,和应用场景的局限性,往往难以受到广泛的业务重视,所以不仅需要元数据管理者具备高度的专业能力和深度的投入,也需要企业高层对实践活动的支持。元数据存储库硬蛋将提取的技术元数据与相关的业务、流程和管理元数据集成在一起,可使用适配器、扫描仪、网桥应用程序或直接访问源数据存储中的方式来提取元数据。元数据可以帮助组织理解其自身的数据、系统、流程,同时帮助用户评估数据质量,有助于处理、维护、集成、保护和治理其他数据,对数据库和其他应用程序的管理来说是不可或缺的。.....

2022-07-17 09:15:21 712

原创 DAMA-第十一章(数据仓库与商务智能)

可通过协作工具进行这项工作,通过卓越中心监控活动确保创建的内容保留在逻辑模型中,确保面向业务的内容与面向技术的物理模型之间保持一致,降低下游错误和返工的风险。数据仓库是数据建设的核心,是数据集中处理的场所。大部分关于数据仓库构建的讨论,都受到两位有影响力的思想领袖BillInmon和RalphKimball的影响,他们在数据仓库建模和实施上各有不同的方法和思想。操作型商务智能的出现推动了更低延迟的需求,将更多实时的或准实时的数据集成到数据仓库中,新的架构方法随之出现,用于处理易变化的数据。......

2022-07-16 17:04:38 560

原创 DAMA-第十章(参考数据与主数据)

参考数据是指可以用于描述或分类其他数据,或者将数据与组织外部数据联系起来的任何数据)和主数据(主数据是有关业务实体的数据,如雇员、客户、产品、金融结构、资产和位置、业务行为流程)。并根据参考数据和主数据的特性和异同分别进行相应的管理和规整,以此提升组织的数据质量,增强组织的数据能力。主数据代表与关键业务实体有关的、权威的、准确的数据。主数据代表与关键业务实体有关的、权威的、准确的数据,是组织数据的主要载体,且一般数据体量较大,是组织活动的主要信息载体,可以理解为我们常说的。...

2022-07-16 17:00:56 870

原创 DAMA-第九章(文件与内容管理)

文件和内容是指存储在关系型数据库之外的数据和信息,这部分信息是整个数据领域的重要部分,由于文件和内容的特殊性,该部分数据的主要操作涉及相应的存储、管理、访问,中间处理过程相对较少,因此篇幅较为有限,且解释性内容较多(按照CDMP考试认证的占比高达11%)。本章主要讲述文件和内容的管理,全文首先从文件和内容的概念讲起,阐述文件和内容管理的驱动因素和相应需要遵循的原则,并对相关的专业术语进行了较为全面的介绍(有些枯燥),并对整个管理活动的流程、所需工具等做了简述。计划中应考虑内容的驱动因素、内容创建和交付等。.

2022-07-16 16:58:02 672

原创 DAMA-第八章(数据集成与互操作)

批量数据集成的流程编排将设定数据移动和转换的频率。数据血缘对于数据集成和互操作解决方案的开发非常有价值,治理需要确保记录数据来源和数据移动的信息,数据共享协议可能规定了数据使用的限制。数据集成是将数据整合成物理的或者虚拟的一致格式,数据互操作是多个系统之间践行通信的能力,数据集成和互操作的解决方案提供了大多数组织所以来的基本数据管理职能。将数据从各原系统抽取到对应的数据集成中心中进行处理加工,经过一系列的格式转化、标准统一、逻辑处理之后得到标准通用的数据,以此提供给各个数据消费系统进行业务支持。...

2022-07-16 16:56:41 829

原创 DAMA-第七章(数据安全)

随着数据的不断膨胀,数据的管理难度不断加大、数据滥用风险不断增加,造成了数据技术在服务于人们的时候也为大家带来了很大的困扰。在第二章中我们总结了数据处理的伦理,其中很大一部分就是保证数据安全,本文对数据安全的技术、实施注意事项、度量指标等进行了全面的概述,让我们对数据安全有了一个较为全面的理解。有的指标有助于流程改进,有的指标衡量流程的进度开展的审计量、安装的安全系统、报告的事件数以及系统中未经检查的数据量。虽然完美的数据安全几乎不可能,但避免数据安全漏洞的最佳方法是建立安全需求、制度和操作规程的意识。..

2022-07-16 16:55:30 552

原创 DAMA-第六章(数据存储与操作)

数据验证是根据既定的验收标准评估存储数据的过程,以确定其质量和可用性,DBA对数据审计和验证提供部分支持工作,包括帮助制定和审查方法、进行初步的数据筛查和审查、开发数据监控方法、应用统计信息、地理统计信息、生物统计信息等技术来优化数据分析、支持采样及分析、审核数据、提供数据发现的支持、担任与数据库管理相关问题的主题专家。不同的数据库有不同的特性,数据在不同的载体中需要用合适的方法,因此我们在使用数据的时候需要更好地了解其存储的设备和系统,只有这样我们才能因地制宜,更好地发挥数据的价值。...

2022-07-16 16:53:51 483

原创 DAMA-第五章(数据建模与设计)

本文是《DAMA数据管理知识体系指南》第五章的读书笔记,主要讲述如何进行数据建模和设计,该章是全文的核心关节之一(按照CDMP考试认证的内容占比高达11%,是占比最重的五个章节之一)。通常,主键是代理键,而备用键是业务键。数据拱顶模型设计的重点是业务的功能领域,中心表代表业务主键,链接表定义了中心表之间的事务集成,卫星表定义了中心表主键的语境信息。,在建模过程中,首先要研究现有的数据模型和数据库,参考已发布的建模标准和数据标准,搜索和考虑随时提出的新的数据要求,在此基础上建模人员设计数据模型初稿;...

2022-07-16 16:49:25 738

原创 DAMA-第四章(数据架构)

一个完整的数据架构中的构建应当包括当前状态的描述、数据需求的定义、数据整合的指引、数据管控策略中要求的数据资产管理规范。数据架构主要需要考虑如下几个方面数据架构的成果(也就是常说的数据架构的构建)、数据架构的活动(用于形成、部署、和实现数据架构的目标)以及数据架构的行为。企业架构类型数据架构的设计与实施同其他架构紧密相连,企业组织中的架构主要包括组织架构、业务架构、IT技术架构、数据架构等。企业数据模型是一个整体的、企业级的、独立实施的概念和逻辑数据模型,为企业提供通用的、一致的数据视图;......

2022-07-16 16:47:45 1390

原创 DAMA-第三章(数据治理)

下图是一个类似的运营框架示例。常见的数据管理知识领域内的标准化概念如下数据架构、数据建模和设计、数据存储和操作、数据安全、数据集成、文件与内容、参考数据与主数据、数据仓库和商务智能、元数据、数据质量等。风险成本基于罚款、预计诉讼费的估价,来自法律或监管的风险(缺少必需的数据、存在不应留存的数据、数据不正确造成的客户、公司财务或者剩余受到损害的成本)。有效而持久的数据治理需要组织文化的转变和持续的变革管理,文化包括组织思维和数据行为,变革包括为实现未来预期的行为状态而支持的新思维、行为、策略和流程。.....

2022-07-16 16:45:33 3003

原创 银行数据管理办法

数据管理岗由总行各部门委派人员担任,且应至少确保一名在职员工担任或兼任,部门应包括资产负债管理部、软件开发中心、数据中心、电子银行中心、公司银行部、个人银行部、小微企业银行部、小企业信贷中心、信贷监控部、评审部、国际业务部、票据业务部、资金部、信用卡部、财务部、会计结算部、风险管理部、资产管理部、稽核部、合规部、人力资源部和运营管理部。数据使用的安全是指有效地防止数据在录入、处理、统计或打印中由于硬件故障、断电、死机、人为的误操作、程序缺陷、病毒或黑客等造成的数据库损坏或数据丢失现象。......

2022-07-16 12:30:26 520

原创 数据安全与分类分级、敏感信息定义与分级分类标准

敏感信息定义与分级分类标准

2022-07-16 10:08:04 4176

原创 项目管理工具--禅道

一、前言禅道是一个测试管理工具,可以在里面进行项目管理以及bug用例管理,是一个非常好用的管理工具当测试环境搭建完成后,测试人员将在自己搭建的环境上执行测试用例,开展测试工作测试人员在执行测试用例的过程中,如发现实际结果与预期结果不一致, 则意味着出现Bug (缺陷、错误、问题)。当测试人员发现了Bug之后,就需要把Bug提交给开发人员进行修复二、目的1. 量化评估对个人的评估把工作拆分成一个一个的最细粒度任务,可以详细到小时的单位,并分配给开发人员任务分配者(比如迭代负责人)注意每个任务难度、复杂度

2022-07-09 21:12:02 1689

python脚本用于查询数据监控结果表格并发送告警邮件

python脚本用于查询数据监控结果表格并发送告警邮件

2022-05-02

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除