- 博客(227)
- 资源 (14)
- 收藏
- 关注
原创 离线数据仓库
数据中台:利用大数据技术,对海量数据统一进行采集、计算和存储、并统一数据标准和口径,该架构需要维护两套代码:离线架构代码和实时架构代码。随取随用、只有在使用时才进行数据转换等处理。数据中台:包含数据仓库和其他服务中间件。对原始数据进行清洗、转换和预处理。作为数据仓库或数据集市的数据源,更适合进行数据挖掘、探索和预测。可视化报表服务,支持历史分析。源系统导入数据、无数据流失。商业智能系统、数据仪表盘等。与定义好的数据模型相吻合。对外提供数据服务的API。
2023-07-14 11:21:32 4285
原创 大数据计算分析技术:批处理、流计算、OLAP引擎
大数据计算:指的是 面向业务需求 对海量数据的并行处理、分析和挖掘大数据计算的手段:通过对海量数据分片、多个计算节点并行执行、实现高性能、高可靠的数据处理
2023-07-13 19:55:27 982
原创 实时数据处理
离线数据中,两表关联是非常简单的,因为离线关联的时候,表里的数据已经是全量的静态数据;而流式计算不一样,数据的到达是一个增量源源不断的过程,且两个流到达的顺序也是无序的。实时任务(多线程操作,并发任务,延时在ms级)中,需要 计算很多指标和维度,数据需要存放在存储系统中,方便恢复或关联;eg:去重指标的明细数据,用于发生故障时,使用数据库中的数据恢复内存现场。ETL处理后的实时结果,实时更新,写的频率高,可以被下游直接使用。非去重指标分桶:数据随机分发到每个桶,再汇总,利用的是各个桶的CPU能力。
2023-07-10 11:06:15 612
转载 支付业务测试
伴随着互联网金融的兴起以及移动支付的普及,市场在演变、支付领域也在改革,而各大结构对统一支付平台的构建也迫在眉睫。一体化的支付平台设计即整合线上和线下支付业务、统一收银、统一路由、统一日终,对接行内核心系统以及行外大小额系统、超级网银、银联、第三方支付等资金通道,是一整套资金流转体系。下面描述几个生活中常用到的涉及到支付业务流程的功能:跨行转账、订单支付、二维码支付。支付系统涉及到的业务主要包括:智能路由、聚合收单、日终清算、日终对账、差错冲正。
2023-03-20 15:25:30 913 1
原创 git: Updates were rejected because the tip of your current branch is behind
1.使用强制push的方法,这样会使远程修改丢失,一般是不可取的,尤其是多人协作开发的时候。2.push前先将远程repository修改pull下来。
2023-02-28 17:09:40 130
原创 为什么测试环境测试通过,线上还会有bug?
硬件方面的,一般正式环境的服务器都比测试环境来的好,所以硬件上不太可能一致,虽然这个差异影响比较小,但也不排除会影响程序的运行。eg:测试环境资源有限,运行慢,程序A执行完,正好程序B可以run;正式环境,资源相对好,运行很快,程序A处理2的时候,程序B才处理完1,导致运行有问题;一般新版本的迭代不仅仅是代码层面的,还有数据库的改动,而对于线上的数据来说,数据库结构改动,会导致线上数据在新版本的代码不兼容;软件方面的,包括程序语言的版本,服务器系统的版本,甚至服务器的权限控制都会影响到程序的运行。
2023-02-28 16:37:01 1214
原创 面试sql
where Sname='李军') and Sname not in ('李军')select * from Student where Class=95031 or Ssex='女'where Ssex='男' group by Class having COUNT(*)>1。where Tsex='男' and Teacher.Tno=Course.Tno。where Sname='李军')where Sname='李军')where Ssex='男')--现查询所有同学的Sno、Cno和rank列。
2023-02-19 18:29:13 468
原创 Unix和Linux之间的区别?什么是bash?常用的linux命令
2. Bash 是 Unix 系统和 Linux 系统的一种 Shell(命令行环境)程序;shell是bash的一个进程。1. Unix和Linux之间的区别。3. linux的常用命令。
2023-02-19 14:57:51 1434
原创 count(1)、count(*)、count(column)、count(distinct column) 区别
count(1)、count(*)、count(column)、count(distinct column) 区别
2023-02-19 14:41:17 147
原创 数据分析:SQL和Python
with as 也叫做子查询部分,类似于一个视图或临时表,可以用来存储一部分的sql语句查询结果,必须和其他的查询语句一起使用,且中间不能有分号,目前在oracle、sql server、hive等均支持 with as 用法,但 mysql并不支持!
2023-01-29 19:28:39 10123 11
原创 java的stream
java的stream将流转化成一个值,通常用于:求和、求乘积、求最大值。2. 初始化对象,并进行计算。1. 先定义一个对象。
2023-01-28 16:14:25 1205
原创 hbase 的逻辑存储结构、物理存储结构和增删改查
hbase采用列存储,本质上是key-value存储系统,其中row key相当于key,列簇的集合相当于valuerow key用来检索记录的主键,它必须存在一张表中且唯一hbase一张表由一个或多个region组成:下图的一张表由三个region组成,按照row key的字典序排列在不同的region里列族:下表被划分为两个列族class_info(name,age,class列)和 contact_info(mobile,adress列)
2023-01-08 15:50:53 503
原创 信贷--------
3、策略为主、模型为辅:样本量丰富;策略的精髓在于分群:年龄分群、收入分群、多头分群、模型分群、风险分群,决策体系中有很多重要的分群,代表决策分支。通过风险识别、计量、检测和控制等程序,对风险进行评级、分类、报告和管理的过程,减少金融机构的信贷风险。2、模型为主、策略为辅:样本数较多、特征分类:逾期模型、多头模型、交易模型等保持AUC和KS高位。1、规则为主、模型为辅:样本少(黑白名单、年龄地域、公安司法信息),简单通用、基于经验。信贷:一切以实现承诺为条件的价值运动方式,如贷款、担保、承诺、赊欠等。
2022-12-30 18:50:33 446
原创 git命令
13、当前分支拉copy开发分支gitcheckout-bdev。14、把新建的分支push到远端gitpushorigindev。4、cd到刚拉取到的项目文件夹列出分支。8、项目文件夹添加当前仓库修改的所有文件。11、项目文件夹pull时提示有偏离分支。6、项目文件夹从远程拉取代码并合并到本地。10、项目文件夹在push之前先拉一下。12、项目文件夹最后push文件到远程。5、项目文件夹切换到DEV分支。1、cd到代码要存储的路径。9、项目文件夹提交文件到仓库。...
2022-07-16 15:21:30 437
原创 MAC IDEA Failed to write core dump. Core dumps have been disabled
MAC IDEA Failed to write core dump. Core dumps have been disabled
2022-06-08 17:04:12 1123
原创 Tkinter实现
# !/usr/bin/python# -*-coding:utf-8 -*-import tkinter as tkimport tkinter.messageboxfrom pathlib import Pathfrom tkinter import filedialogimport threadingfrom tkinter.filedialog import askdirectoryfile_path = ''res_path = ''def comm(): glo.
2021-11-28 10:15:57 386
原创 SQL执行顺序
1、FROM阶段求笛卡尔积(cross join):左n行,右表m行:n*m行 on关联条件 外连接(left/right/full outer):借助where条件 用is null/null筛选2、WHERE阶段主表条件写在where里,外连接表的条件可写在On里 对于内连接,写在where和on 里是一样的3、GROUP BY阶段sel 的字段必须是group by的字段组里,如不在组里,必须用聚合函数处理4、HAVING阶段having筛选器是唯一能筛选分...
2021-10-29 19:14:52 233
原创 Python实现单链表的节点类,增删改查操作
1、创建单链表节点的类: 包含两个成员变量:next 指针 和 value值2、定义单链表的类 包含一个成员变量:单链表的头指针,初始化为None3、定义单链表的操作:(1)单链表初始化(2)是否非空(3)求链表长度(4)链表元素查询(5)链表插入元素X:头、尾和指定位置(6)链表删除元素X#定义单链表的节点class linknode: def __init__(self,val): '''实例化单链表的类时:定义两个...
2021-08-24 22:05:28 1768
原创 python列表转字典
1、直接转:要求列表中的每个元素是 长度为2的元组 或 长度为2的列表 l1 = [(1, 'a'), (2, 'b'), (3, 'c'), (4, 'd')] print(dict(l1)) # {1: 'a', 2: 'b', 3: 'c', 4: 'd'} l2= [['key1', 'value1'], ['key2', 'value2'], ['key3', 'value3']] print(dict(l2)) .
2021-08-22 19:12:59 12750 2
神经网络和机器学习第三版中文PDF
2018-04-17
神经网络和机器学习Simon Haykin第三版英文PDF
2018-04-17
PCA绿萝——python实现
2018-03-12
核密度估计大作业KDE
2018-03-12
核密度估计大作业KDE代码
2018-03-12
东华大学PLC课程实际报告
2017-09-26
东华大学单片机课程设计报告
2017-09-26
交通灯控制系统课程设计东华大学
2017-09-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人