- 博客(15)
- 收藏
- 关注
RSS订阅原创 数据治理——技术角度分享
前言：在数据治理领域的文章大多都是从业务角度进行切入，本文从纯技术角度切入，介绍了数据血缘关系的图分析思路、领域建模层面构建中间层的思路。以及纯粹从词法分析和语法分析的统计学层面维度。图视角受益之前在招商银行的担保圈项目启发，将对于图的分析观点带入到数据治理当中来。我们在DW中获取到数据的血缘关系表schema如下所示(血缘数据见附件，此处仅选取几块关键指标):src_guiddst_guidedge_typenode_idsprocess_typemain_table_flag.
2021-06-03 16:47:04
678
原创 数据仓库开发常见问题(ETL基于Airflow)
关于数据仓库数仓的分类元数据数仓的分类其实严格来说，数仓是不存在分类的。只需要注意的是是，沉淀到数据集市的标满足数据表设计的第三范式即可。第一范式：表中的列含有原子性的值。第二范式：满足第一范式，没有部分依赖。第三范式：满足第二范式，不存在传递依赖性。元数据我们在操作数据仓库时，操作的都是元数据，而元数据分为技术元数据和业务元数据。 技术元数据：指数据仓库开发、管理、维护相关的数据，描述了数据的原信息，转换描述、数据映射、访问权限等； 业务元数据：为管理层和业务分析人员服务，从业务的
2021-01-17 21:12:09
903
原创 关于redis开发详细总结
关于redis开发详细总结Redis简介数据类型及使用场景Redis数据类型： StringRedis数据类型：HashRedis数据类型： listRedis数据类型： SetRedis数据类型： ZSet内具体情况哨兵模式：集群模式：Redis简介Redis和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。（五种数据类型）Redis是一个单线程程序。通过
2021-01-08 18:45:21
350
原创 后台经验总结
这篇文章想在面试季之前对做过的所有与后端相关的项目做一个相应的汇总，包括以下几个部分：-1、爬虫 -2、Django框架 -3、Springboot框架爬虫需要注意以下几点：1、关于python的语言特性： 由于python存在全局锁机制（GIL），导致其在进行多线程的操作时并不是真正的多线程，对于一些CPU密集型的操作而言甚至会比单线程操作还慢。但是对于爬虫这种异步I/O...
2018-04-09 10:45:32
385
原创 面试中的动态规划问题
三个例子由于最近参加公司的笔试面试，发现遇到的动态规划问题实在是多，在这边博客里，我特地将一些经典的算法例子抽取出来，想必之后在遇到这种动态规划的时候都可以找到合适的模板，进行快速解题。在实战之中，最难把握的就是通项公式的推导，我推荐在面试中遇到此类题目，优先采用递归的思路求解。例1：n(10>=n>=1)种商品A1，A2，...，An，每种商品数量分别为a1，...
2018-03-09 04:32:46
1062
原创 ionic2+angular-in-memory-web-api（内置内存服务器）+跨域问题
随着angularJS内置服务器官网的一条更新，我想很多前端的工程师在本地进行调试时均出现了大问题。关于17-10-5号的改动我也纠结了许久，随着对于前端以及IONIC框架的学习，经验总结如下：之前一直没有查询官方文档，对着AngularJS教程的HTTP服务部分代码直接复制粘贴。发现不论怎么操作，返回结果都为空。官方给出的原因在于返回的data数据不再压缩在data属性之中而是直接作为主体部分返回
2017-11-10 17:05:00
1606
原创 python django环境配置 （二）
统一资源的配置：接着上一篇的Django服务器配置，这里主要修改默认路径，将前端资源进行统一管理。首先，我们先来看一下Django下运行statapp后的文件目录树（form.py为随后单独创建）├─account│ ├─assets│ │ ├─css│ │ ├─fonts│ │ ├─js│ │ └─sass│ │ ├─base│ │ ├─co
2017-10-25 00:17:39
499
原创 java学习总结（四）
java学习总结（四）——关于线程与锁Java的内存模型之前在回答过程中一直会把JAVA的内存模型和JVM的内存模型弄混淆，那么在这里一定需要注意。Java的内存模型由以下三个部分组成：主内存(进程分配的内存)、工作内存、Java线程。1、不同线程之间没有办法访问其工作内存的变量。 2、线程之间变量传递主要通过主内存来完成。 进程与线程：程序的一次执行称作一个进程，而线程，是操作系统调动的基
2017-10-07 10:22:27
254
原创 网络编程中常见问题以及解决思路
最近在帮老师做一个P2P的项目，客户端包含注册以及登陆功能，关于数据库的选择，尝鲜采用了最新的mongoDB，但是在运行简单的demo的时候依然出现了许多的问题。文章会逐渐跟新，在我有时间的前提下：关于RST ACK本地测试正常，部署到服务器发现TCP通信出现故障，本机操作系统win10，服务器内核版本如下图所示：在windows powershell运行程序发现出现socket.send()方法
2017-09-08 10:37:14
1881
原创 Java的GC机制
java内存模型java和C/C++最大的一个区别就是自动的内存回收机制。Java的内存模型经典图例如下： 这里重点注意三个地方：堆内存、方法区、与栈内存。其中堆内存与方法区又合称为堆内存。在程序未实例化之前，类的模型以及全局变量都是保存在方法区中。类的加载方法分为两种：显式加载：Class.forName()利用Class的静态方法对类进行实例化。隐式加载：通过new关键字加载。当类实例
2017-08-29 08:39:49
347
原创 树莓派3搭建django服务器
树莓派3的基本配置这里接着上一章的搭建过程，在我新购置的树莓派3上完成一个网页服务器的搭建以及后台数据库的相关配置。关于树莓派的玩点实在是太多，限于篇幅不做展开。由于我们仅仅只是搭建一个服务器，所以相关的桌面配置就显得没有那么必要了。选择系统：ubuntu-16.04-preinstalled-server-armhf+raspi3.img.xz待系统安装完成以后，首先配置有线上网，由于实验室服务
2017-08-26 10:09:05
3273
原创 python django环境配置
由于之前下载的是Java eclipse 纯净版，等待升级更新的加载速度太慢，遂在本机上配置一下python的django环境，并将其中踩过的一些坑进行罗列。Django web框架安装操作系统：win10直接在window的cmd命令行输入：pip install django######################################################相关依赖
2017-08-19 22:57:38
399
原创 Java学习总结
Java学习总结（三）关于JDBC与数据库知识在数据库进行海量数据处理过程中，通常由以下方法：分区处理在一些数据库的官方文档中，可以讲数据库分为以下常用三个分区： 一、范围分区 最常见的例子就是根据时间字段进行范围划分。 二、哈希分区 利用hash函数运算，从而使数据均匀分布在各个分区并方便于并行处理。适用于各个分区中数据要求均匀的情况下使用。但要求数据应当重复率较低。 三
2017-08-18 09:38:21
251
原创 Java学习总结
Java学习总结（二）关于进程以及线程进程的定义：程序的一次执行。 线程的定义：线程是在进程基础上进一步的划分。 提到进程就不得不提到Linux操作系统，在Linux操作系统下，进程分为三种： 一、交互进程：由shell启动，既可以在前台运行。也可以在后台运行。 二、监控（守护）进程：在系统的后台运行，随着操作系统的启动而启动。 三、批处理进程：与终端没有联系，是一个进程序列。在Linux
2017-08-17 21:33:55
219
原创 Java学习总结
关于Java的学习总结（一）为什么是Java？之前一直习惯了使用python，脚本语言实在是过于自由，以至于有时候我甚至忘了还有语法这么一回事情。简单而自由的语法的确可以将关注点更加放在算法等一些基于数学原理的问题上，不过乍一想来，心里还是感觉不慎稳妥(其实是老板要求用Java写代码。果真是越学越求稳？或许读研相比于本科最大的区别就是这么一回事。这是我第一次开通技术博客，之前一直在知乎写些有的没的
2017-08-15 22:31:15
258
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人