- 博客(52)
- 收藏
- 关注
RSS订阅
原创 技术19期：1分钟入门数据治理！必看！【技术篇】
1分钟入门数据治理！必看！【技术篇】前言：在进行大数据开发过程中，数据调研和开发规范都是必不可少的。数据调研便于理清数据源之间的关系，梳理出哪些数据是符合当下的业务场景以及确定所要用到的加工口径等。而良好的开发规范，能有效提高数据开发的质量以及效率，保证数据开发的规范性和准确性。数据治理这三点尤为重要：01 数据调研在源系统调研初期，需要与业务或者系统负责人询问系统数据相关的情况，可以针对以下5点对数据进行了解：(1) 明确系统贴源表的业务含义，以及同一系统不同表之间有怎样的关系，具体明确到表
2021-03-11 10:57:39
618
原创 技术18期：数据安全之加密与实现
前言：大数据时代，每个人的生活中都不存在所谓的绝对“秘密”，通过网络上的数据信息可以分析出一个人生活的各种痕迹。因此，保障大数据信息安全至关重要。本文主要介绍了散列算法、对称加密算法和非对称加密算法的概念和代码实现。数据安全的重要性1.数据保密性数据只能由授权实体存取、识别，放置非授权泄露，即数据不能被未授权的第三方使用。2.数据完整性防止非授权实体对数据进行非法篡改,即数据在传输过长中不能被未授权方修改。3.数据可用性数据对于授权实体是可用的，有效...
2020-09-09 14:46:15
696
原创 技术17期：近几年崛起的Pytorch究竟是何方神圣？
谷歌的 TensorFlow已经是一个非常成熟的框架，但是最几年Facebook 的 PyTorch却异军突起，逐渐成为热门，而且似乎有要赶超TensorFlow的趋势，PyTorch究竟是何方神圣？PyTorch到底是什么？简单来说PyTorch是一个ML的框架，常用于自然语言处理等应用程序。不同于Tensorflow，PyTorch可谓是非常年轻的一个框架，在2017才由Facebook人工智能研究院（FAIR）基于Torch推出。那么问题就来了，PyTorch有啥用...
2020-08-28 10:59:59
433
原创 技术16期:如何更好的保证数据质量【大数据篇】
数据质量管理不单纯是一个概念，也不单纯是一项技术、也不单纯是一个系统，更不单纯是一套管理流程，数据质量管理是一个集方法论、技术、业务和管理为一体的解决方案。通过有效的数据质量控制手段，进行数据的管理和控制，消除数据质量问题进而提升企业数据变现的能力，一切业务、技术和管理活动都围绕这个目标和开展。数据质量问题数据质量问题通常会存在以下几个方面的问题，通常对数据质量的评估也是围绕这几个维度进行的。 数据准确性：用于分析和识别无效或者不准确的数据，不可靠的...
2020-08-17 18:04:16
1183
原创 技术15期：4种常用的可视化技术【web前端】
说到可视化这个词，可能有的人会一脸懵逼，感觉很陌生，有的人会觉得索然无味，感觉这又是程序员闲暇之余想出的噱头而已。no，no，no，如果这么想你就错了。可视化的应用已经深入我们的生活中，能以非常炫酷的方式给我们提供优质且量多的数据信息，像今年大伙们看的比较多的疫情信息图，还有淘宝双11的可视化数据大屏，都属于可视化技术的应用。什么？你说你想快速了解这个热门、实用的领域，那就接着往下看吧。首先，你得知道可视化的概念是什么。可视化，是利用计算机图形学和...
2020-08-11 10:33:02
2440
原创 技术14期：关于深度学习中耳熟能详的Embedding
什么是Embedding？近年来，NLP自然语言处理、推荐系统，以及计算机视觉已成为目前工业界算法岗的主流方向，无论在哪个领域，对“Embedding”这个词概念的理解都是每个庞大知识体系的基石。今天我们就以诙谐生动的方式来理解一下这个看似高大上的名词吧。“Embedding”直译是嵌入式、嵌入层。看到这个翻译的时候是不是一脸懵圈？什么叫嵌入？意思是牢固地或深深地固定？那么它能把什么嵌入到什么呢？很开心地告诉你，它能把万物嵌入万物，是沟通两个世界的桥梁...
2020-07-27 14:50:04
273
原创 技术13期：一文读懂Flink的流式处理及窗口理解
Apache Flink是一个框架和分布式大数据处理引擎，可对有界数据流和无界数据流进行有状态计算。可部署在各种集群环境，对各种大小的数据规模进行快速计算。Flink基本概念流处理：特点是无限、实时，无需针对整个数据集执行操作，而是通过对系统传输的每个数据项执行操作，一般用于实时统计。有界数据流：有明确定义的开始和结束，可以在执行任何计算之前通过获取所有数据来处理有界流，处理有界流不需要有序获取，因为可以始终对有界数据集进行排序，有界流的处理也称为批处理。...
2020-07-20 15:55:04
562
原创 技术12期：如何设计rowkey使hbase更快更好用【大数据-全解析】
HBase是一个分布式的、面向列的开源数据库存储系统，具有高可靠性、高性能和可伸缩性，它可以处理分布在数千台通用服务器上的PB级的海量数据。BigTable的底层是通过GFS来存储数据，而HBase对应的则是通过HDFS（Hadoop分布式文件系统）来存储数据的。HBase不同于一般的关系型数据库，它是一个适合于非结构化数据存储的数据库。HBase不限制存储的数据的种类，允许动态的、灵活的数据模型。HBase可以在一个服务器集群上运行，并且能够根据业务进行横向扩展。...
2020-07-13 13:58:02
284
原创 技术11期：Atlas的概念你了解多少？
导读在当今大数据的应用越来越广泛的情况下，数据治理一直是企业面临的巨大问题，大部分只是单纯的对数据进行了处理，而数据的血缘、分类等等却很难实现，市场上也急需要一个专注于数据治理的技术框架，这时Atlas应运而生。▐Atlas的定义：Apache Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心功能。...
2020-07-06 16:54:13
1085
原创 技术10期：什么是Kafka？【全解析】
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的、多副本的，基于zookeeper协调的分布式消息系统。它最大的特性就是可以实时处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志、消息服务等等。Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。01 kafka的定义和特征Kafka是一个分布式的基于发布/订阅模式的消息队列...
2020-07-06 14:16:49
205
原创 技术09期：5分钟带你快速了解TypeScript
近年来，TypeScript（TS）越来越频繁的出现在人们的视野内，在各大新闻，论坛上都能看到其身影，当今主流的三大前端框架react，Vue3.0和Angular2中的后两者都使用了TS进行编写，鼓励和支持大家使用TS进行开发。那么，TS到底有什么魅力，让众多开发者如此青睐。TypeScript是Microsoft（微软）开发的一种开源编程语言，是JavaScript（JS）的超集，可以编译成JS代码。使用JS编写的合法代码，可以在TS中直接运行。相比JS，TS引入...
2020-07-03 09:50:35
236
原创 技术08期：十大经典数据挖掘算法【PageRank篇】
PageRank可以较为直观的理解为是对网页重要性排序的一种算法。Googel能在全球互联网搜索引擎中处于较高地位，该算法功不可没。导 读早期的搜索引擎通过计算用户查询关键词与网页内容的相关程度来返回搜索结果，即关键词匹配算法。但该种搜索引擎会极容易遭受Term Spam攻击，导致用户体验满意度大打折扣。例如，在页面上添加一个像“电影”这样的术语，并做数千次，搜索引擎就会认为这是一个非常重要的电影页面。当用户搜索“电影”时，搜索引擎将首先列出该页面。...
2020-06-24 15:08:36
456
原创 技术07期：图计算，让数据间的关系无处可藏【社区分切篇】
社区，即一群拥有相似特征的点，社区内的点连接紧密，社区间稀疏连接。我们可以把同一公司的同事看作是一个社区内的点，他们从事同一行业，可能有相似的教育背景，由于 工作需要，他们之间要进行频繁的沟通。而不同的公司就像是两个不同的社区，他们之间可能存在着业务往来，但关系远没有公司内部连接紧密。什么是社区切分？那么发现这些社区对我们有什么用呢？对于一家需要做广告宣传的公司，他一定是想花最少的钱，吸引最多的客户，通过广告的在某一社群的精准投放可以达到这一...
2020-06-17 16:56:26
240
原创 强烈推荐可以玩上一整天的游戏网站
作为科技公司的一员，小普推荐能玩一整天的网站，当然是和编程有关的啦~强烈推荐一款以游戏形式学习python的网站：▐CheckIOCheckIO是一个Python代码游戏网站，用户可以通过编程来解决游戏中的各种任务，还可以与其他开发者玩编程逻辑游戏进行比赛，来交流编程技能、经验。它受众广泛，如果你是一个Python初学者，CheckIO可以让你学习基础知识，并在解决不同任务的过程中获得丰富的实践经验。如果你是一个有经验的程序员，CheckIO为你提供了一个完...
2020-06-15 11:55:16
1833
4
原创 技术06期：测试系统&软件需要重视哪几点？
导读2007年5月18日，众多使用诺顿防病毒软件的中国个人用户和企业用户在重启系统后出现蓝屏，系统不能正常使用。即便诺顿当日下午便给出了解决方案，但他作为专业安全公司的信誉依旧受到了严重影响。该事故源于诺顿当日在更新中将两个简体中文版的Windows系统文件误当成病毒。这个本该在实验室测试中轻易发现的问题，却由于技术或管理种种原因被疏漏了。因软件缺陷而导致重大负面影响或巨大损失的例子数不胜数，业内顶级厂商也不能幸免究其原因，几乎都归入软件测试不够充分。由此可见，一方面是软...
2020-06-09 09:58:44
406
原创 什么？？听说Python要凉！
一听说Python要凉了，根本停不下想吃瓜的心！但是，最（yao）勤（qia）劳（fan）的小编还是决定！自己种瓜给大家吃！在定论Python凉不凉之前，本着程序猿务实的态度，我们先查看一下数据。以下是近期 TIOBE 编程语言排行榜的排行情况。▐什么是TIOBE 编程语言排行榜？TIOBE编程语言排行榜是编程语言流行趋势的一个指标，每月更新，这份排行榜排名基于互联网有经验的程序员、课程和第三方厂商的数量。排名使用著名的搜索引擎（诸如Google、M...
2020-06-09 09:51:41
440
原创 技术05期：五分钟教你读懂卷积神经网络【CNN】
上期回顾：以RBN（径向基函数）神经网络为例，简要介绍了前馈型神经网络中，“神经元”到底是如何进行“曲线拟合”的。详情可回顾：神经网络如何从入门到精通？（请戳我）在理论上RBF神经网络和BP神经网络能以任意精度逼近任何非线性函数，且Poggio和Girosi已经证明，RBF网络是连续函数的最佳逼近，并且具有良好的泛化能力。但是，生活中绝大多数的问题，并不是简单的曲线拟合问题。因此CNN、DCNN、RNN、LSTM、GAN等等众多的神经网络，为了更好地解决不同方向的实际...
2020-05-26 14:15:36
943
2
原创 技术04期：关于神经网络的概念及技术领域
导读一般而言，我们可以把神经网络分为前馈网络、递归网络和反馈网络。前馈网络一般指前馈神经网络或前馈型神经网络。它是一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层地输出，并输出给下一层，各层间没有反馈。包括：BP神经网络、RBF神经网络等。递归神经网络（RNN）是两种人工神经网络的总称。一种是时间递归神经网络（recurrent neural network），又名循环神经网络，包括RNN、LSTM、GRU等；另一种是结构递归神经网络（recursive n.
2020-05-19 15:57:52
1201
原创 技术03期：自然语言处理NLP【分词篇】
NLP简介和三种分词模型NLP逐渐成为人工智能一大热点研究方向，目前国外对英文分词的研究比较深入，而中文分词发展较缓。它需要联系上下文、作者背景、内容背景等进行调整。处理这些高度模糊句子所采用消歧的方法，通常运用到语料库以及隐马尔可夫模型（Hidden Markov Model,HMM）、支持向量机（Support Vector Machine,SVM）和条件随机场（Conditional Random Field, CRF）三种为主，也常用于句法分析、命名实体识别、词性标注...
2020-05-19 15:55:34
1120
6
原创 技术02期：这么做竟然能让你的hive运行得更流畅！
导读在大数据领域中，hive是基于Hadoop的一个数据仓库工具，主要用于对大数据量的处理工作，在平时设计和查询时要特别注意效率。数据倾斜、数据冗余、job或者I/O过多，MapReduce分配不合理等都会影响到hive效率。本文主要介绍hql语句本身优化和hive配置优化提高hive效率。▐ 谓词下推就是将SQL语句中的where谓词逻辑都尽可能提前执行，减少下游处理的数据量。Hive中有谓词下推优化的配置项hive.optimize.ppd，默认值t...
2020-05-19 15:12:06
282
原创 技术01期：大规模图计算【基础篇】
导读图计算就是研究如何高效计算、存储和管理大规模图数据。图是由顶点和边组成的，它可以对事物以及事物之间的关系建模，比如文章是点，文章与文章之间的超链接是边；或者顾客和商品是点，购买或者喜欢是边，购买的次数喜欢的程度是边的权重；再如银行卡持卡人是点，交易是边，交易频率交易金额是属性。针对这些关系模型，我们可以用最短路径算法做好友推荐，计算关系紧密程度；最小连通图可以识别洗钱或虚假交易；Keyperson可以找到社区领袖，防止客户流失的群体效应；对图做PageRank可以做传播影响力分析，找..
2020-05-19 14:47:45
759
1
转载 基于图数据库 NebulaGraph 打造的普适智能投研平台在五矿期货正式投入应用
NebulaGraph 与普适智能将始终坚持科技创新，持续为客户提供先进的产品与服务，赋能金融机构的数字化转型
2022-10-13 14:09:02
299
1
原创 Kubernetes 能取代 Docker吗？
在容器技术方面，有两个名字成为开源领导者：Kubernetes 和 Docker。虽然它们是帮助用户进行容器管理的根本不同技术，但它们是互补的，并且在组合时可以发挥强大的作用。
2022-08-12 15:56:50
781
原创 技术干货｜你需要知道的 10 种常见机器学习算法
您可能会遇到的第一个问题不同类型的机器学习算法有哪些，它们有什么用，以及我应该选择哪一种？这篇文章将帮助您回答这些问题。
2022-08-05 18:18:22
1342
原创 技术20期：3种在 Python 中使用 Keras 库评估深度学习模型性能
三种可以使用 Keras 库在 Python 中评估深度学习模型性能的方法：使用自动验证数据集。使用手动验证数据集。使用手动 k 折交叉验证。
2022-07-01 16:03:52
798
原创 普适技术｜一文浏览Flink的架构和用例
Apache Flink 是一个社区驱动的共享开源框架大数据分析. Apache Flink 引擎利用内存处理、数据流和迭代算子来提高性能。
2022-06-08 11:40:33
146
原创 普适技术｜Keras 中神经网络模型的 5 步生命周期你知道吗？
今天 ，小普分享的是Keras 中神经网络模型的 5 步生命周期。使用 Keras 在 Python 中创建和评估深度学习神经网络非常容易，但您必须遵循严格的模型生命周期。在这篇文章中，您将了解在 Keras 中创建、训练和评估深度学习神经网络的逐步生命周期，以及如何使用经过训练的模型进行预测。看完这篇文章你会知道：如何在 Keras 中定义、编译、拟合和评估深度学习神经网络。 如何为回归和分类预测建模问题选择标准默认值。 如何将它们结合在一起以在 Keras 中开发和运行您的第一个多层
2022-05-19 18:24:51
532
1
转载 普适技术｜如何使用隔离森林和核密度估计进行异常检测？
异常检测是发现偏离规范的数据点。换句话说，这些点不符合预期模式。异常值和异常是用于描述异常数据的术语。异常检测在各个领域都很重要，因为它提供了有价值且可操作的见解。例如，核磁共振成像扫描中的异常可能表明大脑中存在肿瘤区域，而制造厂传感器的异常读数可能表明组件损坏。完成本教程后，小普希望您能够了解：定义并理解异常检测。 实施异常检测算法以分析和解释结果。 查看任何数据中可能导致异常行为的隐藏模式。让我们开始吧。什么是异常检测？异常值只是一个数据点，它与特定数据集中的其余数据点有很大的偏差
2022-05-06 16:43:58
975
原创 技术篇｜Python 类，和它在 Keras 中的使用（附代码教程）
类是 Python 语言的基本构建块之一，可应用于机器学习应用程序的开发。正如我们将看到的，用于开发类的 Python 语法很简单，可以用于在 Keras 中实现回调。在本教程中，您将发现 Python 类及其功能。：为什么 Python 类很重要？ 如何定义和实例化一个类并设置它的属性 ？ 如何创建方法和传递参数？ 什么是类继承？ 如何在 Keras 中使用类实现回调？让我们开始吧。Python 类及其在 Keras 中的使用类是 Python 语言的基本构建块之一，可应用于..
2022-04-13 11:40:34
611
原创 一文了解最全Neo4j 可视化图形数据库的工具，内含15种工具。
在我们深入研究工具之前，了解现有工具的类别很重要。所有可视化工具包都是根据特定目的构建的，因此您必须确保工具的目的符合您的需要。我将所有图形可视化工具分为四大类：开发工具，帮助开发人员处理图表。 探索工具，帮助分析师探索数据关系。 分析工具，用于揭示趋势和差异。 报告工具，用于创建和组织数据报告。1. Neo4j浏览器（开发工具）该Neo4j的浏览器可能与Neo4j的工作时，你会碰到的第一件事情。作为数据库开发人员运行 Cypher 查询的工具，浏览器允许您以图形或表格格式呈现查询结
2022-04-06 10:54:40
6503
1
原创 什么是图神经网络 (GNN)？
图表无处不在。您的社交网络是人和关系的图表。你的家人也一样。您从 A 点到 B 点所走的道路构成了一个图形。将这个网页连接到其他网页的链接形成了一个图表。当您的雇主向您付款时，您的付款会通过金融机构的图表。基本上，由链接实体组成的任何东西都可以表示为图形。图表是可视化人、对象和概念之间关系的绝佳工具。然而，除了可视化信息之外，图表还可以成为训练机器学习模型以完成复杂任务的良好数据来源。图神经网络（GNN）是一种机器学习算法，可以从图中提取重要信息并做出有用的预测。随着图变得越来越普遍，信息越来越丰富
2022-03-11 18:19:37
3682
原创 技术原创｜一文读懂图遍历算法以及图计算应用
为解决大规模计算和海量数据处理问题，Google 在 2010 年提出了图计算模型 Pregel。随后又陆续出现了。GraphLab、GraphChi等典型图计算系统。图计算是人工智能的一个使能技术。大数据时代，越来越多的数据采用图结构进行表示．图也是一种能够表达对象之间复杂关系的数据存储方式。那么，什么是图？下面是数据类型的结构和图的结构表示对比：可以看出：图（ｇｒａｐｈ）是一种用于表示对象之间联系的抽象数据结构。接下来，小普列举几个常见的图计算模式：（这部分比较偏向.
2022-02-18 10:46:23
857
原创 普适方案｜资管新规落地，资管领域存量市场竞争激烈。专家：得转型（附产品推广）
经济政策调整，资管领域机构陷入担忧近年来，在次贷危机、人口红利消退等诸多因素影响下，我国原有主要依靠投资拉动的经济增长模式，逐渐步入发展瓶颈。许多传统行业的公司在逐步转型的过程中增速减缓，甚至发展受到较大影响。例如：2021年7月27日，股市引来一场大动荡。24日，中共中央办公厅、国务院办公厅印发《双减》（简称）的通知，明确教培机构一律不得上市融资，并严禁其资本化运作，导致教育股全线大跌，新东方收跌达47.02%。如此监管重锤之下，教育板块崩盘的余波无疑回弹到中概股，并就此在大盘掀起了“巨浪...
2022-02-11 10:51:01
4530
原创 特征选择-处理缺失值-处理不平衡的数据-处理异常值-分档-编码-特征缩放
特征工程的主要目标是从算法中获得最好的结果，今天小普从以下7个步骤，让大家了解机器学习算法特征工程的分步过程，如果你觉得有帮助的话，记得给小普点赞支持一下吧，小普又充满了动力~特征选择 处理缺失值 处理不平衡的数据 处理异常值 分档 编码 特征缩放1.特征选择特征选择是对所需的独立特征的选择。选择与依赖特征有更多关系的独立特征将有助于建立一个好的模型。一般做好特征选择有以下几种方法：2.1 与热图的相关矩阵热图是 2D（二维）数据的图形表示。每个数据值表示在一个矩阵中。我们
2021-12-07 10:15:06
957
原创 一文了解可视化的主成分分析（附教程）
主成分分析 (PCA) 是一种无监督的机器学习技术。也许主成分分析最流行的用途是降维。但是，除了使用 PCA 作为数据准备技术之外，我们还可以使用它来帮助可视化数据。一张图片胜过千言万语。通过可视化数据，我们更容易获得一些见解并决定机器学习模型的下一步。小普发布本次文章后，您将了解如何使用 PCA 将数据可视化，以及如何使用可视化来帮助确定降维参数。先赞后看是个好习惯。完成本教程后，您将了解：如何使用可视化高维数据 什么是PCA中的解释方差 从高维数据的PCA结果中直观地观察解释方差让..
2021-11-11 16:47:58
1923
原创 如何使用工具包 (NLTK) 开发NLP 项目？（附教程）
基础概念：自然语言处理 (NLP) 是机器学习的一个子领域，它使计算机能够理解、分析、操纵和生成人类语言。在本文中，小普将向您展示如何使用自然语言工具包 (NLTK) 开发您自己的 NLP 项目，但在我们深入本教程之前，让我们看一些 NLP 的日常用例。NLP 机器学习示例垃圾邮件过滤器 自动更正 预测文本 语音识别 信息检索 信息抽取 机器翻译 文字简化 情绪分析 文字摘要 查询响应 自然语言生成NLP 入门NLTK 是一个流行的 Python 库开源套件。NL
2021-11-11 16:43:34
2002
原创 一文看懂大数据矩阵运算利器-Spark Distributed Matrix
如今是大数据的时代，数据呈指数型增长，那么如何利用这些数据？离不开大数据计算，今天小普给大家介绍的是：Spark的分布式计算框架，它能很好地适配大数据场景下的计算任务。【相似度计算】是金融领域或商品推荐等领域的常见需求，如果需要计算M个用户两两之间的相似度情况，若用户特征个数为N。如果采用循环遍历的计算方式，我们需要计算M*(M-1)次才能得到两两用户之间的相似度情况。而如果我们采用矩阵计算的方式，只需构造一个M*N维的矩阵A，做一些简单的矩阵运算：运算的结果矩阵元素的下标，就对应这
2021-11-01 14:04:05
1280
原创 一文读懂如何通过设计模式学习创建对象？
创建对象最简单的方式是直接使用new操作符，但你有没有发现，我们会经常意识到这样简单粗暴的初始化会遇到代码过于“耦合”，以及有些对象实例化不应该公开地进行等问题。小普通过示例，将介绍如何通过工厂方法模式、单例模式、建造者模式和原型模式这4种设计模式创建对象，帮助读者掌握多种创建对象的方法，从而能够设计更好的代码结构，更高效简洁地实现功能。1.工厂方法模式假设你要实现一个奶茶店的下单功能，作为一个菜鸟，你的代码通常都是这样写：例如：如果有多种类型的奶茶时，则需要增加类型判断的代码，需要根.
2021-10-20 11:17:32
174
原创 必看干货：如何在 JavaScript 中实现 8 种基本图形算法
在本文中，我将实现8 种图算法，探索 JavaScript 中图的搜索和组合问题（图遍历、最短路径和匹配）。这些问题是从《Java编程面试要素》一书中借来的。本书中的解决方案是用 Java、Python 或 C++ 编写的，具体取决于书的版本。尽管问题建模背后的逻辑与语言无关，但我在本文中提供的代码片段使用了一些 JavaScript 警告。每个问题的每个解决方案都分为 3 个部分：解决方案概述、伪代码，最后是 JavaScript 中的实际代码。要测试代码并查看它执行预期的操作，您...
2021-09-18 16:51:37
875
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人