Dtwave_的博客

数据中台首选 数澜为深入实际了解客户需求，践行“客户第一”的数澜核心价值观。日前，数澜科技创始人＆董事长甘云锋带队前往上海欧冶云商拜访，欧冶云商高级副总裁顾永兴、研发中心总经理易力，数据运营中心总经理李永林热情接待，并进行了友好交流。此次交流活动，数澜科技与欧冶云商双方围绕数字化转型升级、数据中台、智慧物流、智慧产业链、数据人才培养等话题，进行了深入探讨。双方希望在目前既有合作基础上，秉持互利共赢原则，发挥各自的技术能力、资源等优势，进一步拓展合作空间，建立更稳固、更密切的合作关系。 交流会上，

日前，贵阳国家经济技术开发区党工委委员、管委会副主任刘学带队，携贵阳经开区财政金融局、投资促进和商务局、建投集团、数安汇等相关负责人一行，到访杭州数澜科技开展考察调研工作。数澜科技创始人甘云锋、执行总裁项岁泉陪同接待。此前，数澜科技作为贵阳新基建城市数据中台承建方，双方开展过密切合作。调研期间，刘学主任首先对数澜科技在贵阳经开区城市数据运营项目中的卓越表现，给予高度赞扬，并对后续合作表达了极大期待。贵阳国家经济技术开发区党工委委员、管委会副主任刘学/ 图刘学主任认为，数澜科技在城市级数据中台以及城市

本文摘自数澜科技CIO创享群内嘉宾分享内容，发布已获作者授权。大家好，我是彭文华。之前做过多年的数据技术工作，这两年也对数据中台做了一些研究。今天算是给各位当个马前卒，把我之前研究和实践的结果向大家汇报一 下。这是我的数据研究经历，纯技术讨论。起因是我之前研究的时候发现了贝壳的ACN机制，把混乱的房地产中介给安排的明明白白的，太神奇了。于是就写了好些篇文章分享出去，就引起了数澜同学的注意，这才有了今天的分享。今天分享的内容很简单，就三块，先给大家一个显微镜，然后带着显微镜观察三个典型的数据中

调度系统对于复杂 ETL 工作的重要性相信每位同学都有所感知，今天我们就拿常见的几种调度系统工具为大家做一个小测评！方便大家找到更适合自己的工具。

作者|数澜UED团队没有飞线的地图就像一个发际线上移的中年人一样平淡无奇。 —— By 胖子每年春运和双十一的统计图都因为有飞线动效才更加吸引眼球，今天要为大家带来一根漂亮飞线要用什么姿势生成才能。SVG本篇是主讲SVG来绘制飞线的，所以强大的SVG必定能完成我们绘制飞线效果的各种需求。首先我先为各位介绍下完成这根线需要用到的一些小知识点。Path元素path元素是SVG基本形状...

序言：传统的零售业务进入了瓶颈期，“新零售”的概念层出不穷，看的眼花缭乱：全渠道/无人门店/无人货柜/新生态（盒马鲜生/小米之家/天猫小店）等；各类技术概念更是看的一头雾水：OneID、数据中台、用户中心、统一会员平台和IDMapping等。本文主要内容是理清什么是“会员ID打通”及应用场景，帮助企业更好的完成全渠道会员统一，多品牌的会员统一和用户运营的精准化。备注：本文提到的“会员”指泛会员...

作者：刀哥（朱建）前言：mvvm模式即model-view-viewmodel模式简称,单项/双向数据绑定的实现，让前端开发者们从繁杂的dom事件中解脱出来，很方便的处理数据和ui之间的联动。本文将从vue的双向数据绑定入手,剖析mvvm库设计的核心代码与思路。1、需求整理与分析需求：数据一旦改变则更新数据对应的uiui改变则触发事件改变ui对应的数据分析：通过dom...

1.在Vertex类中，顶点的存储方式采用邻接表形式。每个顶点有 VertexId、VertexValue、OutgoingEdges和Halt，boolean型的halt变量用于记录顶点的状态，false时表示active，true表示inactive状态。 片段代码如下。2.org.apache.giraph.edge.Edge 接口，用于存储顶点的边，每条边包含targetVertexI...

一、RPC是什么在很久之前的单机时代，一台电脑中跑着多个进程，进程之间没有交流各干各的，就这样过了很多年。突然有一天有了新需求，A进程需要实现一个画图的功能，恰好邻居B进程已经有了这个功能，偷懒的程序员C想出了一个办法：A进程调B进程的画图功能。于是出现了IPC（Inter-process communication，进程间通信）。就这样程序员C愉快的去吃早餐去了！又过了几年，到了互联网时代，...

作者|白松目的：科研中，需要分析在每次迭代过程中参与计算的顶点数目，来进一步优化系统。比如，在SSSP的compute()方法最后一行，都会把当前顶点voteToHalt，即变为InActive状态。所以每次迭代完成后，所有顶点都是InActive状态。在大同步后，收到消息的顶点会被激活，变为Active状态，然后调用顶点的compute()方法。本文的目的就是统计每次迭代过程中，参与计算的顶点...

作者|白松1、 添加类，把每个超步发送的消息量大小写入Hadoop的Counter中。在org.apache.giraph.counters包下新建GiraphMessages类，来统计消息量。源代码如下：package org.apache.giraph.counters;import java.util.Iterator;import java.util.Map;import ...

背景介绍Web应用一般是指B/S架构的通过HTTP/HTTPS协议提供服务的统称。随着互联网的发展，Web应用已经融入了我们的日常生活的各个方面。在目前的Web应用中，大多数应用不都是静态的网页浏览，而是涉及到服务器的动态处理。如果开发者的安全意识不强，就会导致Web应用安全问题层出不穷。我们一般说的Web应用攻击，是指攻击者通过浏览器或者其他的攻击工具，在URL或者其他的输入区域(如表单等)...

一、相关概念1、大数据大数据是一门概念，也是一门技术，是以Hadoop为代表的大数据平台框架上进行各种数据分析的技术。大数据包括了以Hadoop和Spark为代表的基础大数据框架，还包括实时数据处理，离线数据处理，数据分析，数据挖掘和用机器算法进行预测分析等技术。2、HadoopHadoop是一个开源的大数据框架，是一个分布式计算的解决方案。Hadoop的两个核心解决了数据存储问题（H...

作者|白松关于Giraph 共有九个章节，本文第五个章节。环境：在单机上（机器名：giraphx）启动了2个workers。输入：SSSP文件夹，里面有1.txt和2.txt两个文件。1、在Worker向Master汇报健康状况后，就开始等待Master创建InputSplit。方法：每个Worker通过检某个Znode节点是否存在，同时在此Znode上设置Watcher。若不存在，就通...

前言：作为一名开发人员我们经常会听到HTTP协议、TCP/IP协议、UDP协议、Socket、Socket长连接、Socket连接池等字眼，然而它们之间的关系、区别及原理并不是所有人都能理解清楚，这篇文章就从网络协议基础开始到Socket连接池，一步一步解释他们之间的关系。七层网络模型首先从网络通信的分层模型讲起：七层模型，亦称OSI(Open System Interconnection)模...

一、自动化测试框架在大部分测试人员眼中只要沾上“框架”，就感觉非常神秘，非常遥远。大家之所以觉得复杂，是因为落地运用起来很复杂；每个公司，每个业务及产品线的业务流程都不一样，所以就导致了“自动化测试框架”去完成自动化测试的时候产生很多不稳定因素，这样就很难定位成一个固定的框架。其实不然，真正的自动化测试框架不是一个模式，而是一种思想和方法的集合，通俗的讲就是一个架构。二、自动化测试框架思想为...

本文的目的说明Giraph如何借助ZooKeeper来实现Master与Workers间的同步（不太确定）。环境在单机上（机器名：giraphx）启动了2个workers。Giraph遵从单Master多Workers结构，BSPServiceMaster使用MasterThread线程来进行全局的同步。每个Worker启动成功后，会向Master汇报自身的健康状况，那么Master是如何...