Dtwave_的博客

排序：
默认
按更新时间
按访问量
RSS订阅

原 当餐饮遇上大数据，嗯真香！

之前去开了一场会，主题是「餐饮领袖新零售峰会」。认真听完了餐饮前辈和新秀们的分享，觉得获益匪浅，把脑子里的核心纪要整理了一下，今天和大家做一个简单的分享，欢迎感兴趣的小伙伴一起交流！ 先简单说一下结论： 餐饮和零售的边界在新零售的冲击下，正在模糊边界，打破时空的限制； 传统零售 KPI 是...

2019-08-22 17:28:07

阅读数 8

评论数 0

原 风剑分享 | 只有数据最懂公司的痛点，指导企业决策走向

只有数据最懂公司的痛点，指导企业决策走向 在2018中国大数据高峰论坛上，数澜科技CEO风剑分享了对数据资产化的理解、大数据平台的建设、大数据落地过程中的挑战，以及数据应用在未来的机遇与挑战。具体全文摘录如下： 一、什么是数据资产化 “数据资产化是数澜一直秉持的概念并持续在做的事情”。 风剑曾经...

2019-08-21 15:10:04

阅读数 21

评论数 0

原 Giraph源码分析（八）—— 统计每个SuperStep中参与计算的顶点数目

作者|白松 目的：科研中，需要分析在每次迭代过程中参与计算的顶点数目，来进一步优化系统。比如，在SSSP的compute()方法最后一行，都会把当前顶点voteToHalt，即变为InActive状态。所以每次迭代完成后，所有顶点都是InActive状态。在大同步后，收到消息的顶点会被激活，变为A...

2019-08-20 10:47:15

阅读数 12

评论数 0

原 Giraph源码分析（七）—— 添加消息统计功能

作者|白松 1、 添加类，把每个超步发送的消息量大小写入Hadoop的Counter中。在org.apache.giraph.counters包下新建GiraphMessages类，来统计消息量。 源代码如下： package org.apache.giraph.counters; import...

2019-08-19 16:45:55

阅读数 18

评论数 0

转 史上最强攻略！手把手教你建「数据中台」！

文章转自「首席数字官」 ID：ChiefDigitalOfficer 作者：李国欢 4 月 24 日晚，由数澜科技联合锦囊专家共同打造的《数据中台硬核汇》系列线上微课第一讲火热开启。1000 位 CXO 同时收听，群友累计提问 30+，问嗨全场！本文为本次微课分享内容整理，错过 24 日晚微课的同...

2019-08-16 15:51:09

阅读数 33

评论数 0

原 从零开始实现一个IDL+RPC框架

一、RPC是什么 在很久之前的单机时代，一台电脑中跑着多个进程，进程之间没有交流各干各的，就这样过了很多年。突然有一天有了新需求，A进程需要实现一个画图的功能，恰好邻居B进程已经有了这个功能，偷懒的程序员C想出了一个办法：A进程调B进程的画图功能。于是出现了IPC（Inter-process co...

2019-08-15 16:06:42

阅读数 19

评论数 0

原 惊! 大屏还能长这样！

数据可视化最吸引人的地方在于，通过科学和艺术的完美结合，让隐藏在数据中可预测的和出人意料的故事都变得一目了然。 [外链图片转存失败(img-B0I0UZXe-1565751476511)(https://user-gold-cdn.xitu.io/2019/8/14/16c8e0b346f661...

2019-08-14 11:33:52

阅读数 21

评论数 0

原 科技赋能零售，最终还是要消失于无形中

导读： 8月23日，“新零售论坛：零售业的再革命” 由数澜科技与华院数据在上海百联创业空间成功举办。数澜科技参谋长武凯（行竹）就“零售数据中台实践”进行了分享，并在“新零售创业的机遇与挑战”圆桌论坛中发表了独特的见解。 过去的一年里，零售行业正在发生巨变。“新零售”可以说是近年来最热的词汇之一。技...

2019-08-13 15:38:13

阅读数 18

评论数 0

原 Giraph源码分析（六）——Edge 分析

1.在Vertex类中，顶点的存储方式采用邻接表形式。每个顶点有 VertexId、VertexValue、OutgoingEdges和Halt，boolean型的halt变量用于记录顶点的状态，false时表示active，true表示inactive状态。 片段代码如下。 2.org.apa...

2019-08-12 16:00:35

阅读数 17

评论数 0

原 常见的Web安全漏洞及测试方法介绍

背景介绍 Web应用一般是指B/S架构的通过HTTP/HTTPS协议提供服务的统称。随着互联网的发展，Web应用已经融入了我们的日常生活的各个方面。在目前的Web应用中，大多数应用不都是静态的网页浏览，而是涉及到服务器的动态处理。如果开发者的安全意识不强，就会导致Web应用安全问题层出不穷。 我们...

2019-08-09 14:50:07

阅读数 14

评论数 0

原 Giraph 源码分析（五）—— 加载数据+同步总结

作者|白松 关于Giraph 共有九个章节，本文第五个章节。 环境：在单机上（机器名：giraphx）启动了2个workers。 输入：SSSP文件夹，里面有1.txt和2.txt两个文件。 1、在Worker向Master汇报健康状况后，就开始等待Master创建InputSplit。 方法：每...

2019-08-08 11:09:27

阅读数 18

评论数 0

原 「数据治理那点事」系列之三：不忘初心方得始终，数据质量管理要稳住！

作者 | 蒋珍波 本文是数据治理系列文章的第三篇，主要讲数据治理中的重要工作：数据质量管理。 我将从数据质量管理的目标，质量问题产生的根源，讲到如何评估数据质量，如何贯彻数据质量管理流程，最后从取与舍两个角度谈谈我对质量问题的一些个人观点。 一、数据质量管理的目标 数据质量管理主要解决「数据质量现...

2019-08-07 10:49:52

阅读数 38

评论数 0

原 2分钟快速了解企业用户权限

作者|小菜 Hello，大家好，今天给大家讲讲用户权限。可能有人会觉得用户权限有什么好讲的，市面上通用的RBAC权限模型多了去了，还需要你个小菜鸟来讲。说这话的，可能没看到我背上纹的小猪佩奇，信不信我这个社会人给你来点狠的——求着你看完。咳咳…严肃严肃，相信我，看完你会有收获的，没有收获的来砍我，...

2019-08-06 11:05:19

阅读数 17

评论数 0

原 地产业 X 数据中台

从 IT 时代到 DT 时代，每个企业无一不被「大数据」、「数字化转型」这样陌生又熟悉的词汇环绕着。似乎一夜之间，这条通往未来的数据之路旁早已挤满了拿着车票却不知该如何上车的企业主们，特别是一些传统行业的巨头们，更是早早挤在了队伍的前头。 他们往往凭借着多年的深耕和积累，积累了海量的、价值难以衡量...

2019-08-05 15:03:12

阅读数 75

评论数 0

原 菜鸟的Hadoop快速入门

一、相关概念 1、大数据 大数据是一门概念，也是一门技术，是以Hadoop为代表的大数据平台框架上进行各种数据分析的技术。 大数据包括了以Hadoop和Spark为代表的基础大数据框架，还包括实时数据处理，离线数据处理，数据分析，数据挖掘和用机器算法进行预测分析等技术。 2、Hadoop Hado...

2019-08-02 14:36:31

阅读数 19

评论数 0

原 一篇搞懂TCP、HTTP、Socket、Socket连接池

前言：作为一名开发人员我们经常会听到HTTP协议、TCP/IP协议、UDP协议、Socket、Socket长连接、Socket连接池等字眼，然而它们之间的关系、区别及原理并不是所有人都能理解清楚，这篇文章就从网络协议基础开始到Socket连接池，一步一步解释他们之间的关系。 七层网络模型 首先从网...

2019-08-01 14:25:12

阅读数 17

评论数 0

原 「数据治理那点事」系列之二：手握数据「户口本」，数据治理肯定稳！

这篇文章主要从数据治理的基础和核心之一：元数据入手，从以下几个角度展开具体讲解： 元数据概念 元数据的分布和采集 元数据的一些实际应用场景 一、元数据到底是个啥？ 如果我说：元数据（Meta Data），就是描述数据的数据。没有技术背景加持的路人粉看到这句「绕口令」，内心可能会浮现...

2019-07-31 11:01:02

阅读数 21

评论数 0

原 关于接口测试——自动化框架的设计与实现

一、自动化测试框架 在大部分测试人员眼中只要沾上“框架”，就感觉非常神秘，非常遥远。大家之所以觉得复杂，是因为落地运用起来很复杂；每个公司，每个业务及产品线的业务流程都不一样，所以就导致了“自动化测试框架”去完成自动化测试的时候产生很多不稳定因素，这样就很难定位成一个固定的框架。其实不然，真正的自...

2019-07-26 15:22:04

阅读数 22

评论数 0

原 Giraph源码分析（四）—— Master 如何检查Worker启动成功

本文的目的 说明Giraph如何借助ZooKeeper来实现Master与Workers间的同步（不太确定）。 环境 在单机上（机器名：giraphx）启动了2个workers。 Giraph遵从单Master多Workers结构，BSPServiceMaster使用MasterThread线程来...

2019-07-26 10:40:00

阅读数 20

评论数 0

原 Giraph源码分析（三）—— 消息通信

由前文知道每个BSPServiceWorker有一个WorkerServer对象，WorkerServer对象里面又有ServerData对象，作为数据实。ServerData中包含该Worker的partitionStore、edgeStore、incomingMessageStore、curr...

2019-07-25 14:34:54

阅读数 53

评论数 0

提示
确定要删除当前文章？
取消 删除