- 博客(29)
- 收藏
- 关注
RSS订阅转载 零售数据观（一）：如何花30分钟成为一个标签设计“达人”
作者简介：铁叫兽，10年+数据相关经验，曾在电信、阿里从事过DBA，数仓，解决方案，目前从事零售行业的解决方案。序言：是否碰到大量的人力投入基于流程管理的信息化系统建设，也运行了好几年了，同时大数据也热了好几年了，但企业IT部门还是无从下手，既不确信大数据是否可以真的带来业务价值也不清楚从...
2019-09-04 11:05:00
159
转载 JS源码分析│简易mvvm库的设计实现
作者：刀哥（朱建）前言：mvvm模式即model-view-viewmodel模式简称,单项/双向数据绑定的实现，让前端开发者们从繁杂的dom事件中解脱出来，很方便的处理数据和ui之间的联动。本文将从vue的双向数据绑定入手,剖析mvvm库设计的核心代码与思路。1、需求整理与分析需求：...
2019-09-03 14:36:00
125
转载 当餐饮遇上大数据，嗯真香！
之前去开了一场会，主题是「餐饮领袖新零售峰会」。认真听完了餐饮前辈和新秀们的分享，觉得获益匪浅，把脑子里的核心纪要整理了一下，今天和大家做一个简单的分享，欢迎感兴趣的小伙伴一起交流！先简单说一下结论：餐饮和零售的边界在新零售的冲击下，正在模糊边界，打破时空的限制；传统零售 KPI...
2019-08-22 17:30:00
187
转载 风剑分享 | 只有数据最懂公司的痛点，指导企业决策走向
在2018中国大数据高峰论坛上，数澜科技CEO风剑分享了对数据资产化的理解、大数据平台的建设、大数据落地过程中的挑战，以及数据应用在未来的机遇与挑战。具体全文摘录如下：一、什么是数据资产化“数据资产化是数澜一直秉持的概念并持续在做的事情”。风剑曾经在负责阿里巴巴集团大数据业务的时候，见...
2019-08-21 15:14:00
166
转载 Giraph源码分析（八）—— 统计每个SuperStep中参与计算的顶点数目
作者|白松目的：科研中，需要分析在每次迭代过程中参与计算的顶点数目，来进一步优化系统。比如，在SSSP的compute()方法最后一行，都会把当前顶点voteToHalt，即变为InActive状态。所以每次迭代完成后，所有顶点都是InActive状态。在大同步后，收到消息的顶点会被激活，变...
2019-08-20 11:03:00
109
转载 Giraph源码分析（七）—— 添加消息统计功能
作者|白松1、添加类，把每个超步发送的消息量大小写入Hadoop的Counter中。在org.apache.giraph.counters包下新建GiraphMessages类，来统计消息量。源代码如下：package org.apache.giraph.counters;impo...
2019-08-19 16:56:00
76
转载 史上最强攻略！手把手教你建「数据中台」！
文章转自「首席数字官」ID：ChiefDigitalOfficer作者：李国欢4 月 24 日晚，由数澜科技联合锦囊专家共同打造的《数据中台硬核汇》系列线上微课第一讲火热开启。1000 位 CXO 同时收听，群友累计提问 30+，问嗨全场！本文为本次微课分享内容整理，错过 24 日晚微课...
2019-08-16 15:51:00
337
转载 从零开始实现一个IDL+RPC框架
一、RPC是什么在很久之前的单机时代，一台电脑中跑着多个进程，进程之间没有交流各干各的，就这样过了很多年。突然有一天有了新需求，A进程需要实现一个画图的功能，恰好邻居B进程已经有了这个功能，偷懒的程序员C想出了一个办法：A进程调B进程的画图功能。于是出现了IPC（Inter-process ...
2019-08-15 16:14:00
1163
转载 惊! 大屏还能长这样！
数据可视化最吸引人的地方在于，通过科学和艺术的完美结合，让隐藏在数据中可预测的和出人意料的故事都变得一目了然。一个优秀的数据可视化方案，应该同时具备精确度和精美度。精确度，即使用基本视觉元素的形状、尺寸、颜色和位置来呈现数据的多少和关联关系，让受众快速且正确地阅读数据中隐含的故事，是数...
2019-08-14 11:35:00
81
转载 科技赋能零售，最终还是要消失于无形中
导读： 8月23日，“新零售论坛：零售业的再革命” 由数澜科技与华院数据在上海百联创业空间成功举办。数澜科技参谋长武凯（行竹）就“零售数据中台实践”进行了分享，并在“新零售创业的机遇与挑战”圆桌论坛中发表了独特的见解。过去的一年里，零售行业正在发生巨变。“新零售”可以说是近年来最热的词汇之一...
2019-08-13 15:41:00
98
转载 Giraph源码分析（六）——Edge 分析
1.在Vertex类中，顶点的存储方式采用邻接表形式。每个顶点有 VertexId、VertexValue、OutgoingEdges和Halt，boolean型的halt变量用于记录顶点的状态，false时表示active，true表示inactive状态。 片段代码如下。2.org.a...
2019-08-12 16:00:00
76
转载 常见的Web安全漏洞及测试方法介绍
背景介绍Web应用一般是指B/S架构的通过HTTP/HTTPS协议提供服务的统称。随着互联网的发展，Web应用已经融入了我们的日常生活的各个方面。在目前的Web应用中，大多数应用不都是静态的网页浏览，而是涉及到服务器的动态处理。如果开发者的安全意识不强，就会导致Web应用安全问题层出不穷。...
2019-08-09 14:50:00
651
转载 Giraph 源码分析（五）—— 加载数据+同步总结
作者|白松关于Giraph 共有九个章节，本文第五个章节。环境：在单机上（机器名：giraphx）启动了2个workers。输入：SSSP文件夹，里面有1.txt和2.txt两个文件。1、在Worker向Master汇报健康状况后，就开始等待Master创建InputSplit。方法...
2019-08-08 11:08:00
114
转载 「数据治理那点事」系列之三：不忘初心方得始终，数据质量管理要稳住！
作者 | 蒋珍波本文是数据治理系列文章的第三篇，主要讲数据治理中的重要工作：数据质量管理。我将从数据质量管理的目标，质量问题产生的根源，讲到如何评估数据质量，如何贯彻数据质量管理流程，最后从取与舍两个角度谈谈我对质量问题的一些个人观点。一、数据质量管理的目标数据质量管理主要解决「数据质...
2019-08-07 10:50:00
143
转载 2分钟快速了解企业用户权限
作者|小菜Hello，大家好，今天给大家讲讲用户权限。可能有人会觉得用户权限有什么好讲的，市面上通用的RBAC权限模型多了去了，还需要你个小菜鸟来讲。说这话的，可能没看到我背上纹的小猪佩奇，信不信我这个社会人给你来点狠的——求着你看完。咳咳…严肃严肃，相信我，看完你会有收获的，没有收获的来砍...
2019-08-06 11:06:00
103
转载 地产业 X 数据中台
从 IT 时代到 DT 时代，每个企业无一不被「大数据」、「数字化转型」这样陌生又熟悉的词汇环绕着。似乎一夜之间，这条通往未来的数据之路旁早已挤满了拿着车票却不知该如何上车的企业主们，特别是一些传统行业的巨头们，更是早早挤在了队伍的前头。他们往往凭借着多年的深耕和积累，积累了海量的、价值难以...
2019-08-05 14:55:00
483
转载 菜鸟的Hadoop快速入门
一、相关概念1、大数据大数据是一门概念，也是一门技术，是以Hadoop为代表的大数据平台框架上进行各种数据分析的技术。大数据包括了以Hadoop和Spark为代表的基础大数据框架，还包括实时数据处理，离线数据处理，数据分析，数据挖掘和用机器算法进行预测分析等技术。2、HadoopHa...
2019-08-02 14:41:00
61
转载 一篇搞懂TCP、HTTP、Socket、Socket连接池
前言：作为一名开发人员我们经常会听到HTTP协议、TCP/IP协议、UDP协议、Socket、Socket长连接、Socket连接池等字眼，然而它们之间的关系、区别及原理并不是所有人都能理解清楚，这篇文章就从网络协议基础开始到Socket连接池，一步一步解释他们之间的关系。七层网络模型首先...
2019-08-01 14:25:00
150
转载 「数据治理那点事」系列之二：手握数据「户口本」，数据治理肯定稳！
这篇文章主要从数据治理的基础和核心之一：元数据入手，从以下几个角度展开具体讲解：元数据概念元数据的分布和采集元数据的一些实际应用场景一、元数据到底是个啥？如果我说：元数据（Meta Data），就是描述数据的数据。没有技术背景加持的路人粉看到这句「绕口令」，内心可能会...
2019-07-31 11:06:00
136
转载 “数据治理那点事”系列之一：那些年我们一起踩过的坑
大数据时代，数据成为社会和组织的宝贵资产，像工业时代的石油和电力一样驱动万物，然而如果石油的杂质太多，电流的电压不稳，数据的价值岂不是大打折扣，甚至根本不可用不敢用，因此，数据治理是大数据时代我们用好海量数据的必然选择。但大家都知道，数据治理是一项长期而繁杂的工作，可以说是大数据领域中的脏活...
2019-07-31 10:44:00
65
转载 关于接口测试——自动化框架的设计与实现
一、自动化测试框架在大部分测试人员眼中只要沾上“框架”，就感觉非常神秘，非常遥远。大家之所以觉得复杂，是因为落地运用起来很复杂；每个公司，每个业务及产品线的业务流程都不一样，所以就导致了“自动化测试框架”去完成自动化测试的时候产生很多不稳定因素，这样就很难定位成一个固定的框架。其实不然，真正...
2019-07-26 15:21:00
161
转载 Giraph源码分析（四）—— Master 如何检查Worker启动成功
#### 本文的目的 说明Giraph如何借助ZooKeeper来实现Master与Workers间的同步（不太确定）。 #### 环境 在单机上（机器名：giraphx）启动了2个workers。 Giraph遵从单Master多Workers结构，BSPServiceMaster...
2019-07-26 10:40:00
279
转载 Giraph源码分析（三）—— 消息通信
由前文知道每个BSPServiceWorker有一个WorkerServer对象，WorkerServer对象里面又有ServerData对象，作为数据实。ServerData中包含该Worker的partitionStore、edgeStore、incomingMessageStore、cu...
2019-07-25 14:38:00
70
转载 大数据是啥，可以吃的吗？
作者|影姿关于大数据是什么，从一开始仅仅只想做数据，到开始意识到自己做的是对整个集团有核心意义的数据产品，再到走到外面，把数据能力对外输出，所有过程中，不断的有客户问到这个问题，有懵懂的、有善意的、也有挑衅的、不屑的。就像大数据本身一样，混乱又带有迷幻色彩。现在对大数据的理解有两种极端：站...
2019-07-23 11:13:00
106
转载 Mock工具wiremock-py
作者 | 咪咪wiremock-pywiremock-py 是基于WireMock实现的, 使用Python批量生成不同 测试场景 下不同HTTP API的 mock 数据, 然后作为mock server快速全面地对 API 进行测试。背景在数澜地产应用的前端测试中, 前端一般依赖于...
2019-07-23 10:08:00
81
转载 Giraph源码分析（二）—启动Master/Worker服务
作者 | 白松注：本文为原创，引用转载需与数澜联系。1、org.apache.giraph.bsp.CentralizedService 接口功能：Basic service interface shared by both CentralizedServiceMaster and Ce...
2019-07-22 20:03:00
59
转载 Giraph源码分析（一）— 启动ZooKeeper服务
作者 | 白松【注：本文为原创，引用转载需与博主联系。】Giraph介绍：Apache Giraph is an iterative graph processing system built for high scalability. For example, it is curren...
2019-07-22 19:47:00
116
转载 浅析HDFS架构和设计
作者 | 大尊hdfs是hadoop的分布式文件系统，即Hadoop Distributed Filesystem。下面主要讲下HDFS设计中的比较重要的点，使读者能通过简短的文章一窥HDFS的全貌，适合对HDFS有一点了解，但是对HDFS又感到困惑的初学者。本文主要参考的是hadoop 3...
2019-07-18 11:39:00
139
转载 你的企业真的需要「数据中台」吗？
作者：铁叫兽一、如何理解数据中台在解决你是否需要数据中台这个问题之前，让我们先理理它究竟是什么。它是工具？是方法？还是组织架构？我的回答是：都不仅仅是。数据中台包括平台、工具、数据、组织、流程、规范等一切与企业数据资产如何用起来所相关的。企业所属行业不同，经营策略不同，从而数据场景也...
2019-07-17 14:27:00
173
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人