工作总结
文章平均质量分 79
Paul_ZJ
Read The Fucking Source Code
展开
-
浅析淘宝数据魔方技术架构
淘宝网拥有国内最具商业价值的海量数据。截至当前,每天有超过30亿的店铺、商品浏览记录,10亿在线商品数,上千万的成交、收藏和评价数据。如何从这些数据中挖掘出真正的商业价值,进而帮助淘宝、商家进行企业的数据化运营,帮助消费者进行理性的购物决策,是淘宝数据平台与产品部的使命。AD:2014WOT全球软件技术峰会北京站 课程视频发布为此,我们进行了一系列数据产品的研发,比如为大家所熟知的量子转载 2014-12-23 13:58:35 · 574 阅读 · 0 评论 -
Datax源码学习
淘宝开源框架Datax简介DataX是什么?DataX是一个在异构的数据库/文件系统之间高速交换数据的工具,实现了在任意的数据处理系统(RDBMS/Hdfs/Local filesystem)之间的数据交换,由淘宝数据平台部门完成。DataX用来解决什么?目前成熟的数据导入导出工具比较多,但是一般都只能用于数据导入或者导出,并原创 2014-12-15 17:15:08 · 8948 阅读 · 3 评论 -
shell中的AWK命令
一、AWK简介 AWK名字来源于三位创造者Aho、Weinberger和Kernighan统称。 AWK擅长处理文本数据。二、AWK的调用方式 awk [-Ffs] [-v var=value] [program | -f progfile ...] [file ...] 1、命令行方式 例如:转载 2015-03-05 11:37:53 · 802 阅读 · 0 评论 -
AWK相关
第五章 gawk5.1 什么是awk,什么是nawk,什么是gawk? awk是Linux/UNIX下用来操纵数据和产生报告的程序语言,Nawk是新的版本,gawk是Gnu的版本。数据可以来自标准输入、一个或者多个文件,或者其他命令的输出。awk可用于命令行的简单操作,也可以写入大的应用程序。因为awk可以操纵数据,所以踏实Shell脚本和管理小型数据库中必需的工具。 aw转载 2015-03-05 11:50:39 · 501 阅读 · 0 评论