一步一脚印

原创 OATH FOR MYSELF(Updata all the time)

1 focus one thing at a time ,that's not only bring efficiency but also happiness.

原创 【数据采集】-目前比较流行的几种数据采集方式

总的来说目前互联网常用的数据采集分为APP采集和web端采集对于APP采集最常用的方式就是通过集成SDK，进行埋点采集对于这种方式，目前分为有无埋点采集，可视化埋点采集，手工埋点采集大类分别针对于：日志的全量收集，日志的可编辑收集，和自定义埋点收集对于web目前比常见的可以参考：Tony_老七 总结的文章在这里需要细分一下目前用户访问的平台，根据目前以及短期内技术发展，可以分为三种APP|PC|W...

原创 [数据采集]APP启动时长统计

先列出了友盟平台的统计方式Android平台：sdk版本v5.2.0及之后：app的单次使用时长=本次启动的结束时间减去本次启动的开始时间，即end_time减去start_time。如果在本次启动过程中，应用退到后台运行（例如启动应用的过程中接了个电话，接电话的时候应用会退到后台运行），后台运行时间不超过30s，则此时间会被计算到应用的单次使用时长中；后台运行时间超过

转载 产品构架图

什么是产品架构图产品架构图是产品经理用来表达自己产品设计机制的一张概念图：它将可视化的具象产品功能，抽象成信息化、模块化、层次清晰的架构，并通过不同分层的交互关系、功能模块的组合、数据和信息的流转，来传递产品的业务流程、商业模式和设计思路。由于产品架构图通常用于比较复杂的产品项目中，目前介绍产品架构图的相关书籍

原创 电商基础概念-商品

spu 属性(不会影响到库存和价格的属性, 又叫关键属性) >>毛重: 420.00 g产地: 中国大陆sku 属性(会影响到库存和价格的属性, 又叫销售属性) >>容量: 16G, 64G, 128G颜色: 银, 白, 玫瑰金sku 在生成时, 会根据 属性生成 相应的 笛卡尔积.想像一下扑克牌的黑红梅方和 A-K, 扑克牌是这样的 sku 属

转载 如何用数据来做渠道效果的分析

几乎所有的运营人员都会接触到渠道推广。这些渠道推广可能是付费渠道，可能是免费渠道，无论是哪一种渠道推广，都是需要我们付出成本的。在与渠道打交道的过程中，有时候涉及到跟渠道分成或者跟渠道合作，我们需要统计从渠道获取的用户的数量；有时候涉及到渠道付费，我们需要鉴别渠道用户的质量的好坏，控制并提高渠道的效果。工欲善其事，必先利其器。我们可以利用第三方统计工具来对渠道投放进行监控，通过一些指标来有

转载 大数据系统数据采集产品的架构分

任何完整的大数据平台，一般包括以下的几个过程：数据采集数据存储数据处理数据展现（可视化，报表和监控）其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。这其中包括：数据源多种多样数据量大，变化快如何保证数据采集的可靠性的性能如何避免重复数据如何保证数据的质量我们今天就来看看当前可用的一些数据采集的产品，重点关注一些它

转载 电商运营指标

转载 全球零售新力量

德勤全球《2017全球零售力量：消费者的艺术与科学》报告显示，2015财年全球250强零售商共计收入4.31万亿美元，复合增长5.2%。德勤全球首席经济学家Ira Kalish博士解释道：“全球主要发达国家经济增长缓慢、新兴国家债务水平居高不下、富裕国家深陷于通缩或低通涨之中、以及贸易保护主义抬头抵制全球化等一系列变化，导致零售商面临严峻的经济形势。但是消费者仍有购物需求，因而推动零售行业持续增长

转载 管中窥豹，从快消品B2B模式看“新零售”

所谓新零售，即用互联网的思想和技术来改造零售业，打通物流系统、供应商系统及商品系统，实现线上、线下融合，以大数据分析为基础，为客户提供更多个性化的产品需求和体验。快消品市场发展一直伴随着零售业态的发展，在零售业中占据重要作用，本期我们将以快消品为切入口，探讨“新零售” 时代背景下零售业的经营模式变革。快消品是指使用寿命较短，消费速度较快的消费品，主要包括食品、饮料、烟酒等产品。快消品消费具

转载 大数据技术-数据仓库

nice的博客：http://webdataanalysis.net数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。其实数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。因此数据仓库的基本架构主要包含的是数据流入流出的过程，可以分为三层

转载 大数据技术-数据采集-Flume.logstash等

随着大数据越来越被重视，数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台：Apache FlumeFluentdLogstashChukwaScribeSplunk Forwarder大数据平台与数据采集任何完整的大数据平台，一般包括以下的几个过程：数据采集-->数据存储-->数据处理-->数据展现(可视化，报表和监控)其中，数据采集是

转载 大数据技术-消息队列-Kafka

背景假设你意气风发，要开发新一代的互联网应用，以期在互联网事业中一展宏图。借助云计算，很容易开发出如下原型系统：Web应用：部署在云服务器上，为个人电脑或者移动用户提供的访问体验。SQL数据库：为Web应用提供数据持久化以及数据查询。这套架构简洁而高效，很快便能够部署到百度云等云计算平台，以便快速推向市场。互联网不就是讲究小步快跑嘛！好景不长。随着用户的迅速增长，所有的访问

转载 数据分析：在天猫开一个店需要多少成本？

有的人做了3、4年电商，还弄不明白“成本”里包含哪几项。事实上，在今天，如果你在“天猫”开店经营，20元出厂价的产品，以3倍的价60元卖出去，结果也只能是亏本。一、一般的商家举个例子，我来帮大家做个测算，其实“成本”不止是产品本身，而是产品整个销售过程中不可避免发生的费用，最基础的来说，“成本”一共包括6大项：1、产品成本(比如20元);2、包装成本(内包装，外包装

转载 大数据框架对比：Hadoop、Storm、Samza、Spark和Flink

转载于：点击打开链接简介大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。在之前的文章中，我们曾经介绍过有关大数据系统的常规概念、处理过程，以及各种专门术语，本文将介绍大数据系统一个最基本的组件：处理框架。

原创 数据产品文章集锦

1、有埋点和无埋点的埋点真相https://toutiao.io/posts/p0bmdk/preview

转载 Hive对应MapReduce操作

转载自：http://tech.meituan.com/hive-sql-to-mapreduce.htmlMapReduce实现基本SQL操作的原理详细讲解SQL编译为MapReduce之前，我们先来看看MapReduce框架实现SQL基本操作的原理Join的实现原理select u.name, o.orderid from order o join

原创 纳什均衡说了些什么

而纳什的观点是，在一个纳什均衡的组合里，每个人其实不选择对自己“最优”的那个策略，而是选择“次优”的那个策略，从而达成“均衡的合作”。当博弈次数不止一次地进行着时，博弈结果将重复定格在某个状态，那个状态即是纳什均衡点。公理解释是如果博弈在某情况下无任一参与者可以通过独自行动而增加收益，则此时的策略组合被称为纳什均衡。简单的博弈案例看上去似乎有趣，但博弈论始终是一门深奥复

原创 【前端开发】HTML标签总结-行标签和块标签

一，基本概念HTML(Hypertext Markup Language) 超文本标记语言，是用于描述网页文档的一种标记语言，XHTML是一种遵循更严格的XML规则的HTML新版本，这种新的XML兼容版本的HTML被称为XHTML。 声明必须是 HTML 文档的第一行，位于  标签之前。它是指示 web 浏览器关于页面使用哪个 HTML 版本进行编写的指令。二．大体框架 

转载 【前端开发】CSS布局

CSS布局 ——从display，position， float属性谈起页面布局，或者是在页面上做些小效果的时候经常会用到 display,position和float 属性，如果对它们不是很了解的话，很容易出现一些莫名其妙的效果，痛定思痛读了《CSS Mastery》后总结一下。让我们从基础的CSS知识谈起，相信很多初学者和小弟一样不明白CSS原理，一味追求效果，

转载 [hive]hive大数据倾斜总结

在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage的reduce输出，所以如何将数据均匀的

转载 写一个web服务器

点击打开链接  （1）一起写一个web服务器（2）一起写个web服务器（3）

转载 【基础理论】数据仓库

数据仓库的基本架构　数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。其实数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。因此数据仓库的基本架构主要包含的是数据流入流出的过程，可以分为三层——源数据、数据仓库、数据应用：

转载 【性能优化】Hive优化

1.概述　　继续《那些年使用Hive踩过的坑》一文中的剩余部分，本篇博客赘述了在工作中总结Hive的常用优化手段和在工作中使用Hive出现的问题。下面开始本篇文章的优化介绍。2.介绍　　首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？数据量大不是问题，数据倾斜是个问题。jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联

转载 【可视化】表格的设计

由于工作原因，经常接触到表格。我们发现，表格不但广泛的运用在各类数据收集和分析，同时通过表格这样一种二维矩阵来整理和陈列信息时（即便最后的展示方式并非一个典型的表格样式），能够很好的表达信息之间的逻辑关系，易于帮助理解横纵信息之间的关系。在实际的网页设计应用中，表格横纵相互独立又相互关联的模式尤其适用于：1.组织和展示大量的信息表格简单的结构不但能包含大量的信息，且同时保证

转载 【可视化】数据图表可视化

可视化原则图表可视化

转载 【前端开发】CSS中的优先级

CSS 样式优先级当创建的样式表越来越复杂时，一个标签的样式将会受到越来越多的影响，这种影响可能来自周围的标签，也可能来自其自身。下面我们从这两方面去看看 CSS 样式的优先级。CSS 的继承性CSS 的继承特性指的是应用在一个标签上的那些 CSS 属性被传到其子标签上。看下面的 HTML 结构： 如果  有个属性 color: red，则这个属

转载 【网络协议】TCP/IP模型的一个简单解释

TCP/IP模型是互联网的基础。想要理解互联网，就必须理解这个模型。但是，它不好懂，我就从来没有搞懂过。前几天，BetterExplained上有一篇文章，很通俗地解释了这个模型。我读后有一种恍然大悟的感觉，第一次感到自己理解了互联网的总体架构。下面，我按照自己的理解，写一下互联网到底是怎么搭建起来的。说得不对的地方，欢迎指正。什么是TCP/IP模型？TCP

转载 Node.js简介

因为Node.js是运行在服务区端的JavaScript环境，服务器程序和浏览器程序相比，最大的特点是没有浏览器的安全限制了，而且，服务器程序必须能接收网络请求，读写文件，处理二进制内容，所以，Node.js内置的常用模块就是为了实现基本的服务器功能。这些模块在浏览器环境中是无法被执行的，因为它们的底层代码是用C/C++在Node.js运行环境中实现的。

转载 【HTML/CSS】浮动结构深入浅出

写在前面的话：       由于CSS内容比较多，小菜没有精力从头到尾讲一遍，只能有针对性的讲解。       如果读者理解CSS盒子模型，但对于浮动不理解，那么这篇文章可以帮助你。       小菜水平有限，本文仅仅是入门教程，不当之处请谅解！       本文以div元素布局为例。 教程开始：        首先要知道，div是块

转载 大型网站架构演变和知识体系

转载于：http://www.blogjava.net/BlueDavy/archive/2008/09/03/226749.html这篇文章实在太棒之前也有一些介绍大型网站架构演变的文章，例如LiveJournal的、ebay的，都是非常值得参考的，不过感觉他们讲的更多的是每次演变的结果，而没有很详细的讲为什么需要做这样的演变，再加上近来感觉有不少同学都很难明白为什么一个网站需要那么

转载 什么是Hadoop（大数据基础系列二）

MapReduce 是适合海量数据处理的编程模型。Hadoop是能够运行在使用各种语言编写的MapReduce程序： Java, Ruby, Python, and C++. MapReduce程序是平行性的，因此可使用多台机器集群执行大规模的数据分析非常有用的。MapReduce程序的工作分两个阶段进行：Map阶段Reduce 阶段输入到每一个阶段均是键 - 值对。此外，每一

原创 Hadoop生态系统介绍（大数据基础系列一）

Hadoop生态简图数据存储大数据，首先你要能存的下大数据。传统的文件系统是单机的，不能横跨不同的机器。HDFS（Hadoop Distributed FileSystem）的设计本质上是为了大量的数据能横跨成百上千台机器，但是你看到的是一个文件系统而不是很多文件系统。比如你说我要获取/hdfs/tmp/file1的数据，你引用的是一个文件路径，但是实际的数据存放在很多不同的机

转载 漫谈数据库索引

一、索引的概念和作用    索引是对数据库表中一列或多列的值进行排序的一种结构，使用索引可快速访问数据库表中的特定信息。    在数据库中，索引的含义与日常意义上的“索引”一词并无多大区别（想想小时候查字典），它是用于提高数据库表数据访问速度的数据库对象。主键也是一种索引，典型的数据库（如mysql，oracle等）会在建立主键的同时对其建立索引。 从本质上了解索引的优势

原创 互联网思维

1、用户思维“独孤九剑”第一招是总诀式，第一招学不会，后面的招数就很难领悟。互联网思维也一样。互联网思维，第一个，也是最重要的，就是用户思维。用户思维，是指在价值链各个环节中都要“以用户为中心”去考虑问题。作为厂商，必须从整个价值链的各个环节，建立起“以用户为中心”的企业文化，只有深度理解用户才能生存。没有认同，就没有合同。这里面有几个法则：法则1：得“屌丝”者得天

原创 Web建站基本概念

首先要知道网站访问大概是什么个过程：假设你在浏览器地址栏输入这个问题的地址http://www.zhihu.com/question/22689579访问过程和下图差不多，浏览器和服务器交流，服务器和数据库交流（有时候数据库就在服务器那台机子上）HTML 与 CSS你家电脑拿到一个 html （就是上图 HTTP 响应的 body 里的内容）之后，就会对它进行

转载 电商行业有哪些营销手段可以借鉴到实体零售行业？

第一部分：为什么电商的营销手段可借鉴到实体零售行业电商（E-Commerce）与传统商务（Commerce）的区别只在一个E。所以，“看在上帝的份上，他们为什么不坐下喝杯咖啡呢”。想象你面前有一个叫做商业（Business）的二阶魔方，它有三个维度、八个立方体。产品、销售流程、交付方式，组成了魔方的三个维度。产品可能是实体化或数字化的、销售流程可能是实体化或数字化的、交付方

原创 人人网怎么走出困境

人人网的品牌核心是什么？同学，同学关系。它没有认识到这个内核，也找错了参照对象。人人网和非死不可、微博、QQ空间都是不同的，不同之处就是它的同学关系，核心价值点也是同学关系。在中国的情况下，一个人在社会上主要有三方面的关系。一是父母以及父母双方亲戚建立的社会关系。二是小学、初中、高中、大学的同学关系。三是毕业后建立的同事社会关系。可以说，同学关系是非常重要的社会关系，也是粘性非常强的社会关系。

转载 社会化营销

张锐，时趣CEO的核心观点：1、社会化营销在2013年从新兴事物变成了主流实践2、社会化广告将会更大的提升和证明社会化营销的价值3、漏斗将死，波纹方兴：数字营销的传统模型正在被彻底颠覆中4、社会化营销正在成为整个数字营销体系的中心5、“移动营销”并不是独立的营销体系，社会化营销很大程度上就是移动营销6、中小型品牌自建社会化营销管理团队将成为一个令人瞩目的趋势7、品牌在社

原创 微信的尚方宝剑——互联网闭环

当我们谈到闭环时，我们通常是在谈O2O行业——这个回答只谈「O2O闭环」以及这个概念在非O2O行业的延伸，不涉及其他如工业控制系统或者产品开发迭代中的闭环概念。我们先来看一个O2O行业的普遍困境。O2O行业的普遍困境优惠券模式（例如丁丁优惠、大众点评）：用户下载优惠券，在消费时向商家出示，获得优惠。商家也知道该用户来自丁丁优惠。丁丁网收取