排序:
默认
按更新时间
按访问量

HDFS dfsclient写文件过程 源码分析

HDFS写入文件的重要概念 HDFS一个文件由多个block构成。HDFS在进行block读写的时候是以packet(默认每个packet为64K)为单位进行的。每一个packet由若干个chunk(默认512Byte)组成。Chunk是进行数据校验的基本单位,对每一个chunk生成一个校验...

2013-09-16 10:28:27

阅读数:800

评论数:0

HDFS dfsclient读文件过程 源码分析

HDFS读取文件的重要概念 HDFS一个文件由多个block构成。HDFS在进行block读写的时候是以packet(默认每个packet为64K)为单位进行的。每一个packet由若干个chunk(默认512Byte)组成。Chunk是进行数据校验的基本单位,对每一个chunk生成一个校验...

2013-09-16 10:25:57

阅读数:806

评论数:0

HDFS datanode源码分析

datanode的介绍 一个典型的HDFS系统包括一个NameNode和多个DataNode。DataNode是hdfs文件系统中真正存储数据的节点。 每个DataNode周期性和唯一的NameNode通信,还时不时和hdfs客户端代码以及其他datanode通信。   d...

2013-09-16 10:21:31

阅读数:1042

评论数:0

HDFS namenode源码分析

Namenode的介绍 一个典型的HDFS系统包括一个NameNode和多个DataNode。 NameNode作为HDFS中文件目录和文件分配的管理者,它保存的最重要信息,就是下面两个映射: 文件名=>数据块 数据块=>DataNode列表 其中,文...

2013-09-16 10:18:53

阅读数:1676

评论数:0

HDFS的基本概念

HDFS的基本概念 1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是,HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是,HDFS中,如...

2013-09-16 10:15:21

阅读数:688

评论数:0

谁在使用我的网站——用户忠诚和价值分析

谁在使用我的网站——用户忠诚和价值分析 前面介绍的都是一些用户的行为指标和用户细分,这里要介绍的是基于每个用户行为的综合性的分析和评定,主要包括用户的忠诚度和用户的价值。“以用户为中心”的理论要求网站不断优化改善用户的体验,进而提升用户的满意度,当用户的预期不断被满足时,用户就会喜欢上这个网...

2013-08-22 14:36:17

阅读数:667

评论数:0

C#通过sp端口发送短信

using System; using System.Data; using System.Configuration; using System.Web; using System.Web.Security; using System.Web.UI; usin...

2013-04-08 17:21:32

阅读数:676

评论数:0

数据挖掘解决精准营销的三大问题

1 我们这次营销的对象是谁?聚类分析、异常分析、RFM分析、决策树、神经网络、 logistics ;  2 如何营销?关联分析、序列分析 ; 3 什么时间营销? 生命周期挖掘、时间序列、回归分析。4、如何评估,T、卡方检验,对比分析,环比同比。

2012-12-27 10:25:59

阅读数:899

评论数:1

使用R处理大数据集

本文翻译自R in Action的附录G,如果对该书感兴趣,请自行购买或去图书馆阅读。 R会把所有的对象读存入虚拟内存中。对我们大多数用户来说,这种设计可以提高与R相互的速度,但是当分析大数据集时,这种设计会降低程序运行速度有时还会产生跟内存相关的错误。 内存限制主要取决于R的build版...

2012-12-06 15:02:53

阅读数:5487

评论数:1

名词解释CPC、CPM、CPA...

1.CPC(CostPerClick;CostPerThousandClick-Through)每点击成本   以每点击一次计费。这样的方法加上点击率限制可以加强作弊的难度,而且是宣传网站站点的最优方式。但是,此类方法就有不少经营广告的网站觉得不公平,比如,虽然浏览者没有点击,但是他已经看到...

2012-11-01 10:14:40

阅读数:1997

评论数:0

各大牛逼网站推荐系统

1. 前言 随着互联网技术和社会化网络的发展,每天有大量包括博客,图片,视频,微博等等的信息发布到网上。传统的搜索技术已经不能满足用户对信息发现的需求,原因有多种,可能是用户很难用合适的关键词来描述自己的需求,也可能用户需要更加符合他们兴趣和喜好的结果,又或是用户无法对自己未知而又可能感...

2012-09-20 11:03:42

阅读数:8016

评论数:1

推荐系统架构小结

一、HULU的推荐系统 总结:葫芦的推荐系统,至少在他blog中写的比较简单。更多的是对推荐系统在线部分的一种描述,离线部分我猜想也是通过分布式计算或者不同的计算方式将算法产生的数据存储进入一种介质中,供推荐系统在线部分调用。系统的整个流程是这样的,首先获取用户的行为,包括(watc...

2012-09-19 16:22:28

阅读数:14375

评论数:8

准确度量 持续改进—网站分析驱动目标达成

1 为什么要对网站进行分析? 首先是第一部分,我们为什么要对网站进行分析?网站分析并不是所有网站的标准配置,很多网站都没有做这个工作,他们也运营的很好。那么我们为什么需要网站分析呢? 在回答这些问题之前,我先要反问一个问题,你的网站为什么存在?如果你不了解网站存在的目的,那么网站分析对于...

2012-09-04 16:45:02

阅读数:1137

评论数:0

SQL Server查询优化50法

虽然查询速度慢的原因很多,但是如果通过一定的优化,也可以使查询问题得到一定程度的解决。   查询速度慢的原因很多,常见如下几种: 没有索引或者没有用到索引(这是查询慢最常见的问题,是程序设计的缺陷)I/O吞吐量小,形成了瓶颈效应。没有创建计算列导致查询不优化。内存不足网络速度慢查询出的数据...

2012-08-03 16:12:29

阅读数:798

评论数:0

数据分析预处理的方法——SPSS、Clementine如何处理缺失值、离群值、极值?

【一】什么是预处理、预分析?   高质量数据是数据分析的前提和分析结论可靠性的保障。尽管在获取数据源时数据分析师格外谨慎,耗费大量的时间,但数据质量仍然需持续关注。不管是一手还是二手数据源,总是会存在一些质量问题。同时,为了满足数据分析、挖掘的实际需要,对噪声数据如何处理,是丢弃还是补...

2012-07-31 14:48:23

阅读数:18658

评论数:4

SQL2005/2008中的CTE应用--递归查询

微软从SQl2005起引入了CTE(Common Table Expression)以强化T-SQL。这是一个类似于非持久视图的好东东。 按照MSDN介绍 1、公用表表达式 (CTE) 可以认为是在单个 SELECT、INSERT、UPDATE、DELETE 或 CREATE VIEW...

2012-07-26 13:54:40

阅读数:770

评论数:0

SQL Server 2008中新增的变更数据捕获(CDC)和更改跟踪

SQL Server 2008中SQL应用系列--目录索引   本文主要介绍SQL Server中记录数据变更的四个方法:触发器、Output子句、变更数据捕获(Change Data Capture 即CDC)功能、同步更改跟踪。其中后两个为SQL Server 2008所新增。 ...

2012-07-06 10:47:20

阅读数:2322

评论数:0

SSAS使用时间智能解决本年累计、同比、环比

通常,我们需要使用MDX来定义本年累计、同比、环比等一系列基于时间维度的计算指标。但是这样有一个麻烦的地方就是比如我有50个基础指标,每个指标都需要本年累计,那我就需要写50遍下面的语句: create member CURRENTCUBE.[MEASURES].[本年累计交易金额] as s...

2012-07-05 17:29:11

阅读数:1899

评论数:0

SSAS发布到IIS

上一章我们介绍了一个简单的多维数据集模型的建立,他可以发布到本机的AS服务中,并在本机用SQL客户端连接,但是还不能供其他机器访问。本章我们介绍如何通过web服务来把分析服务发布到网络中,来供其他客户端联机分析,这些客户端包括SQLServer、ADOMD.NET组件和Excel等工具。  ...

2012-07-05 17:13:57

阅读数:2768

评论数:0

[SQL2005 BI] 数据级权限解决方案

BI数据分析是目前企业的热门应用,而对企业来说,权限控制是非常重要的,尤其是作为决策用的企业报表。目前基于微软SQL Server体系的BI架构为Integration Services + Analysis Service + Reporting Services,Integration Ser...

2012-06-26 11:02:28

阅读数:3026

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭