- 博客(59)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 数据挖掘在行业的应用
1、离网客户预测分析 客户流失是电信行业普遍面临的业务问题，尤其是在市场成熟期的时候，竞争异常激烈，市场的渗透比率很高，以至于通信公司必须从他的竞争对手处“盗窃”客户，另一方面，通信公司的客户也被他的竞争对手“盗窃”。当被“盗窃”的客户的数字很高的时候就成为严重的流失问题。 离网客户预测分析就是针对以上问题，建立离网客户预测模型并且产生最可能离网的客户名单，结合每个客户的价值评
2013-03-29 09:51:09
690
数据挖掘在行业的应用
1、离网客户预测分析 客户流失是电信行业普遍面临的业务问题，尤其是在市场成熟期的时候，竞争异常激烈，市场的渗透比率很高，以至于通信公司必须从他的竞争对手处“”客户，另一方面，通信公司的客户也被他的竞争对手“”。当被“”的客户的数字很高的时候就成为严重的流失问题。 离网客户预测分析就是针对以上问题，建立离网客户预测模型并且产生最可能离网的客户名单，结合每个客户的价值评分，协助通信公司采取合适的客...
2013-03-29 09:51:00
372
数据挖掘在行业的应用
1、离网客户预测分析 客户流失是电信行业普遍面临的业务问题，尤其是在市场成熟期的时候，竞争异常激烈，市场的渗透比率很高，以至于通信公司必须从他的竞争对手处“”客户，另一方面，通信公司的客户也被他的竞争对手“”。当被“”的客户的数字很高的时候就成为严重的流失问题。 离网客户预测分析就是针对以上问题，建立离网客户预测模型并且产生最可能离网的客户名单，结合每个客户的价值评分，协助通信公司采取合适的客...
2013-03-29 09:51:00
90
原创 checkpoint原理和过程
理解这两个概念，对于理解Hadoop是如何管理备份，Secondary Namenode、Checkpoint Namenode和Backup Node如何工作的很重要。fsimage：文件是文件系统元数据的一个永久性检查点，包含文件系统中的所有目录和文件idnode的序列化信息。edits：文件系统的写操作首先把它记录在edit中将文件系统个元数据操作分开操作，是为...
2013-03-28 21:29:35
447
原创 系统建模与系统学习
系统建模可以选取神经网络、支持矢量机等系统结构作为系统函数V=(v1,v2,...,vn)=V(w1,w2,...,wn,x1,x2,...,xn), 其中(w1,w2,...,wn)是系统的参数空间矢量, (x1,x2,...,xn)是系统的输入空间矢量,(v1,v2,...vn)是系统的输出空间矢量。已经有了系统函数，现在的任务就是利用先验知识训练系统参数。 有k...
2013-03-28 13:29:52
146
转载 使用pssh进行并行批量操作
假如同时给上千台服务器执行一个命令,拷贝一个文件,杀一个进程等,有什么简化运维管理的工具呢?在小型使用中我都是使用for循环,数量巨大,一方面不确定操作是否成功,一方面for循环语句性能不好估计且是不是同步并行执行.，这类工具比如pdsh，mussh，cssh，dsh等还有这里提到的pssh:1 安装:#wget http://peak.telecommunity.com/dist/
2013-03-24 16:35:31
811
使用pssh进行并行批量操作
假如同时给上千台服务器执行一个命令,拷贝一个文件,杀一个进程等,有什么简化运维管理的工具呢?在小型使用中我都是使用for循环,数量巨大,一方面不确定操作是否成功,一方面for循环语句性能不好估计且是不是同步并行执行.，这类工具比如pdsh，mussh，cssh，dsh等还有这里提到的pssh:1 安装:#wget http://peak.telecommunity.com/d...
2013-03-24 16:35:00
70
转载 hbase查询一条数据的过程（转）
HBase中的Client如何路由到正确的RegionServer在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer管理哪个Region，那么
2013-03-20 18:15:56
811
hbase查询一条数据的过程（转）
HBase中的Client如何路由到正确的RegionServer在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer管理哪个...
2013-03-20 18:15:00
75
hbase查询一条数据的过程（转）
HBase中的Client如何路由到正确的RegionServer在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer管理哪个...
2013-03-20 18:15:00
96
转载 HBase二级索引与Join
二级索引与索引Join是多数业务系统要求存储引擎提供的基本特性，RDBMS早已支持，NOSQL阵营也在摸索着符合自身特点的最佳解决方案。这篇文章会以HBase做为对象来讨论如何基于Hbase构建二级索引与实现索引join。文末同时会列出目前已知的包括0.19.3版secondary index, ITHbase, Facebook方案和官方Coprocessor的介绍。理论目标在HBa
2013-03-20 18:12:19
548
HBase二级索引与Join
二级索引与索引Join是多数业务系统要求存储引擎提供的基本特性，RDBMS早已支持，NOSQL阵营也在摸索着符合自身特点的最佳解决方案。这篇文章会以HBase做为对象来讨论如何基于Hbase构建二级索引与实现索引join。文末同时会列出目前已知的包括0.19.3版secondary index,ITHbase, Facebook方案和官方Coprocessor的介绍。理论目标在HBas...
2013-03-20 18:12:00
70
HBase二级索引与Join
二级索引与索引Join是多数业务系统要求存储引擎提供的基本特性，RDBMS早已支持，NOSQL阵营也在摸索着符合自身特点的最佳解决方案。这篇文章会以HBase做为对象来讨论如何基于Hbase构建二级索引与实现索引join。文末同时会列出目前已知的包括0.19.3版secondary index,ITHbase, Facebook方案和官方Coprocessor的介绍。理论目标在HBas...
2013-03-20 18:12:00
103
原创 hdfs工作原理
书上和网上有对hdfs讲解的有很多,但是很多讲解的都不是很全面.前段有人问我hdfs工作原理,我说的不是清楚可能是因为平时对知识没有梳理,所以今天痛下决心,抽时间将知识梳理下,同时也希望能帮助那些刚接触hadoop不理解其原理的童鞋能有更深入的认识. 下面我将从以下三个方面来阐述下hdfs的工作原理: 一,当用client向hdfs中写入数据的时候.
2013-03-19 22:08:57
914
hdfs工作原理
书上和网上有对hdfs讲解的有很多,但是很多讲解的都不是很全面.前段有人问我hdfs工作原理,我说的不是清楚可能是因为平时对知识没有梳理,所以今天痛下决心,抽时间将知识梳理下,同时也希望能帮助那些刚接触hadoop不理解其原理的童鞋能有更深入的认识. 下面我将从以下三个方面来阐述下hdfs的工作原理: 一,当用client向hdfs中写入数据的时候. 当我们向hdfs 写数据的时候,...
2013-03-19 22:08:00
143
原创 希尔排序
package com.cn.izp;public class ShellSort { public void shell_sort(int[] arrays) { for (int d = 5; d > 0; d = d - 2) { for (int c = 0; c for (int i = c
2013-03-18 21:38:24
438
希尔排序
package com.cn.izp;public class ShellSort { public void shell_sort(int[] arrays) { for (int d = 5; d > 0; d = d - 2) { for (int c = 0; c < arrays.length - d; c++) { for (int i = ...
2013-03-18 21:38:00
63
希尔排序
package com.cn.izp;public class ShellSort { public void shell_sort(int[] arrays) { for (int d = 5; d > 0; d = d - 2) { for (int c = 0; c < arrays.length - d; c++) { for (int i = ...
2013-03-18 21:38:00
48
转载 HBase入门篇2-Java操作HBase例子
网址: http://www.javabloger.com/article/apache-hbase-shell-and-java-api-html.html 本篇文章讲述用HBase Shell命令 和 HBase Java API 对HBase 服务器 进行操作。在此之前需要对HBase的总体上有个大概的了解。比如说HBase服务器内部由哪些主要部件构成？HBase的内部工
2013-03-18 17:21:10
820
HBase入门篇2-Java操作HBase例子
网址: http://www.javabloger.com/article/apache-hbase-shell-and-java-api-html.html 本篇文章讲述用HBase Shell命令 和 HBase Java API 对HBase 服务器 进行操作。在此之前需要对HBase的总体上有个大概的了解。比如说HBase服务器内部由哪些主要部件构成？HBase的内部工作原理是什么？我...
2013-03-18 17:21:00
125
HBase入门篇2-Java操作HBase例子
网址: http://www.javabloger.com/article/apache-hbase-shell-and-java-api-html.html 本篇文章讲述用HBase Shell命令 和 HBase Java API 对HBase 服务器 进行操作。在此之前需要对HBase的总体上有个大概的了解。比如说HBase服务器内部由哪些主要部件构成？HBase的内部工作原理是什么？我...
2013-03-18 17:21:00
235
转载 HBase技术介绍
HBase简介HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapRe
2013-03-18 16:56:15
516
HBase技术介绍
HBase简介HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行Map...
2013-03-18 16:56:00
41
HBase技术介绍
HBase简介HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行Map...
2013-03-18 16:56:00
43
转载 hadoop 输出MultipleOutputs学习及应用情境
MultipleOutputs可以轻易的将输出数据输出为多个。案例一：writing to additional outputs other than the job default output.案例二：to write data to different files provided by user举例： * Usage pattern for job subm
2013-03-16 20:41:35
677
hadoop 输出MultipleOutputs学习及应用情境
MultipleOutputs可以轻易的将输出数据输出为多个。案例一：writing to additional outputs other than the job default output.案例二：to write data to different files provided by user举例：* Usage pattern for job submissio...
2013-03-16 20:41:00
61
原创 Hadoop安全模式的理解
安全模式异常：在hadoop的实践过程中，系统启动的时候去修改和删除文件有时候会报以下错误：org.apache.hadoop.dfs.SafeModeException: Cannotdelete/user/hadoop/input. Name node is in safe mode.从字面上来理解：“Name nodeis in safe mode.”hadoop的namenod
2013-03-16 14:50:48
638
Hadoop安全模式的理解
安全模式异常：在hadoop的实践过程中，系统启动的时候去修改和删除文件有时候会报以下错误：org.apache.hadoop.dfs.SafeModeException: Cannotdelete/user/hadoop/input. Name node is in safe mode.从字面上来理解：“Name nodeis in safe mode.”hadoop的namenod...
2013-03-16 14:50:00
150
Hadoop安全模式的理解
安全模式异常：在hadoop的实践过程中，系统启动的时候去修改和删除文件有时候会报以下错误：org.apache.hadoop.dfs.SafeModeException: Cannotdelete/user/hadoop/input. Name node is in safe mode.从字面上来理解：“Name nodeis in safe mode.”hadoop的namenod...
2013-03-16 14:50:00
66
转载 布隆过滤器 (Bloom Filter) 详解
布隆过滤器 (Bloom Filter)是由Burton Howard Bloom于1970年提出，它是一种space efficient的概率型数据结构，用于判断一个元素是否在集合中。在垃圾邮件过滤的黑白名单方法、爬虫(Crawler)的网址判重模块中等等经常被用到。哈希表也能用于判断元素是否在集合中，但是布隆过滤器只需要哈希表的1/8或1/4的空间复杂度就能完成同样的问题。布隆过滤器可以插入元
2013-03-12 15:31:48
547
布隆过滤器 (Bloom Filter) 详解
布隆过滤器 (Bloom Filter)是由Burton Howard Bloom于1970年提出，它是一种space efficient的概率型数据结构，用于判断一个元素是否在集合中。在垃圾邮件过滤的黑白名单方法、爬虫(Crawler)的网址判重模块中等等经常被用到。哈希表也能用于判断元素是否在集合中，但是布隆过滤器只需要哈希表的1/8或1/4的空间复杂度就能完成同样的问题。布隆过滤器可以插...
2013-03-12 15:31:00
81
布隆过滤器 (Bloom Filter) 详解
布隆过滤器 (Bloom Filter)是由Burton Howard Bloom于1970年提出，它是一种space efficient的概率型数据结构，用于判断一个元素是否在集合中。在垃圾邮件过滤的黑白名单方法、爬虫(Crawler)的网址判重模块中等等经常被用到。哈希表也能用于判断元素是否在集合中，但是布隆过滤器只需要哈希表的1/8或1/4的空间复杂度就能完成同样的问题。布隆过滤器可以插...
2013-03-12 15:31:00
49
转载 阿里妈妈反作弊系统（规则条款）
1： 私自改动代码判为无效。我们在广告代码中使用了加密技术，并已明确声明请不要改动代码，只能使用系统生成的代码。2：客户端禁止使用cookie的点击无效。明说了吧，您只要登陆过一次阿里妈妈，那这台电脑就会长期永远留下我们的活动cookie，站长的电脑每天只计一次有效点击。我们已经考虑了站长更换工作电脑的情况，我们会迁移cookie。3：广告代码与网站相关。将广告代码投放到申请范围之外的，点
2013-03-12 14:55:31
1665
阿里妈妈反系统（规则条款）
1：私自改动代码判为无效。我们在广告代码中使用了加密技术，并已明确声明请不要改动代码，只能使用系统生成的代码。2：客户端禁止使用cookie的点击无效。明说了吧，您只要登陆过一次阿里妈妈，那这台电脑就会长期永远留下我们的活动cookie，站长的电脑每天只计一次有效点击。我们已经考虑了站长更换工作电脑的情况，我们会迁移cookie。3：广告代码与网站相关。将广告代码投放到申请范围之外的，点击...
2013-03-12 14:55:00
164
阿里妈妈反系统（规则条款）
1：私自改动代码判为无效。我们在广告代码中使用了加密技术，并已明确声明请不要改动代码，只能使用系统生成的代码。2：客户端禁止使用cookie的点击无效。明说了吧，您只要登陆过一次阿里妈妈，那这台电脑就会长期永远留下我们的活动cookie，站长的电脑每天只计一次有效点击。我们已经考虑了站长更换工作电脑的情况，我们会迁移cookie。3：广告代码与网站相关。将广告代码投放到申请范围之外的，点击...
2013-03-12 14:55:00
65
转载 Hadoop 的 TotalOrderPartitioner
http://blog.oddfoo.net/2011/04/17/mapreduce-partition%E5%88%86%E6%9E%90-2/ Partition所处的位置Partition位置Partition主要作用就是将map的结果发送到相应的reduce。这就对partition有两个要求：1）均衡负载，尽量的将工作均匀的分配给不同的red
2013-03-08 17:51:27
800
Hadoop 的 TotalOrderPartitioner
http://blog.oddfoo.net/2011/04/17/mapreduce-partition%E5%88%86%E6%9E%90-2/Partition所处的位置Partition位置Partition主要作用就是将map的结果发送到相应的reduce。这就对partition有两个要求：1）均衡负载，尽量的将工作均匀的分配给不同的reduce。...
2013-03-08 17:51:00
86
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人