- 博客(20)
- 资源 (6)
- 收藏
- 关注
转载 BloomFilter 简介及在 Hadoop reduce side join 中的应用
BloomFilter 简介及在 Hadoop reduce side join 中的应用247人阅读 评论(0) 收藏 举报1、BloomFilter能解决什么问题? 以少量的内存空间判断一个元素是否属于这个集合, 代价是有一定的错误率 2、工作原理 1. 初始化一个数组, 所有位标为0, A={x1, x2, x3,…,xm} (x1,
2014-06-29 09:50:38 744
转载 Hadoop MapReduce进阶 使用分布式缓存进行replicated join
概念:reduce-side join技术是灵活的,但是有时候它仍然会变得效率极低。由于join直到reduce()阶段才会开始,我们将会在网络中传递shuffle所有数据,而在大多数情况下,我们会在join阶段丢掉大多数传递的数据。因此我们期望能够在map阶段完成整个join操作。主要技术难点:在map阶段完成join的主要困难就是mapper可能需要与一个它自己不能获得的数据进
2014-06-28 22:45:22 517
转载 Python安装
1: Python 在Widow上 安装:http://blog.csdn.net/joyhen/article/details/87755592: Python 在Linux上 安装:
2014-06-24 23:52:04 698
转载 Mapreduce常见数据挖掘算法集收集
Mapreduce常见数据挖掘算法集收集1. Map/Reduce方式实现矩阵相乘http://www.norstad.org/matrix-multiply/index.html2. Map/Reduce方式实现PageRank算法http://blog.ring.idv.tw/comment.ser?i=369http://c
2014-06-13 12:48:13 673
转载 oracle存储过程实例
oracle存储过程实例http://blog.csdn.net/x125858805/article/details/7581806
2014-06-10 11:54:35 550
转载 SQLServer 表值函数与标量值函数 定义方式与调用区别
SQLServer 表值函数与标量值函数定义方式与调用区别SQLServer 表值函数与标量值函数定义方式与调用区别 写sql存储过程经常需要调用一些函数来使处理过程更加合理,也可以使函数复用性更强,不过在写sql函数的时候可能会发现,有些函数是在表值函数下写的有些是在标量值下写的,区别是表值函数只能返回一个表,标量值函数可以返回基类型。标量值函数创建:
2014-06-10 11:21:00 1504
转载 SQL Server 存储过程--传递数组、使用循环
Sqlserver存储过程—----传递数组、使用循环 Sqlserver 存储过程 数组 循环背景:前一段时间做过一个公司内部的员工项目管理系统,其间有个sqlserver存储过程是要从excel文件中读取员工的项目信息,并从db中找出相关的的其他信息插入到一张员工表中。这里涉及两个难点:怎么向存储过程传递多条记录?在存储过程中怎么对这些记录一条条循环处理。解决方
2014-06-09 17:33:47 5173
转载 Hive远程模式
Hive远程模式1下载并安装MySQL并启动服务(我的MySQL安装在宿主机Windows下)2在MySQL中建立数据库用于存放Hive元数据,并为为数据库建立账号,并赋予需要的权限3下载并解压Hive4为Hive配置环境变量5配置hive-config.sh文件6配置hive-site.xml文件,并配置MySQL连接信息7把mysql
2014-06-08 10:02:57 939
转载 HBase导入大数据三大方式
HBase导入大数据三大方式之(一)——hive类SQL语句方式 HBase导入大数据三大方式之(二)——importtsv +completebulkload 方式
2014-06-06 19:04:54 701
转载 hive 整合 hbase
hive 整合 hbasehttp://blog.csdn.net/kky2010_110/article/details/8332320
2014-06-06 18:57:08 560
转载 基于Solr的HBase多条件查询测试
基于Solr的HBase多条件查询测试http://blog.csdn.net/kky2010_110/article/details/12970029
2014-06-06 18:55:26 580
原创 SQL Server自定义函数
(转)SQL Server自定义函数自定义函数用户定义自定义函数像内置函数一样返回标量值,也可以将结果集用表格变量返回用户自定义函数的类型:标量函数:返回一个标量值表格值函数{内联表格值函数、多表格值函数}:返回行集(即返回多个值)1、标量函数Create function 函数名(参数)Returns 返回值数据类型[with {Encryption
2014-06-04 19:50:57 798
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人