lfruc-CSDN博客

转载海量数据处理

大数据量的问题是很多面试笔试中经常出现的问题，比如baidu google 腾讯这样的一些涉及到海量数据的公司经常会问到。下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。

2011-10-22 19:40:30 193

原创代码测试

#include<stdio.h> #include<stdlib.h> #include<unistd.h> #include<pthread.h> typedef struct ct_sum { int sum; pthread_mutex_t lock; }ct_sum;

2011-05-28 11:00:00 297

原创 test

#include int main(void){ char c; while ( (c = getc(stdin)) != EOF) { if (putc(c,stdout) == EOF) { fprintf(stderr,"output error/n"); exit(1); } } exit(0);}

2011-03-19 10:14:00 257

翻译 Incorporating contextual information in recommender systems using a multidimensional approach

Introduction 许多应用不止应考虑用户和物品，也应该包含上下文信息。例，个性化的内容推荐系统，决定哪些内容是需要被推荐给用户，何时推荐给用户是十分重要的。更特殊的，在工作日，一个使用者早上登录时或许喜欢读事件新闻，晚上喜欢读故事报告，在休息日喜欢读电影评论和购物。另一例，智能购物车利用无线定位技术为消费者提供实时的推荐，需要考虑的信息不仅是商品和消费者的信息，还有诸如购物时间，商店，谁陪同消费，购物车中的商品，商品在商店的位置等上下文信息。另一例，一个推荐系统或许推荐用户不同的电影一

2010-12-21 21:22:00 645

原创 MapReduce and Parallel DBMSs Friends or Foes

MR架构更像一个ETL（extract-transform-load提取-传输-装载）系统，它可以即时的快速地装载处理大规模数据，所以说MR是并行数据库的补充。由A Comparison of Approaches to Large-Scale Data Analysis的benchmark可得一条结论：DBMSs效率要优于MR，但是数据装载开销长于MR。并行数据库系统：应用技术：关系表的水平分割和SQL查询的分割执行水平分割：将表中的行分布到集群中的各个节点上以便并行处理大多

2010-12-21 21:20:00 700 1

转载 C#借助API实现黑盒自动化测试工具的编写

本文和大家分享一下C#借助API实现黑盒自动化测试工具的编写，嗯，是篇不错的文章，一起来学习下。本文摘要： 1：一个简单的例子 1.1：EnumChildWindows介绍 1.2：主要源码 2：难点：如何获取指定的控件句柄 2.1：使用SPY++ 2.2：获取控件位置 2.3：获取控件ID 1：一个简单的例子在日常编码过程中，我们常常会进行自动化测试。这里的自动化测试不是指单元测试，而是模拟人工输入来进行快速的、高并发的

2010-12-21 21:15:00 450

翻译 LSB-Tree

应用：高维空间的最近邻居搜索，比如在协同过滤系统中找到与你最相似的用户等应用。从数据库的角度，好的解决方案应该有如下两个特征： 1）很容易和关系型数据库兼容； 2）查询开销随着数据集的增大应该线性的增长，而与数据和查询分布无关； LSH(Locality sensitive hashing,局部敏感哈希算法）是满足两个特征的经典方法。但是它的实现或是需要昂贵的空间和查询开销，或是丧失对查询结果质量的理论保证。所以香港中文大学的陶宇飞等人提出了LSB-Tree算法，提供快速，准确的关系数据库上的高维

2010-12-13 21:56:00 2130

cloudsim-1.0b

日，澳大利亚墨尔本大学的网格实验室和Gridbus项目宣布推出云计算仿真软件，称为CloudSim。它是在离散事件模拟包SimJava上开发的函数库，可在Windows和Linux系统上跨平台运行，CloudSim继承了GridSim的编程模型，支持云计算的研究和开发，并提供了以下新的特点： (1)支持大型云计算的基础设施的建模与仿真；(2)一个自足的支持数据中心、服务代理人、调度和分配策略的平台。其中CloudSim 独特功能有：一是提供虚拟化引擎，旨在数据中心节点上帮助建立和管理多重的、独立的、协同的的虚拟化服务；二是在对虚拟化服务分配处理核心时能够在时间共享和空间共享之间灵活切换。CloudSim平台有助于加快云计算的算法、方法和规范的发展。CloudSim的组件工具均为开源的。CloudSim的软件结构框架和体系结构组件包括SimJava、GridSim、CloudSim、UserCode四个层次。

2010-04-01

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

lfruc的专栏