关闭

Mdrill项目在lucene的改进上的10点心得

word版本地址:https://github.com/alibaba/mdrill/blob/master/doc/Mdrill%E9%A1%B9%E7%9B%AE%E5%9C%A8lucene%E7%9A%84%E6%94%B9%E8%BF%9B%E4%B8%8A%E7%9A%8410%E7%82%B9%E5%BF%83%E5%BE%97.docx?raw=true    ...
阅读(3546) 评论(1)

基于mdrill的大数据分析

数据越来越多,传统的关系型数据库支撑不了,分布式数据仓库又非常贵。几十亿、几百亿、甚至几千亿的数据量,如何才能高效的分析? mdrill是由阿里妈妈开源的一套数据的软件,针对TB级数据量,能够仅用10台机器,达到秒级响应,数据能实时导入,可以对任意的维度进行组合与过滤。     mdrill作为数据在线分析处理软件,可以在几秒到几十秒的时间,分析百亿级别的任意组合维度的数据。...
阅读(7311) 评论(0)

adhoc-海量数据多维自助即席查询平台-mdrill项目开源啦

adhoc-海量数据多维自助即席查询平台-mdrill项目开源啦 1:mdrill是阿里妈妈-adhoc-海量数据多维自助即席查询平台下的一个子项目。 2:mdrill旨在帮助用户在几秒到几十秒的时间内,分析百亿级别的任意维度组合的数据。 3:mdrill是一个分布式的在线分析查询系统,基于hadoop,lucene,solr,jstorm等开源系统作为实现,基于SQL的查询语法。 mdrill是一个能够对大量数据进行分布式处理的软件框架。mdrill是快速的高性能的,他的底层因使用了索引、列式存储、以及...
阅读(2879) 评论(0)

.带索引的mapReduce

带索引的mapReduce         之前我们跑mapreduce,对某些维度进行统计,都是暴利方式的遍历,有些时候,我们仅仅想扫描原始数据的一部分,或者仅仅是其中的一列,这些数据可能仅仅是原始数据的十分之一,百分之一,那么暴利扫描太不可取了。         回想下我们之前使用数据库的场景,数据库在扫描的时候通常是利用一些索引, 而并非全表扫描,故mapReduce 程序也...
阅读(1148) 评论(0)

带索引的HIVE

hive的查询跟普通的hadoop mapreduce没有什么大的区别,都是对原始数据的暴力扫描,如果能够像数据库那样,使用索引,那么数据扫描的速度将会大幅度提升 上次在mapreduce上使用了索引,具体参见下面这个链接 http://user.qzone.qq.com/165162897/blog/1351432946 这次在这个基础上拓展到hive里(实际上也是一个特殊的inputfo...
阅读(4459) 评论(1)

不需要smtp服务器的邮件发送

工作中总用到需要发送邮件的情形,但是每次都需要一个smtp服务器来转发,他们仅仅是转发而已 为了一个简单的邮件还要弄个邮件服务器太麻烦了,Postfix不会装,sendmail也不熟悉。 而且如果公司的邮件服务器不稳定(别说你没碰到),总是能遇到邮件发送延迟,甚至丢失的情况 干嘛不自己伪造个协议,跳过通过smtp服务器这一层呢?而且可以模拟任何人给任何人发送邮件(虽然可以,但是鄙视发垃圾邮件...
阅读(6531) 评论(2)

星型结构数据一致性的问题(数据同步有可能冲突)

在改版的过程中遇到一个难题,运营要求用户在管理状态和浏览状态使用相同的URL地址,不能像原先使用不同的域名,这个问题对我们可真是一个难题,由于网站访问量比较大,浏览状态下不可能不用缓存,但却要在登陆状态下不使用缓存,所以只能从cookie来判断(同事用nginx做的分组),但要求时时的数据不能从分点直接查北京的库,不然相应慢不说还很消耗专线带宽,看老大的意识是把辅库从北京挪到各各分点,来减少专线带...
阅读(1771) 评论(0)

【转】怎样把XML+XSLT解释成最终的HTML

今天逛论坛无意中发现了这个贴子,说不上那天能用到这个,保留收藏了。原文楼主可能并不是想问这个问题,单我觉得有用,所以先收藏网友的一个回复,还没有调试。原帖地址http://topic.csdn.net/u/20080117/22/18060aaf-e809-4d77-b1e3-737874cc83b3.html?seed=846373532 string   myXmlString...
阅读(1283) 评论(0)

javascript跨域请求数据常见的几个变通的方法

跨域问题是由浏览器安全性限制而引起的,可以采取变通的方法解决。方法一,采用动态创建 而这个aspx可以返回一段JS数据,来回调调用页面中的一个JS方法  比如说  showmessage("返回成功"); 这样可以达到隐性提交的目的。(在跨域下可以实现JAX同样的效果)。但这种方法由于URL长度的限制,不能提交太大的数据,和不能进行POST请求,而且你还要又B域的输出控制权。方法二,直接把表单提交...
阅读(2647) 评论(0)

Berkeley DB for C(2)

Berkeley DB for C(2)DB中存储结构体       如果结构体中不包含指针,则你可以跟存储普通类型的数据一样,安全的使用。       存储不带指针的结构体示例:#include #include typedef struct my_struct {int id;char familiar_name[MAXLINE]; /* MAXLINE是一个常...
阅读(1520) 评论(0)

.net datagrid.datasource绑定不知道算不是算BUG

最近在做周扒皮的时候,在数据初始话的时候通过datagrid.datasource绑定了一次数据,当侦听到视频文件的时候,又通过datagrid.datasource重新绑定偶尔就会出现列 不属于表 Table的错误 开始的时候还以为是多线程之间的锁让我弄错了,害得我花了一个星期的时间换了各种锁,加了各种try cache,结果都不行 郁闷啊 。在网上看到一位网友的解决办法,加上后问题解决,不过很...
阅读(1347) 评论(0)

Berkeley DB for C 使用手册

Berkeley DB for C 简单介绍Brekeley DB打开databases在开打数据库前必须通过db_create()方法来初始化一个db句柄, 然后你可以通过他的open方法来打开一个数据库 示例:#include   //必要的包含文件...DB *dbp; /* 数据库结构句柄 */u_int32_t flags; /* 数据库打开标志 ...
阅读(8929) 评论(0)

关于c#实现影音嗅探的问题

这几天参考网上的RawSocket初步些了个,但发现丢包现象严重,效果很不理想很多时候都嗅探不出来后来借助httpwatch的API接口页很理想,大家有什么关于.net上的实现思虑么? vb.net或c#都行  下面这个基类是我仿照网上些的using System;using System.Collections.Generic;using System.Text;using System.Run...
阅读(3589) 评论(2)

转载--memcached缓存服务器的安装

一、memcached 的编译安装 准备: Memcached下载地址:http://www.danga.com/memcached/ libevent下载地址: http://monkey.org/~provos/libevent/ 安装步骤: 1. 下载libevent & memcached 源码包      libevent-1.3.tar.gz      memcached-1.2...
阅读(1882) 评论(0)

学会say no 六大主因让职场人士甘做加班奴

加班虽然已经很普遍了,但并非一定要成为你职业生涯的一部分。别把工作一拖再拖,也不要把来不及完成的工作寄希望于在加班时间内完成。要求自己在有限的时间内高效率地完成工作,不用再打疲劳战了。假如你也是个“加班狂”,不妨想一想,我加班的目的是什么,每天加班1小时,有没有让你的职业生涯向前迈进一小步呢?如果把这些时间用在充电、锻炼或是其他的兼职上,我们会不会赢取更多收获?更多机遇?       在谈职业规划...
阅读(2158) 评论(2)

Cache替换方案

Cache替换方案1.         近期最少使用(LRU)算法  LRU(Least Recentlv Used)算法是将一组中近期最少使用的块替换出去。为此,每块也设置一个计数器,但每命中一次,命中块的计数器清0,而组内其他块的计数器加1。当需要替换时,比较一组内所有块的计数器的值,将计数值最大的块替换掉。这种算法保护了刚拷贝到cache中的新数据块,符合Cache的工作...
阅读(2629) 评论(0)

Berkeley DB Java Edition 使用手册

Berkeley DB Java Edition使用说明    头一次看英文文档,翻译的不是十分准确,而且还有错误,还请大家多多谅解。一、             简介       Berkeley DB Java Edition (JE)是一个完全用JAVA写的,它适合于管理海量的,简单的数据。l         能够高效率的处理1到1百万条记录,制约JE数据库的往往是硬件系...
阅读(16033) 评论(7)

Berkeley DB Java Edition 基本示例

 package test;import com.sleepycat.je.*;import com.sleepycat.bind.EntryBinding;import com.sleepycat.bind.tuple.TupleBinding;import com.sleepycat.bind.serial.StoredClassCatalog;import com...
阅读(4192) 评论(3)
38条 共2页首页 上一页 1 2
    个人资料
    • 访问:95585次
    • 积分:1338
    • 等级:
    • 排名:千里之外
    • 原创:37篇
    • 转载:1篇
    • 译文:0篇
    • 评论:20条
    文章分类
    最新评论