大数据和空间限制的问题!

原创 2016年08月30日 16:31:40

1.

打击灌水和欺诈信息的发布,58上的帖子从到展示要经历重重检测。检测规则一共有50个,一条帖子可能会同时被同时被多个规则拦截,也可能不被任何规则拦截。现有一个日志文件,每一行都记录着一个帖子ID和若干拦截该帖子的规则ID,日志文件一共9999995行。帖子ID取值为[1,9999999]上的某个整数,且无重复。帖子ID在日志文件中是无序的。

问题:
(1).如何计算任意两个规则同时拦截的帖子数量?要求只扫描一遍日志文件。采用尽可能少的存储空间

(2).假设一个帖子ID需要用4个字节来存储,请使用2M的内存空间丢失的那4个帖子ID找出来,你的算法扫描了几遍日志文件?


解:


(1).


(2).哈希表需要占用很多空间,所以使用bit map的方式来表示数出现的情况

申请一个长度为10000000的bit类型的数组bitArr,bitArr上的每个位置只可以表示0或1的状态

8个bit为1B,,长度为10000000的bit类型数据占用1.25MB,有2M内存空间,只扫描1遍



2.

数组A由1000W个随机正整数(int)组成,设计算法,给定整数n,


在A中找出符合如下等式:n=a+b的a和b,说明算法思路以及时间复杂度是多少?
将数组排序,时间复杂度n*lg(n)
在从头开始 假设第i个位置时arr[i]  那就在 i 到 1000万之间找 n - arr[i] 二分查找的效率是lg(n)  由于当arr[i] > n/2 时就不用找了
所以最终效率 不到 2*n*lg(n)


3.
数组A由1000W个随机正整数(int)组成,设计算法,给定整数n,在A中找出符合如下等式:n=a+b的a和b,说明算法思路以及时间复杂度是多少?

解析:

将数组排序,时间复杂度n*lg(n)
在从头开始 假设第i个位置时arr[i]  那就在 i 到 1000万之间找 n - arr[i] 二分查找的效率是lg(n)  由于当arr[i] > n/2 时就不用找了
所以最终效率 不到 2*n*lg(n)


4.文件f.txt中包含5万行信息,每一行都有一个有8位数组成的唯一ID,现要求将这些信息按照ID从大到小排序后,再存储会f.txt。

import java.util.*;
import java.io.*;
public class SortID {
	public static void main(String[] args){
		
		BitSet bitset=new BitSet(10);//8位的id这里改成100000000
		
		String temp=null;
		try{
			String path="C:\\Users\\dell1\\Documents\\study\\1.txt";
			File file=new File(path);
			if(!file.exists())
				throw new FileNotFoundException();
			//另一种读取方式
			FileInputStream fis=new FileInputStream(file);
			
			BufferedReader br=new BufferedReader(new InputStreamReader(fis));
			StringBuffer sb=new StringBuffer();
			while((temp=br.readLine())!=null){
				int id=Integer.valueOf(temp);
				bitset.set(id);
			}
			//遍历bitset输出所有id
			for(int i=10;i>=0;i--){
				if(bitset.get(i)){
					sb.append(Integer.toString(i)+"\n");
				}
			}
			FileOutputStream out=new FileOutputStream(file,false);
			out.write(sb.toString().getBytes("utf-8"));
			out.close();
			System.out.println("成功排序");	
		}catch(IOException e){
			System.out.println(e.getStackTrace());
		}
		
	}
}














大数据和空间限制问题

(一).只用2GB内存在20亿个整数中找到出现次数最多的数 【题目】有一个包含20亿个全是32位整数的大文件,在其中找到出现次数最多的数。 【分析】通过哈希表对20亿个整数进行词频统计。哈希...

Dubbo限制大数据传输的解决方案

当dubbo服务提供层向消费层传输大数据容量的对象时,会受到Dubbo的限制,报类似如下异常: com.alibaba.dubbo.remoting.transport.AbstractCode...

10亿个IP地址排序、10亿年龄排序

(一). 注意:IPV4 的IP地址2^32位约42亿个,占空间4G (二).哈希函数 1.哈希函数即散列函数 哈希函数的输入域可以是非常大的范围,但是输出域是固定范围。 2.哈希函数的性质...

常见逻辑问题java代码实现

题目:有一位厨师要从盛12斤油(a桶)的桶中倒出6斤油来,可是手边只有盛8斤油(b桶)和盛5斤油(c桶)的两个桶,问如何操作才能将6斤取出来呢? 思路:思路其实很容易理解,就是三个桶之间互相倒油,直...

大数据和空间限制问题专题(一)

大数据和空间限制问题专题(一)

大数据和空间限制问题专题(二)

大数据和空间限制问题专题(二)

【表空间支持的最大数据文件大小的算法】【数据库限制】【数据文件文件头保留数据块数】

本地管理表空间中设置不同大小的db_block_size时数据文件头保留空间对应如下:--?? db_block_size=2KB,文件头保留32个数据块,即64KB。 db_block_size...

大数据实验增加,导致虚拟机的根目录/ 磁盘空间不够,会带来各种问题, 使用gpated工具解决!!

使用gpated给linux根目录增加空间 原来的空间: [root@master ~]#  df -k Filesystem           1K-blocks      Used Ava...

Hadoop与空间大数据挖掘分析 公开课

  • 2014年08月26日 11:33
  • 26.88MB
  • 下载

一道面试题(大数据量 内存限制)

问题:3000w数据的表,取某项字段前50项数据 ,内存2g方案:一个数据文件,有3000W行,每行有一个id号,文件内容无任何排序。现在让你把id前 TOP 位取出来, TOP = 50.要求:你的...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:大数据和空间限制的问题!
举报原因:
原因补充:

(最多只允许输入30个字)