40w随机数据找出其中次数出现最多的那个数(类似于在10亿百度ip中找出访问次数最多的那个ip)

最新推荐文章于 2021-05-26 21:03:42 发布
最新推荐文章于 2021-05-26 21:03:42 发布
阅读量712 收藏
点赞数
分类专栏： C++
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yantingtao_sunny/article/details/51545865
版权 

其实这个问题本身是寻找Top ip,但是找不到那么多的ip,我用excl自己做了一个40w随机数
所以改成在40w中寻找出现次数最多的那个数和出现的次数



#include <iostream>
#include <stdio.h>
#include <string>
#include <map>
#include <time.h>
#define N 1000
using namespace std;

template<class T>
class list;

template<class T>
class hashtable;
//节点类
template<class T>
class  node
{
friend class list<T>;
friend class hashtable<T>;
template<class T1>
friend ostream& operator <<(ostream& out,node<T1>  tmp);

template<class T2>
friend ostream&  operator <<(ostream& out,list<T2> l1);
public:
	node(T _value)
	{
      value=_value;
      next=NULL;
	}
	bool operator ==(node<T> *  tmp)
	{
		return this->value==tmp->value;
	}
private:
	T value;
	node<T>* next;
};
template<class T>
ostream& operator <<(ostream& out,node<T>  tmp)
{
	 out<<tmp.value;
	 return out;
}

//链表类
template<class T>
class  list
{
template<class T1>
friend ostream&  operator <<(ostream& out,list<T1> l1);
public:
  /*========================================
  *函数名:list
  *函数参数: tmp head节点的初始值
  *函数作用:构造函数
  ===========================================*/
	list(node<T> * tmp=NULL)
	{
		head=tmp;
		curr=NULL;
	}
	/*========================================
  *函数名:push_back
  *函数参数: newnode 插入节点
  *函数作用:在链表中插入值
  ===========================================*/
	void  push_back(node<T> * newnode)
	{
        if(head==NULL)
        {
        	head=newnode;
        	curr=head;
        }
        else
        {
        	curr->next=newnode;
        	curr=newnode;
        }
        newnode=NULL;
	}
  /*========================================
  *函数名:list_delete
  *函数参数: value 删除的值
  *函数作用:删除在链表中所有值为value
  ===========================================*/
	void  list_delete(T value)
	{
      node<T>* tmp = head;
      curr = head->next;
      if (head->value == value)
      {
         head = curr;
         delete tmp;
         tmp = NULL;
      }
      else
      {
         while (curr != NULL)
         {
            if (curr->value == value)
            { 
              tmp->next = curr->next;
              delete curr;
              curr = NULL;
            } 
            else
            {
               tmp = curr;
            }
            curr = curr->next;
         }
      }
	}
  /*========================================
  *函数名:list_exists
  *函数参数: tmp 查询的节点
  *函数作用:查询某个节点在list中是否存在
  ===========================================*/
	bool list_exists(node<T> *tmp)
	{
	     bool isexists=false;
		 if(tmp==NULL)
		 {
		 	isexists=false;
		 }
		 if(tmp!=NULL)
		 {
            node<T>* t1=head;
            while(t1!=NULL)
            {
            	if(t1->value==tmp->value)
            	{
            		isexists=true;
            		break;
            	}
            	t1=t1->next;
            }
		 }
		 return isexists;
	}

  /*========================================
  *函数名:getValue
  *函数参数: index 需要获取的值的位置
  *函数作用:获取对应位置的值
  ===========================================*/
   const  T  getValue(int index)
        {
           int i = 0;
           string ptr = "-100";
           node<T>* tmp = NULL;
            tmp = head;
           while (i != index)
           {
              if (tmp == NULL)
              {
                 return ptr;
              }
              tmp = tmp->next;
              i++;
           }
             if (tmp != NULL)
           {
              return tmp->value;
           }
           else
           {
             return ptr;
           }
        }

private:
   node<T> *head;
   node<T> *curr;
};
template<class T>
ostream&  operator <<(ostream& out,list<T> l1)
{
    node<T> * t=l1.head;
    while(t!=NULL)
    {
    	out<<*t<<'\t';
    	t=t->next;
    }
    return out;
}

//hash表类
template<class T>
class hashtable
{
public:
    typedef int (*hash)(T value);
  /*========================================
  *函数名:hashtable
  *函数参数: _fptr hash函数
  *函数作用:构造函数
  ===========================================*/  
	hashtable(hash _fptr)
	{
		int i;
		for(i=0;i<N;i++)
		{
			table[i]=NULL;
		}
		fptr=_fptr;
	}
  /*========================================
  *函数名:hash_insert
  *函数参数: value 插入的值
  *函数作用:在hash表中插入值
  ===========================================*/ 
	void  hash_insert(T value)
	{
      int key=fptr(value);  
      node<T> *newnode= new node<T>(value);
      if(table[key]==NULL)
      { 
          table[key]=newnode;        
      }  

     list[key].push_back(newnode);
     
	}
  /*========================================
  *函数名:hash_find
  *函数参数: value 查找的值
  *函数作用:在hash表中查找值
  ===========================================*/ 	
	bool hash_find(T value)
	{
	   bool isfind=false;
       int key=fptr(value);              
       if(table[key]==NULL)
       {
          isfind=false;
       }
       else
       {
       	 node<T> *tmp=new node<T>(value);
       	 isfind=list[key].list_exists(tmp);
       }
       return isfind;
	}

  /*========================================
  *函数名:hash_isempty
  *函数参数: i 查询的key在hashtable 中
  *函数作用:判断hash表中对应的key值是否空
  ===========================================*/  
 bool hash_isempty(int i)
 {
 	if (table[i] == NULL)
 		return true;
 	return false;
 }
  /*========================================
  *函数名:hash_lead_in
  *函数参数: filename[]是文件名 index key值
  *函数作用:把对应的key中链表导入文件中
  ===========================================*/  
void hash_lead_in(char filename[],int index)
{
 FILE* rfp;
 char buf[20] = {'\0'};
 rfp = fopen(filename,"wt+");
 int i = 0;
 while (strcmp(list[index].getValue(i).c_str(),"-100") != 0)
 {
    bzero(buf,sizeof(buf));
    strcpy(buf,list[index].getValue(i).c_str());
    fwrite(buf,sizeof(char),strlen(buf),rfp);
    i++;
 }
 fclose(rfp);
}
private:
	node<T> * table[N];
	hash fptr;
	list<T> list[N];
};

//外置hash函数
int hash_fun(string value)
{
    int sum=0;
    int i;
    for(i=0;i<value.length();i++)
    {
       sum+=value[i];
    }
    return sum%N;
}
  /*========================================
  *函数名:DownloadDataToHash
  *函数参数: filename[]是文件名 hash1 hash表
  *函数作用:把大文件中数据导入hash中
  ===========================================*/  
void DownloadDataToHash(char filename[],hashtable<string>& hash1)
{
    FILE* rfp;
    rfp = fopen(filename,"r+");
    if (rfp == NULL)
    {
    	perror("open:");
    	exit(-1);
    }
   
    char buf[1024];
    char *find;
     bzero(buf,sizeof(buf));
    while (fgets(buf,1024,rfp))
    {     
     //  find = strchr(buf,'\n');
     //  if (find)
     //  {
    	// *find = '\0';
     //  }
     hash1.hash_insert(buf);
     bzero(buf,sizeof(buf));
    }
    fclose(rfp);
}
  /*=======================================================
  *函数名:DealData
  *函数参数: pstr[]存放所有值的下标 hash1 hash表
  *函数作用:处理hash表中的每个key 值对应的链表并导入小文件中
  =========================================================*/ 
void DealData(int pstr[],hashtable<string>& hash1)
{
   int i;
   int index = 0;
   char filename[10] = {'\0'};
   i = 288;
   for (i = 0;i < N;i++)
   {
   	 if (!hash1.hash_isempty(i))
   	 {
   	 	  //记录下i方便后面读取查找
        pstr[index] = i;
        index++;
        sprintf(filename,"a%d.dat",i);
        hash1.hash_lead_in(filename,i);
   	 }
   }   
}

  /*=======================================================
  *函数名:findMaxCount
  *函数参数: filename文件名 savestring 保存出现次数最多的数据
  *函数作用:处理每个小文件找出出现次数最多的数据
  =========================================================*/ 
int findMaxCount(char filename[],char savestring[])
{
    FILE* rfp;
    rfp = fopen(filename,"r+");
    if (rfp == NULL)
    {
      perror("open:");
      exit(-1);
    }
    map<string,int> map1;
    char buf[1024];
    char *find;
    bzero(buf,sizeof(buf));
    while (fgets(buf,1024,rfp))
    {     
      find = strchr(buf,'\n');
      if (find)
      {
      *find = '\0';
      }
     if (map1.find(buf) == map1.end())//map容器中没有该元素
     {
       map1[buf] = 1;
     }
     else
     {
       map1[buf] = map1[buf] + 1;
     }
     bzero(buf,sizeof(buf));
    }
     fclose(rfp);
     map<int,string> map_sort;
     map<string,int>::iterator it;
     for (it = map1.begin();it != map1.end();it++)
     {
       map_sort[it->second] = it->first;
     }
     map<int,string>::iterator point;
     point = map_sort.end();
     --point;
     bzero(savestring,sizeof(savestring));
     strcpy(savestring,(point->second).c_str());
     return point->first;
}

int main(int argc, char const *argv[])
{
	  int pstr[N] = {0};//初始化
    char filename[20] = {'\0'};
    char savestring[20] = {'\0'};
    char maxstring[20] = {'\0'};
    int maxcount = 0;
    int savecount = 0;
	  clock_t start = clock();//起始时间
    hashtable<string> hash1(hash_fun);
    DownloadDataToHash("40w随机数据.txt",hash1);
    DealData(pstr,hash1);
    int i = 0;
    for (i = 0; i < N; i++)
    {
      if (pstr[i] == 0)
      {
        break;
      }
      sprintf(filename,"a%d.dat",pstr[i]);
      savecount = findMaxCount(filename,savestring);
      if (maxcount <= savecount)
      {
         bzero(maxstring,sizeof(maxstring));
         strcpy(maxstring,savestring);
         maxcount = savecount;
      }
      bzero(filename,sizeof(filename));
    }
    cout<<"出现次数最多的数:"<<maxstring<<endl;
    cout<<"出现次数:"<<maxcount<<endl;
    clock_t end = clock();//结束时间
    double cost_time = (double)((end-start)/1000);
    cout<<"程序用时为:"<<showpoint<<cost_time/1000<<"秒"<<endl;
    system("rm -f *.dat");
	  return 0;
}
运行结果和时间

yantingtao_sunny
关注
专栏目录
超详细的 Python 方法、函数总结
Amo Xiang的博客
05-17 3万+
目录阅读前必读（不看会错过一个亿）一、字符串操作1.1 capitalize() 方法——字符串首字母转换为大写1.2 casefold() 方法——所有大写字符转换为小写1.3 center() 方法——字符串居中填充1.4 count() 方法——统计字符串出现次数1.5 encode() 方法——编码字符串1.6 decode() 方法——解码字符串1.7 endswith() 方法——是否以指定子字符串结尾、startswith() 方法1.8 find() 方法——字符串首次出现的索引位置(rfi
海量数据处理面试题与Bit-map详解
wenyusuran的专栏
07-07 2455
同时，程序员编程艺术系列将重新开始创作，第十一章以后的部分题目来源将取自下文中的17道海量数据处理的面试题。因为，我们觉得，下文的每一道面试题都值得重新思考，重新深究与学习。再者，编程艺术系列的前十章也是这么来的。若您有任何问题或建议，欢迎不吝指正。谢谢。 第一部分、十五道海量数据处理面试题 1. 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b
一款类似于sniffer的ip数据报分析软件
06-28
ip数据报分析软件，一个很小巧的类似于Sniffer的软件,方便地察看数据报的内容，方便网络编程、调试。
海量数据处理 - 10亿个数中找出最大的10000个数（top K问题）
热门推荐
yofer张耀琦的专栏
08-16 11万+
前两天面试3面学长问我的这个问题（想说TEG的3个面试学长都是好和蔼，希望能完成最后一面，各方面原因造成我无比想去鹅场的心已经按捺不住了），这个问题还是建立最小堆比较好一些。         先拿10000个数建堆，然后一次添加剩余元素，如果大于堆顶的数（10000中最小的），将这个数替换堆顶，并调整结构使之仍然是一个最小堆，这样，遍历完后，堆中的10000个数就是所需的最大的10000个。建堆
求20个0~100之间随机数中出现次数最多的随机数以及出现次数
王静静的博客
02-26 1155
第一种方法：int[] nums=new int[20]; for(int i=0;i&lt;nums.length;i++){ nums[i]=(int) (Math.random()*100); System.out.print(nums[i]+" "); } int count=0; int []counts=new int[nums.length]; for(int i=...
一个类似纯真IP数据库的存储和读取程序
Chelin Tsien的专栏
05-22 752
一个类似纯真IP数据库的存储和读取程序  ,删除了国外的IP数据,国内只到省市一级 如:192.168.1.2  ,192.168.2.155 福建省 厦门市  writeerror_reporting(E_ALL);set_time_limit(0); //设置脚本运行时间,参数0为无限时$link = mysql_connect(localhost,root,1);my
从十亿数据中找出出现最多的数以及出现次数
苏湘的专栏
10-13 8097
package org.example.bigdata; import java.util.Collections; import java.util.HashMap; import java.util.LinkedList; import java.util.List; import java.util.Map; public class TopTimes { public static
大数据面试题
xgc阳光的博客
09-10 442
1、海量日志数据，提取出某日访问百度次数最多的那个IP。 　　此题，在我之前的一篇文章算法里头有所提到，当时给出的方案是：IP的数目还是有限的，最多2^32个，所以可以考虑使用hash将ip直接存入内存，然后进行统计。 　　再详细介绍下此方案：首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1
【进大厂必学】3W字180张图学习Linux基础总结
L的存在的博客
05-26 4426
就不多说这段时间干啥去了吧，期间和很多的同学聊了天，有的童鞋已经开始工作，聊了聊工作上的事儿。有的是今年即将毕业的童鞋，有着自己的小目标，有的想尝试互联网，所以现在基本上都快进行二轮的复习了，有的同学备战公务员，凭着年轻这股劲儿向往自己理想的生活状态，无论怎么样，长路漫漫，走一步，算一步，每一步都算数。 今天分享的这篇文章是 Linux 相关的基础知识，深一点的内容基本上没有，不过对于刚需小伙伴来说，也就够了，有时间的话，最好按照这些命令去试一试，敲一敲，这样记忆更加深刻。 老规矩，先看目录，文章比较长，建
数据分析师面试题目_数据分析师常见的10道面试题解答
weixin_42639633的博客
12-29 3491
1、海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP(可以采用hash_map进行频率统计，然后再找出频率最大的几个)及相应的频率。然后再在这1000个最大的IP中，...
在100G文件中找出出现次数最多的100个IP
不舍驽马
07-18 2万+
昨天面阿里最后栽在一道很常见的海量数据处理上了，也怪之前没专门花时间准备这个问题。今天参考了July的博客，又反思了下自己面试时错误的思路，重新整理为下面的解答过程。 先上July的博客对类似问题的解答思路： 搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255字节。假设目前有一千万个记录（这些查询串的重复度比较高，虽然总数是1千万，但如果除去重
找到文件中出现次数最多的10个ip
a13602955218的博客
04-14 1237
方法1 awk {count[$1]++} END{for(i in count) print(count[i],i);} file_name | sort -nr | head -n 10 方法2 sort filename | uniq -c | sort -nr | head -n 10
ip存储数据类型
漫
11-29 1555
$ip = '255.255.255.255'; $ip = '24.23.24.253'; //看看是否为一个合法的ip function ip($ip_address) { $ip = explode('.', $ip_address); foreach ($ip as $v) { if ($v > 255) { return FALSE; } } return TRUE
CCF认证 201312-1：出现次数最多的数（C++）
咸鱼4号
03-07 583
#include<iostream> #include<cstdio> #include<cstring> #include<algorithm> #include<cmath> using namespace std; const int N=10000; int main() { int a[N]; int i,n,num1; ...
【查找】【bitset】从十亿个IP地址的记录中，找出一个没有被记录的IP
bupt8846的专栏
01-14 1412
题目：EPI  11.15 2^30约等于10亿，2^16 字节=1Mbyte. 关于bitset类的介绍，见这里。
[面试题]海量数据处理-从10亿个数中找频率最高的1000个数
Zsigner的博客
10-12 1317
方法一：分治思想 通常比较好的方案是分治+Trie树/hash+小顶堆（就是上面提到的最小堆），即先将数据集按照Hash方法分解成多个小数据集，然后使用Trie树或者Hash统计每个小数据集中的query词频，之后用小顶堆求出每个数据集中出现频率最高的前K个数，最后在所有top K中求出最终的top K。 方法二：hadoop的map,reduce top K问题很适合采用MapReduce...
10亿条数据找出最大的1000个数
chenning2015的博客
08-20 2452
方法1：全部排序（适合大内存） 先利用快拍全部排序，在提取最大的1000个数。单机+单核+足够大内存复杂度O(nlogn)。 方法2：局部淘汰法 先排序个10000个数据maxs数组，然后之后的数据和最小的相比较，大于最小的说明之前的最小值不是最大的10000个数。此时的时间复杂度为O（n+m...
海量数据处理
gukesdo的专栏
05-16 3115
海量数据处理 http://blog.csdn.net/v_JULY_v/article/category/1106578 http://blog.csdn.net/v_july_v/article/details/7382693# http://blog.csdn.net/v_july_v/article/details/6685962 处理海量数据时候常用的方法，因为在处理海量数据的时
从一亿个ip找出出现次数最多的IP(分治法)
阳光心态，健康人生的博客
05-21 6814
/* 1,hash散列 2,找到每个块出现次数最多的(默认出现均匀)—–&gt;可以用字典树 3,在每个块出现最多的数据中挑选出最大的为结果 */ 问题一： 怎么在海量数据中找出重复次数最多的一个 算法思想： 方案1：先做hash，然后求模映射为小文件，求出每个小文件中重复次数最多的一个，并记录重复次数。 然后找出上一步求出的数据中...
请在1-80的数字中随机选取20个数，经过多次计算，给出出现次数最多的10个数并排序
最新发布
06-07
好的，我可以随机生成20个1-80之间的数字，并通过多次模拟计算得出出现次数最多的10个数并排序。这里是一个可能的结果： 1. 12 出现次数: 7 2. 25 出现次数: 6 3. 33 出现次数: 6 4. 42 出现次数: 6 5. 52 出现次数...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值