大数据
文章平均质量分 62
天下一般
喜欢运动的猿
展开
-
卷积神经网络<一>keras创建多图输入CNN
keras创建神经网络。多图输入的神经网络原创 2022-11-20 21:24:54 · 1664 阅读 · 0 评论 -
数据分析实战<一>脑电(EEG)分析
脑电EEG原创 2022-10-12 01:57:01 · 6708 阅读 · 21 评论 -
大数据算法<一>:hash函数分流 +文件建堆实现
今天看左神讲的这个题目首先考虑如何计数,也就是每一个url出现了多少次呢?使用布隆过滤。(还没学)使用hash函数进行分流,将相同的hash值取模的url放到同一个文件中。每一个url对应一个字符串hash。这个字符串hash对一个数取模那么这样同一种url就会进入一个文件中去。第二个问题,统计前100:先把100亿条数据使用hash函数进行分流,划分成不同文件。然后对于每一个文件建堆:进行一个hashMap的统计,url作为key, 词频作为value。按照value原创 2022-05-07 18:47:34 · 908 阅读 · 0 评论 -
常见的大数据项目
大数据项目最重要的两个特点是数据量大,实时性要求强,这也是与小数据和传统数据处理方式的最重要的区别。大数据领域的主打项目,如下所示:大数据领域的项目,主要分成以下几个部分数据的整合,也就是数据的输入和存储。数据的处理,包括流的处理以及专业的大数据处理,离线和实时处理,可视化处理等。数据的快速查询,ETL是典型。数据集群提供服务,也就是集成上面一种或者多种,给用户提供服务。说到底,也是计算机的设计思想,I/0,存储,处理。只不过数据量变大之后,原有的技术已经不能够快速、实时的处理。所.原创 2022-04-13 09:00:34 · 10403 阅读 · 0 评论