海量数据处理--简易版

最新推荐文章于 2024-06-12 09:48:06 发布
最新推荐文章于 2024-06-12 09:48:06 发布
阅读量395 收藏
点赞数
分类专栏： 在大学-找工作
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013599826/article/details/45419307
版权

//2015年5月1日

一、分治法

map reduce（注意mapreduce要实现全排序的难点）

分治法注意点:你分的是否有规律

1.你用hash分，则不同部分间不可能有相同的数据


二、int型与string型数据

前者 bitmap

后者 trie tree


三、top N

分治法则每个map中取top N，最后在reduce中合并为一个Top N

或者堆排序，K个元素的最大堆


四、近似算法

只会考布隆过滤器，判重，求交集

王凯2012
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数仓(五)：数据建模--ER模型/维度建模，概念模型/逻辑模型/ 物理模型
.
04-22 1万+
一、数仓建模的目标 访问性能：能够快速查询所需的数据，减少数据I/O。 数据成本：减少不必要的数据冗余，实现计算结果数据复用，降低大数据系统中的存储成本和计算成本。 使用效率：改善用户应用体验，提高使用数据的效率。 数据质量：改善数据统计口径的不一致性，减少数据计算错误的可能性，提供高质量的、一致的数据访问平台。 所以，大数据的数仓建模需要通过建模的方法更好的组织、存储数据，以便在性能、成本、效率和数据质量之间找到最佳平衡点。 二、关系模式范式 关系型数据库设计时，遵照一定的规范要求，目的在于降低.
十五分钟快速入门数据分析-机器学习
liujiaqing2538的博客
02-08 1556
用通俗的话讲解数据分析师为啥要学机器学习与深度学习
数据湖理念简易笔记
m0_58873085的博客
06-16 191
快速从0到1简单了解数据湖以及相关应用。
大数据处理 — mapreduce的简易见解
阿亮的博客
03-04 6837
大数据处理  — mapreduce的简易见解MapReduce是一种编程模型，用于大规模数据集的并行运算. 概念 Map(映射)和 Reduce(归约), 是他们的主要思想,它极大方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上. 当前的软件实现是指定一个Map(映射)函数，用来把一组键值对(Mapper的输入键值)映射成一组新的键值对(Mapper的输出键值)，指定并...
android安卓源码海量项目合集打包-1
热门推荐
chenhao0568的专栏
06-11 13万+
下载地址 最后更新共计113个分类5177套源码29.2 GB。 卷 新加卷 的文件夹 PATH 列表 卷序列号为 00000200 5E7A:7F30 F:. ├─前台界面 │ ├─3D标签云卡片热门 │ │ Android TagCloudView云标签的灵活运用.rar │ │ Android 实现 标签 拖动 改变位置.rar │ │ android 流式布局和热门标签.zip │ │ ...
底层原理计划--Java连环问之美人计
越努力越幸运~~ Java领域从业者；CSDN新兴创新博主；Java领域优质创作者；书写奋斗者故事;欢迎交流学习进步；
03-14 998
Rocketmq了解why1、 解耦：以前那些A服务调用BCDEF服务，万一一个服务挂了怎么办？要不要重发？解决耦合性2、 异步：有些类型的报告生成时间太长了，让用户一直卡着在不太好吧。异步后，BCDEF自己去执行写库的时间，消息队列中间件自己本身执行快。3、 削峰：节假日退出活动，用户访问量增多，如果说系统一秒钟可以处理500请求，这一秒超过500请求怎么办，mq让系统平缓处理突然增加的请求。用时间换空间。让用户请求过来，我们消费者在根据先进先出原则依次消费消息。
推荐项目：goGFS - Golang实现的Google文件系统简易版
最新发布
gitblog_00089的博客
06-12 308
推荐项目：goGFS - Golang实现的Google文件系统简易版 goGFSA simple implementation of the Google File System in golang项目地址:https://gitcode.com/gh_mirrors/go/goGFS 1、项目介绍 goGFS 是一个用 Go 语言实现的 Google 文件系统的简单版本。设计灵感来源于经典的...
Cassandra在海量数据存储及大型项目案例介绍-part3
04-16 1391
国内大多数公司和开发者对Mongodb和Hbase推崇备至，这是因为MongoDB进入了国内市场并建立了中文社区，而Hbase在阿里的大范围使用和推广下培养了一大批用户和公开材料。Cassandra最近两年在大数据公司Datastax的大力培育下获得长足发展，功能和性能均大幅提升，Datastax的估值也达数亿美元。 从Apache Cassandra首页来看，大概有超过1500个公司在使用Cassandra。其中除了facebook和twitter外还一些有代表性的公司列举如下： Instagr
RabbitMQ简易原理及使用
weixin_52383177的博客
09-28 1387
MQ全称 Message Queue（消息队列），是在消息的传输过程中保存消息的容器。多用于分布式系统之间进行通信。⚫ MQ，消息队列，存储消息的中间件⚫ 分布式系统通信两种方式：直接远程调用(RPC) 和 借助第三方完成间接通信⚫ 发送方称为生产者，接收方称为消费者AMQP，即 Advanced Message Queuing Protocol（高级消息队列协议），是一个网络协议，是应用层协议 的一个开放标准，为面向消息的中间件设计。
面向5G的新型多载波技术分析_技术_F-OFDM_5G介绍_5G_
10-01
首先，5G的主要应用场景涵盖了增强型移动宽带（eMBB）、海量机器类通信（mMTC）和超可靠低延迟通信（URLLC）。eMBB主要关注高数据速率的个人应用，如高清视频流和虚拟现实；mMTC则服务于大量物联网设备，要求低功耗...
《大数据处理平台》（宋杰著）读书笔记
weixin_50211648的博客
06-22 478
《大数据处理平台》一书从数据查询、数据分析和迭代计算平台三个方面对大数据处理平台的体系结构、基本原理、主流技术、国内外研究进展和成果进行了全面深入的阐述，最后还对大数据实时处理平台的架构和核心技术进行了展望。企业技术人员可参考本书选择合适的技术构建大数据处理平台或对现有平台进行优化；高校院所的科研人员可参考本书了解大数据管理的基本原理和现有研究成果；学生读者可通过学习本书全面了解大数据处理平台，本书也适用于对大数据技术拥有浓厚兴趣的读者。
马士兵教你如何面试（记录原话）
经管与EE复合奇葩专业的专栏
06-28 3954
//2015年5月2日 //重要的是展现自己！ 一、不要只回答对与错 应试教育害死人，拿到问题就在不停地想，到底是对还是错； 其实对错不是很重要，重要的是为什么对，为什么错。 这样回答的话就算你回答不出，也比交白卷的人好。 i+=i++结果如何 答：我项目写的比较多，一般不会这么写。我知道这是编译器，虚拟机方面的知识，给我点时间，我再去看一个XX书，应该能解决这个问题。 二
蚂蚁金服-数据研发-实习
经管与EE复合奇葩专业的专栏
05-07 3397
//2015年5月7日 今天圆桌会议敲定了部门，暑期就要去蚂蚁金服实习了。 分到蚂蚁金服的一共十个人，两个人导师不放，然后其中三个是本科生（三个都是被同一个主管招进来的，我想没有这位主管可能也就进一两个本科生吧）。 之前没有想到本科研究生比例这么悬殊，其实我倒是觉得更应该招本科生，实力可以等于潜力，但要拉到同一时间点来看，优秀本科生做个三年那还不完爆刚毕业的研究生，同样那些研究生在本科阶段可
常见面试之机器学习算法思想简单梳理（进阶版）
经管与EE复合奇葩专业的专栏
05-01 3301
//2015年5月1日 //参考http://blog.jobbole.com/74438/ 找工作时（IT行业），除了常见的软件开发以外，机器学习岗位也可以当作是一个选择，不少计算机方向的研究生都会接触这个，如果你的研究方向是机器学习/数据挖掘之类，且又对其非常感兴趣的话，可以考虑考虑该岗位，毕竟在机器智能没达到人类水平之前，机器学习可以作为一种重要手段，而随着科技的不断发展，相信这
数据库面试题（mysql，nosql）
经管与EE复合奇葩专业的专栏
05-01 3086
//2015年5月1日 一、索引 聚集索引、非聚集索引 前者B树叶子节点包含数据，后者叶子节点包含数据地址 聚集索引优点：提升IO密集负载性能；缺点：插入代价高 索引缺点：维护索引耗时；占用空间大 建索引须知：建在where，group by，排序等列上；不建在性别等少数类别的列上 建索引不一定加速：索引没有查询所需字段 一年后DB变慢了：答题方向是cpu、磁盘、内存 二
（最优解）阿里笔试题请设计一个算法，在满足质因数仅为3,5,7或其组合的数中，找出第K大的数。比如K=1,2,3时，分别应返回3,5,7。要求算法时间复杂度最优。
经管与EE复合奇葩专业的专栏
04-01 2268
//2015年4月1日 先贴出网上流传的解答：（非最优的） 我们可以用3个队列来维护这些数。第1个队列负责乘以3，第2个队列负责乘以5， 第3个队列负责乘以7。算法描述如下： 1. 初始化结果res=1和队列q3,q5,q7 2. 分别往q3,q5,q7插入1*3,1*5,1*7 3. 求出三个队列的队头元素中最小的那个x，更新结果res=x 4. 如果x在：     q3中，那么从
阿里实习一周小结
经管与EE复合奇葩专业的专栏
06-28 1848
//2015年6月28日 来蚂蚁金服实习一周了，特地做一个小结。 实习感受： 1.面的是数据研发，可以因为二面大boss(竟是大部门的主管，不知道是不是常态)手下不是数据部门，都是研发测试岗，因此成为实质上java研发一名。 2.关于上面再说明一下，因为支付宝一直在推全栈工程师(研发+测试)，所以其实不管你是什么研发岗，都是java研发的工作。测试也要慢慢转研发，c++的更惨根本没有通知其
豆瓣、腾讯、阿里、微软-2015年暑期实习生笔试经历
经管与EE复合奇葩专业的专栏
04-04 1765
//2015年4月4日 各种笔试算是告一段落了，是时候总结一下，至于电话面试，各种被拒。。。 豆瓣： 投了豆瓣的算法工程师（推荐系统等），豆瓣的笔试时间是不统一的，另外其笔试题网上是搜不到的。 到时间后会收到一封邮件，点进去就开始答题了。但有一个问题是邮件不准时，此时可以从通知笔试的邮件中进入答题。另外其在线笔试也很独树一帜，要用到markdown，两个空格换行。 一共四道大题，一道智力
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值