![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
用程序理解大然界
这个作者很懒,什么都没留下…
展开
-
大数据笔记_1
需求1: 1. 有一万个单词,需要进行存储到 2. 任意查找某个单词,要求时间复杂度为o(10) ,如何实现? 需求2: 有一个非常大的文本文件(5T),里面有很多行,只有两行一样,他们出现再未知的位置,需要查找他们,使用一台普通的电脑如何实现? 1. 通过hash算法,将文件散列成n多个小文件(小到内存可以放下),这样的话相同的行肯定再这个小文件中 2. 然后再读取每一个文件,放入内存,再进行...原创 2019-06-15 15:48:24 · 73 阅读 · 0 评论 -
大数据笔记_2
hadoop 的 HDFS(相关介绍) 包含 NameNode 和 DataNode NameNode相关 1 NameNode完全基于内存进行存储,这样会很快的处理各种请求,那这样如何保实现持久化呢? 持久化方案包括:EditLog和内存镜像 EditsLog:记录增删改的操作,下次启动的时候,读取日志,重新执行日志记录的命令 优点:完整性好 缺点:加载恢复数据的时候慢 ...原创 2019-06-15 17:30:19 · 74 阅读 · 0 评论 -
Hadoop搭建
这里写自定义目录标题Hadoop基础环境搭建安装软件基础配置新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 H...原创 2019-07-10 18:05:05 · 73 阅读 · 0 评论