大数据基础
文章平均质量分 78
fakerlove
这个作者很懒,什么都没留下…
展开
-
分布式文件系统HDFS
分布式文件系统HDFS(按块存储,默认一个block块128M) 一、分布式文件系统HDFS 1、产生背景 传统的本地文件系统(单机式),在数据量过快、数据备份、数据安全性、操作使用便捷性上存在严重不足。 2、特点介绍 2.1 高容错和高可用性,硬件错误是常态而不是异常 HDFS设计为运行在普通硬件上,所以硬件故障是很正常的。HDFS提供文本存储副本策略,可以实现错误自检并快速自动回复。个别硬件的...原创 2018-12-12 22:46:01 · 1218 阅读 · 0 评论 -
Hadoop组件--Yarn
分布式资源管理与任务调度框架Yarn 一、Yarn简介 1、Yarn是什么 Apache Hadoop Yarn (Yet Another Resource Negotiator,另一种资源协调者 ) 一种新的Hadoop资源管理器,一种通用资源管理系统。 为上层提供统一的资源管理与任务调度及监控,提高了集群管理效率、资源使用率、数据共享效率。 2、产生背景 在Hadoop1.x中MapReduc...原创 2018-12-13 21:22:07 · 387 阅读 · 0 评论 -
项目:APP热点标签分析
一、项目背景与目标 项目背景: 在移动APP满天飞的当下,如何做好APP的营销和推广至关重要,而该环节的关键在于能对APP做大众喜欢的关键字描述,从而提高APP的搜索命中率和下载率。找到热度标签,蹭热度标签,往往可以提高相应APP的下载量和使用量。 项目目标: 用时不超过一周,主要是通过查看资料,百度搜索等方式搞定,加强实战应用开发能力和自学能力。最终达到对于常用的小模块开发,可以在1-5天内迅速...原创 2018-12-14 13:55:19 · 643 阅读 · 0 评论