大数据
Q蕾
学无止境
展开
-
【VMware tips】VMware linux虚拟机配置
一、配置网络编辑->虚拟网络编辑器我们可以看到有三个网络,vmnet1与vmnet8,一个是host-only,一个是nat,都可以通过vmware的同一个服务进程来自动获取ip。不同的是,前者不能上网(只是不能通过vmware提供的工具来上网,要用第3方工具的话,什么模式都可以),后者可以用通过vmware的另一个服务进程来进行nat上网。DHCP设置也改一下,还有N...原创 2019-07-25 19:35:25 · 176 阅读 · 0 评论 -
【大数据】什么是大数据?
一、大数据概念海量的数据:TB PB ZB。 高增长率:数据的形成速度(使用爬虫)。 多样化:数据是结构化、非结构化、半结构化。二、大数据的应用 电商行业:电商行业是最早利用大数据进行精准营销,它根据客户的消费习惯提前生产资料、物流管理等,有利于精细社会大生产。由于电商的数据较为集中,数据量足够大,数据种类较多,因此未来电商数据应用将会有更多的想象空间,包括预测流行趋势,消费趋势、...原创 2019-07-26 10:36:28 · 334 阅读 · 0 评论 -
【大数据】Hadoop的HDFS设计(图解)
一、文件存储对于文件的存储:第一种:纵向扩展 加存储空间,有局限性,成本不是线性增长第二种:横向扩展,加机器一)HDFS体系结构Namenode:名字节点,用来管理文件的元数据信息(各个文件块所在的位置),如果元数据信息丢失,HDFS集群瘫痪。 Datanode:用来存储文件按数据的,会定期向Namenode发送心跳包。 BlockSize:文件块,hdfs的文件块Hado...原创 2019-07-26 16:40:56 · 345 阅读 · 0 评论 -
【大数据】Hadoop介绍
一、Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞...原创 2019-07-27 09:16:15 · 139 阅读 · 0 评论