big data
奥兰治的威廉
这个作者很懒,什么都没留下…
展开
-
Hadoop和Spark联系与区别
解决问题的层面不一样首先,Hadoop和Apache Spark两者都是大数据框架,但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储,意味着您不需要购买和维护昂贵的服务器硬件。同时,Hadoop还会索引和跟踪这些数据,让大数据处理和分析效率达到前所未有的高度。Spark,则是那么一个专门用来对...转载 2019-02-28 15:40:52 · 188 阅读 · 0 评论 -
大数据生态圈的理解
HDFS是整个大数据架构的底层,它提供了一个文件系统Spark(Spark core(RDD))和 MapReduce 是一个层级,是一种操作计算框架,MapReduce相当于一个别人写好的 java程序,它并不需要在服务器上启动相应的服务,甚至可以在本地runHive => MapReduce Hive 操作MapReduce(底层是 MapReduce)Spark ...原创 2019-03-04 20:01:53 · 1193 阅读 · 1 评论 -
Cetos 7 安装mysql
CentOS7的yum源中默认好像是没有mysql的。为了解决这个问题,我们要先下载mysql的repo源。1. 下载mysql的repo源$wgethttp://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm2. 安装mysql-community-release-el7-5.noarch.rpm包$sud...转载 2019-03-04 20:49:07 · 233 阅读 · 0 评论 -
大数据相关论文
http://blog.bizcloudsoft.com/wp-content/uploads/Google-Bigtable中文版_1.0.pdfhttp://blog.bizcloudsoft.com/wp-content/uploads/Google-File-System中文版_1.0.pdfhttp://blog.bizcloudsoft.com/wp-content...转载 2019-03-08 08:51:08 · 5176 阅读 · 0 评论 -
hive 和 sparkSQL 的区别
hive是分布式又是数据仓库,同时又是查询引擎,Spark SQL只是取代的HIVE的查询引擎这一部分,企业一般使用Hive+spark SQL进行开发Hive:负责廉价的数据仓库存储Spark Sql:负责高速的计算...原创 2019-04-10 14:48:59 · 7715 阅读 · 0 评论