大数据
ohoy
这个作者很懒,什么都没留下…
展开
-
大数据底层生态之Hadoop
大数据底层生态Hadoop大数据工具Hadoop服务器下的Hadoop使用 大数据工具Hadoop Hadoop是一个能够对大量数据进行分布式处理的软件框架,是一个能够让用户轻松架构和使用的分布式计算平台。用户可轻松地在Hadoop上开发和运行处理海量数据的应用程序。 服务器下的Hadoop使用 1.首先需要下载Hadoop wget http://mirror.bit.edu.cn/apache...原创 2019-05-25 23:43:02 · 390 阅读 · 0 评论 -
大数据之使用Java操作Hadoop的上传下载
使用Java操作Hadoop的上传下载原创 2019-05-26 12:36:43 · 1124 阅读 · 0 评论 -
大数据之MapReduce
MapReduce简介 MapReduce的地位 HDFS:分布式存储系统 MapReduce:分布式计算系统 YARN: Hadoop 的资源调度系统 Common: 以上三大组件的底层支撑组件,主要提供基础工具包和 RPC 框架等 MapReduce的定义 (1)MapReduce是一个基于集群的高性能并行计算平台。它允许用普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群...原创 2019-05-26 16:08:37 · 228 阅读 · 0 评论 -
大数据之HBase
Hbase的安装配置 Hbase下载 下载压缩包(选择与自己安装的Hadoop版本的兼容版本,参考https://blog.csdn.net/tzhuwb/article/details/81153323 ) 通过以下命令从官网下载Hbase: wget https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/hbase-1.4.9-bi...原创 2019-05-26 18:26:10 · 120 阅读 · 0 评论 -
大数据之Redis
#fd原创 2019-05-26 21:37:41 · 473 阅读 · 0 评论 -
大数据之hive安装和配置
hive简介 hadoop是为了存储数据和计算而推广的技术,而和数据挂钩的也就属于数据库的领域了,所以hadoop和DBA挂钩也就是情理之中的事情,在这个基础之上,我们就需要为了DBA创作适合的技术。 hive正是实现了这个,hive是要类SQL语句(HiveQL)来实现对hadoop下的数据管理 MySQL安装 官网下载mysql-server(yum安装) wget http://dev.my...原创 2019-05-26 22:13:47 · 328 阅读 · 0 评论 -
大数据之spark
spark的安装与配置 下载spark wget https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz 解压spark tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz 结果如下图 scala的安装与配置 下载scala https://www....原创 2019-05-26 22:43:27 · 162 阅读 · 0 评论