![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据学习
文章平均质量分 82
javaeee1
这个作者很懒,什么都没留下…
展开
-
大数据概念简介
大数据 大数据主流技术简介 大数据主流技术简介 之前因为工作原因,将大数据放下了,最近有时间又重新温故了一遍 文章目录大数据大数据主流技术简介前言一、大数据的技术分类1.存储类2.计算类3.应用类二、发展和工具1.Google的演进过程2.主流技术Hadoop生态Hadoop是什么?Hadoop的优点总结 前言 在学习一个东西前,我们首先得明确我们学习的目的: 我们为什么要学习这个? 学习这个有什么用? 这个有什么优点值得我们学习? 接下来就让我们开始学习吧 一、大数据的技术分类 大数据的技术原创 2021-01-20 09:41:32 · 199 阅读 · 0 评论 -
JDK+Hadoop安装配置、单机模式配置
JDK+Hadoop安装配置、单机模式配置以下操作在cenos7里面完成单机模式配置hadoop -env.shHadoop伪分布式模式配置Hadoop完全分布式模式配置 以下操作在cenos7里面完成 使用工具:secureCRT,VMware 1.关闭防火墙 firewall-cmd --state 显示防火墙状态running/not running systemctl stop firew...原创 2019-05-27 07:54:12 · 199 阅读 · 0 评论 -
安装配置JDK+Eclipse+Maven
步骤:1.安装JDK→2.安装Eclipse→3.安装Maven→4. Eclipse里配置Maven (下载Windows版本,在Windows里安装使用。) 1.安装配置JDK ①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downl...原创 2019-05-27 08:20:24 · 124 阅读 · 0 评论 -
HHBase安装与使用
HBase安装配置 ①下载压缩包(选择与自己安装的Hadoop版本的兼容版本,见后面附录) 官网下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/ 选择稳定版hbase-1.4.9-bin.tar.gz,在Windows里面下载。 ②将压缩包从Windows传输到Linux当前目录下 SecureCRT 【File】→【Co...原创 2019-05-27 08:26:29 · 194 阅读 · 0 评论 -
Redis安装以及使用
为什么使用redis Redis是一个开源(BSD许可),内存数据结构存储,用作数据库,缓存和消息代理。它支持数据结构,如字符串,散列,列表,集合,带有范围查询的排序集,位图,超级日志,具有半径查询和流的地理空间索引。Redis具有内置复制,Lua脚本,LRU驱逐,事务和不同级别的磁盘持久性,并通过Redis Sentinel提供高可用性并使用Redis Cluster自动分区。 * 安装 *下载...原创 2019-05-27 08:45:02 · 184 阅读 · 0 评论 -
Hive
MySQL安装 ①官网下载mysql-server(yum安装) wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm 若wget不可用,下载安装wget:yum -y install wget ②解压rpm -ivh mysql-community-release-el7-5.noarch.rpm ③安装yu...原创 2019-05-27 08:54:25 · 505 阅读 · 0 评论 -
Spark
一、Spark与Scala版本兼容问题: Spark运行在Java 8 +,Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API,Spark 2.4.2使用Scala 2.12。您需要使用兼容的Scala版本(2.12.x)。 请注意,自Spark 2.2.0起,对2.6.5之前的Java 7,Python 2.6和旧Hadoop版本的支持已被删除。自2.3.0起,对S...原创 2019-05-27 09:03:52 · 138 阅读 · 0 评论 -
MapReduce
所需的组件 HDFS 分布式存储系统 MapReduce 分布式计算系统 YARN hadoop 的资源调度系统 Common 以上三大组件的底层支撑组件,提供基础工具包和 RPC 框架等 mapreduce功能 Mapper负责“分” 分解计算任务,规模大大缩小; “计算向数据靠近” ; 这些小任务可以并行计算。 Reducer负责“汇总” map阶段的结果 ~...原创 2019-05-27 09:28:53 · 111 阅读 · 0 评论 -
Flume的安装和实际使用
flume的安装和使用 wget “http://mirrors.cnnic.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz” 官方下载包 创建文件夹并解压 cd /opt/module mkdir flume tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /opt/module/flume 配...原创 2019-07-15 12:16:09 · 246 阅读 · 0 评论