- 博客(10)
- 收藏
- 关注
RSS订阅原创 大数据概念简介
大数据大数据主流技术简介大数据主流技术简介之前因为工作原因，将大数据放下了，最近有时间又重新温故了一遍文章目录大数据大数据主流技术简介前言一、大数据的技术分类1.存储类2.计算类3.应用类二、发展和工具1.Google的演进过程2.主流技术Hadoop生态Hadoop是什么？Hadoop的优点总结前言在学习一个东西前，我们首先得明确我们学习的目的：我们为什么要学习这个？学习这个有什么用？这个有什么优点值得我们学习？接下来就让我们开始学习吧一、大数据的技术分类 大数据的技术
2021-01-20 09:41:32
187
原创 Flume的安装和实际使用
flume的安装和使用wget “http://mirrors.cnnic.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz”官方下载包创建文件夹并解压cd /opt/modulemkdir flumetar -zxvf apache-flume-1.8.0-bin.tar.gz -C /opt/module/flume配...
2019-07-15 12:16:09
232
原创 MapReduce
所需的组件HDFS 分布式存储系统MapReduce 分布式计算系统YARN hadoop 的资源调度系统Common 以上三大组件的底层支撑组件，提供基础工具包和 RPC 框架等mapreduce功能Mapper负责“分”分解计算任务，规模大大缩小；“计算向数据靠近” ；这些小任务可以并行计算。Reducer负责“汇总” map阶段的结果~...
2019-05-27 09:28:53
99
原创 Spark
一、Spark与Scala版本兼容问题：Spark运行在Java 8 +，Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API，Spark 2.4.2使用Scala 2.12。您需要使用兼容的Scala版本（2.12.x）。请注意，自Spark 2.2.0起，对2.6.5之前的Java 7，Python 2.6和旧Hadoop版本的支持已被删除。自2.3.0起，对S...
2019-05-27 09:03:52
127
原创 Hive
MySQL安装①官网下载mysql-server（yum安装）wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm若wget不可用，下载安装wget：yum -y install wget②解压rpm -ivh mysql-community-release-el7-5.noarch.rpm③安装yu...
2019-05-27 08:54:25
493
原创 Redis安装以及使用
为什么使用redisRedis是一个开源（BSD许可），内存数据结构存储，用作数据库，缓存和消息代理。它支持数据结构，如字符串，散列，列表，集合，带有范围查询的排序集，位图，超级日志，具有半径查询和流的地理空间索引。Redis具有内置复制，Lua脚本，LRU驱逐，事务和不同级别的磁盘持久性，并通过Redis Sentinel提供高可用性并使用Redis Cluster自动分区。*安装*下载...
2019-05-27 08:45:02
170
原创 HHBase安装与使用
HBase安装配置①下载压缩包（选择与自己安装的Hadoop版本的兼容版本，见后面附录）官网下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/选择稳定版hbase-1.4.9-bin.tar.gz，在Windows里面下载。②将压缩包从Windows传输到Linux当前目录下SecureCRT 【File】→【Co...
2019-05-27 08:26:29
169
原创 安装配置JDK+Eclipse+Maven
步骤：1.安装JDK→2.安装Eclipse→3.安装Maven→4. Eclipse里配置Maven （下载Windows版本，在Windows里安装使用。）1.安装配置JDK①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downl...
2019-05-27 08:20:24
105
原创 JDK+Hadoop安装配置、单机模式配置
JDK+Hadoop安装配置、单机模式配置以下操作在cenos7里面完成单机模式配置hadoop -env.shHadoop伪分布式模式配置Hadoop完全分布式模式配置以下操作在cenos7里面完成使用工具：secureCRT,VMware1.关闭防火墙firewall-cmd --state 显示防火墙状态running/not runningsystemctl stop firew...
2019-05-27 07:54:12
184
原创 大数据技术与应用
大数据学习第一天首先，为什么我们要学习大数据，即学习大数据有什么好处？1.提高速度从基本的蓝牙连接到大数据分析，如今的技术正在迅速发展。随着世界慢慢接受诸如5G网络等新技术，高速网络和数据分析成为首要关注点。要构建更多这样的实时应用程序，移动应用程序开发人员需要高效地管理数据分析。最好的解决方案是采用大数据。它以最好的方式以前所未有的速度分析大量的数据。大数据分析比传统的数据分析技术速度更...
2019-03-04 17:57:28
557
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人