- 博客(10)
- 收藏
- 关注
RSS订阅原创 大数据技术之FLUME 配置及安装
前提 安装并配置jdk没有安装请点我1.简介Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。2.详细安装步骤1.下载flumewget http://mirror.bit.edu.cn/apache/...
2019-07-15 10:11:06
140
原创 大数据 技术与应用（五）Scala与Spark的安装配置
简介Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab(加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark...
2019-05-27 10:38:56
343
原创 大数据技术与应用 Redis
一：简介1.基础知识 redis是用C语言开发的一个开源的高性能键值对（key-value）数据库。它通过提供多种键值数据类型来适应不同场景下的存储需求，目前为止redis支持的键值数据类型如下字符串、列表（lists）、集合（sets）、有序集合（sorts sets）、哈希表（hashs）2.redis的应用场景 缓存（数据查询、短连接、新闻内容、商品内容等等）。（最多使用）分布式集...
2019-05-27 10:24:32
282
原创 大数据技术与应用 MapReduce
一： 新建Java maven项目修改pom.xml文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" ...
2019-05-27 10:15:45
264
原创 大数据 技术与应用（四）Hive的安装配置
简介hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive 构建在基于静态批处理的Hadoop 之上，Hadoop 通常都有较...
2019-05-27 10:09:26
146
原创 大数据 技术与应用（三）HBase安装配置
一 ：下载压缩包（选择与自己安装的Hadoop版本的兼容版本）我该如何选择官网下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/选择稳定版hbase-1.4.9-bin.tar.gz，在Windows里面下载。二：将压缩包从Windows传输到Linux当前目录下三：安装tar -zxvf ~/hbase-...
2019-05-27 09:58:25
206
原创 大数据 技术与应用（二）HDFS命令和Java API
下面在Windows中进行操作1.安装配置JDK①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html②配置jdk环境变量2.安装Eclipse官网下载Eclipse安装包eclipse-in...
2019-05-27 09:29:03
456
原创 大数据 技术与应用（一）Hadoop完全分布式安装配置
1.关闭防火墙firewall-cmd --state 显示防火墙状态running/not runningsystemctl stop firewalld 临时关闭防火墙，每次开机重新开启防火墙systemctl disable firewalld ...
2019-05-22 11:37:48
177
原创 Hello World!我的第一篇博客
#include<stdio.h>int main(){ printf("Hello World.\n"); return 0;}
2019-03-04 16:36:07
139
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人