- 博客(10)
- 收藏
- 关注
原创 大数据技术之FLUME 配置及安装
前提 安装并配置jdk没有安装请点我1.简介Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。2.详细安装步骤1.下载flumewget http://mirror.bit.edu.cn/apache/...
2019-07-15 10:11:06 147
原创 大数据 技术与应用(五)Scala与Spark的安装配置
简介Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab(加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有HadoopMapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark...
2019-05-27 10:38:56 351
原创 大数据技术与应用 Redis
一:简介1.基础知识 redis是用C语言开发的一个开源的高性能键值对(key-value)数据库。它通过提供多种键值数据类型来适应不同场景下的存储需求,目前为止redis支持的键值数据类型如下字符串、列表(lists)、集合(sets)、有序集合(sorts sets)、哈希表(hashs)2.redis的应用场景 缓存(数据查询、短连接、新闻内容、商品内容等等)。(最多使用)分布式集...
2019-05-27 10:24:32 287
原创 大数据技术与应用 MapReduce
一: 新建Java maven项目修改pom.xml文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" ...
2019-05-27 10:15:45 274
原创 大数据 技术与应用(四)Hive的安装配置
简介hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。Hive 构建在基于静态批处理的Hadoop 之上,Hadoop 通常都有较...
2019-05-27 10:09:26 151
原创 大数据 技术与应用(三)HBase安装配置
一 :下载压缩包(选择与自己安装的Hadoop版本的兼容版本)我该如何选择官网下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/选择稳定版hbase-1.4.9-bin.tar.gz,在Windows里面下载。二:将压缩包从Windows传输到Linux当前目录下三:安装tar -zxvf ~/hbase-...
2019-05-27 09:58:25 212
原创 大数据 技术与应用(二)HDFS命令和Java API
下面在Windows中进行操作1.安装配置JDK①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html②配置jdk环境变量2.安装Eclipse官网下载Eclipse安装包eclipse-in...
2019-05-27 09:29:03 465
原创 大数据 技术与应用(一)Hadoop完全分布式安装配置
1.关闭防火墙firewall-cmd --state 显示防火墙状态running/not runningsystemctl stop firewalld 临时关闭防火墙,每次开机重新开启防火墙systemctl disable firewalld ...
2019-05-22 11:37:48 182
原创 Hello World!我的第一篇博客
#include<stdio.h>int main(){ printf("Hello World.\n"); return 0;}
2019-03-04 16:36:07 145
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人