- 博客(15)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Nginx之部署安装（一）
1:安装工具包 wget、vim和gccyum install -y wget yum install -y vim-enhanced yum install -y make cmake gcc gcc-c++ 2:下载nginx安装包wget http://nginx.org/download/nginx-1.6.2.tar.gz3:安装依赖包yum ins...
2018-09-27 19:13:21
258
原创 Storm之安装部署（一）
Apache Storm 安装部署1、安装 ZooKeeper 详见我的另外一篇博文《ZooKeeper的集群搭建与配置》https://blog.csdn.net/qq_36508766/article/details/813365882、下载 Storm 安装包 下载： https://mirrors.tuna.tsinghua.edu.cn/apache/storm/可选择你需要...
2018-09-26 17:26:21
555
原创 Redis使用的异常汇总--个人学习笔记
一、安装过程可能出现的问题：CentOS5.7默认没有安装gcc，这会导致我们无法make成功。使用yum安装： yum -y install gcc make时报如下错误： zmalloc.h:50:31: error: jemalloc/jemalloc.h: No such file or directoryzmalloc.h:55:2: error: #error "N...
2018-09-26 15:37:39
366
原创 Redis的安装与配置
本博文是在Linux环境下Redis的初次安装Redis的环境准备：（1）make -version 前提是你已经安装 make 这个工具，可以使用命令检测一下是否安装，安装命令：sudo yum install -y make（2）rpm -qa gcc 查找系统是否安装gcc编译环境，无任何显示表示没有安装（3）sudo yum -y install gcc gcc-c++ 安...
2018-09-26 15:33:27
361
原创 Sqoop数据迁移工具之简单介绍和安装（一）
1、概述 sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统 导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等 Sqoop 的本质还是一个命令行工具，和 HDFS，Hive 相比，并没有什么高深的理论。 ...
2018-09-26 11:03:06
283
原创 Hbase之整合Hive
一、HBase 整合 Hive 3.1、原理 Hive 与 HBase 利用两者本身对外的 API 来实现整合，主要是靠 HBaseStorageHandler 进 行通信，利用 HBaseStorageHandler，Hive 可以获取到 Hive 表对应的 HBase 表名，列簇以及 列，InputFormat 和 OutputFormat 类，创建和删除 HBase 表等。 Hi...
2018-09-26 10:36:38
252
原创 Hbase之集群搭建（一）
一、安装步骤 1、 安装 zookeeper 集群，可参考我的另外一篇博文《ZooKeeper的集群搭建与配置》https://blog.csdn.net/qq_36508766/article/details/813365882、 找到官网下载 hbase 安装包 hbase-1.2.6-bin.tar.gz，这里给大家提供一个下载地址： http://mirrors.hust.edu.c...
2018-09-26 10:00:54
221
原创 Linux之mysql的重新安装
一、卸载1、使用以下命令查看当前安装mysql情况rpm -qa|grep -i mysql 2、停止mysql服务、删除之前安装的mysql（如果没有包，直接进入第三步）删除命令：rpm -e –nodeps 包名rpm -ev MySQL-client-5.5.25a-1.rhel5 rpm -ev MySQL-server-5.5.25a-1.rhel5 如果提...
2018-09-25 21:00:42
25139
1
原创 Redis.conf 配置文件参数说明
redis.conf 配置项说明如下：1、Redis 默认不是以守护进程的方式运行，可以通过该配置项修改，使用 yes 启用守护进 程daemonize no2、当 Redis 以守护进程方式运行时，Redis 默认会把 pid 写入/var/run/redis.pid 文件，可以 通过 pidfile 指定pidfile /var/run/redis.pid 3、指定 R...
2018-08-16 16:33:48
321
原创 Flume NG 学习笔记（二）安装部署以及实战案例
安装部署 Flume1、Flume 的安装非常简单，只需要解压即可，当然，前提是已有 Hadoop 环境上传安装包到 数据源所在节点上然后解压 tar -zxvf apache-flume-1.8.0-bin.tar.gz然后进入 flume 的目录，修改 conf 下的 flume-env.sh，在里面配置 JAVA_HOME2、根据数据采集的需求配置采集方案，描述在配置文件中(...
2018-08-14 15:34:13
868
转载 Flume Ng 学习笔记（一）简介
一、简介Flume是一个分布式、可靠、高可用的海量日志聚合系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据的简单处理，并写到各种数据接收方的能力。Flume在0.9.x and 1.x之间有较大的架构调整，1.x版本之后的改称Flume NG(next generation)，0.9.x的称为Flume OG（originalgeneration）。对于O...
2018-08-14 09:48:41
275
原创 Zookeeper的集群搭建与配置（二）
ZooKeeper的集群搭建与配置（二） ZooKeeper 软件安装须知鉴于 ZooKeeper 本身的特点，服务器集群的节点数推荐设置为奇数台。我这里我规划为三台， 分别为 hadoop01,hadoop02,hadoop03下载地址：http://mirrors.hust.edu.cn/apache/ZooKeeper/我使用的版本号3.4.10一：上传并解压安装包...
2018-08-05 14:53:41
410
原创 Hadoop HA集群搭建
Hadoop HA集群搭建 一：在安装搭建之前简单了解一下 hadoop ha为什么会有hadoop HA机制呢？HA：High Available，高可用 在Hadoop 2.0之前,在HDFS 集群中NameNode 存在单点故障对于只有一个 NameNode 的集群，如果 NameNode 机器出现故障(比如宕机或是软件、硬件 升级)，那么整个集群将无法使用，直到 Nam...
2018-08-05 14:09:09
729
1
原创 Hive的基本操作（三）
Hive的基本操作（三） 1.DDL操作Hive的hql语句支持SQL一般语法，大致与SQL相似。SQL语言包括四种主要程序设计语言类别的语句：数据定义语言（DDL），数据操作语言（DML），数据控制语言（DCL）和事物控制语言（TCL）DDL(Data Definitition Language):数据库模式定义语言1.1.库操作1.创建库：CREATE (D...
2018-08-05 13:19:10
2100
1
原创 Hive的安装与配置（二）
HIve的安装与配置 本文中hive版本2.3.2，默认环境中jdk已经正常安装，hadoop集群正常启动1.1下载hive安装文件可以从Apache官网下载安装文件，即http://mirror.bit.edu.cn/apache/hive/由于hive是默认将元数据保存在本地内置的Derby数据库中，Derby是单用户模式，不支持会话连接（具体体现：当你进行切换目录启动的...
2018-07-31 20:52:39
26034
7
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人