![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 84
植与恋恋
敲代码呀,加油敲代码啊
展开
-
Hbase学习之简单操作
使用 Hbase是一个高可靠性、高性能、可伸缩、分布式、基于列存储的非关系型(NoSQL)数据库。hbase将数据存储在HDFS集群上,备份机制齐全。通过 ZooKeeper 协调查找数据,访问速度快。 架构 HMaster Server :负责管理所有的 HRegion Server,每台 HRegion Server 都会和 HMaster Server 通信。本身不存储 HBase 中的任...原创 2018-11-15 19:38:17 · 322 阅读 · 0 评论 -
Sqoop学习之安装
Sqoop 一款Hadoop和关系数据库之间传送数据的工具。 安装: 下载安装包并解压:https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/ 一节mysql的驱动包 也可以直接到下载(里面包含这两个文件) #进入目录下的conf目录 cp sqoop-env-template.sh sqoop-env.sh vi sqoop-env.sh...原创 2018-11-15 19:56:13 · 180 阅读 · 0 评论 -
hive的基本语法操作
基本操作 DLL操作 数据库- -----1. 创建数据库:默认保存在:HDFS默认位置:/user/hive/warehouse/数据库名.db create database if not exists hive; -----2. 查看数据库 show databases; –如果数据库非常多,可以使用正则表达式,例如查看以“h”开头的数据库: show databases like 'h...原创 2018-11-12 20:02:14 · 292 阅读 · 0 评论 -
Hbase学习之搭建hbase
Hbase搭建 安装前需要先配置zookeeper,详情查看: 配置: 下载安装包,并解压。下载地址: https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/ 修改配置文件:/hbase-1.3.1/conf/hbase-env.sh #打开注释并修改 JAVA_HOME=jdk的路径 export JAVA_HOME=/home/lpp/Deskto...原创 2018-11-14 20:45:50 · 730 阅读 · 0 评论 -
Zookeeper学习之搭建zookeeper
Zookeeper 集群搭建:注意节点数要是奇数台。 下载安装包,上传并解压。下载地址:http://mirrors.hust.edu.cn/apache/zookeeper/ 修改配置文件zoo.cfg 首先:复制命令:cp zoo_sample.cfg zoo.cfg 打开zoo.cfg,修改: 其中:server.id=主机名:心跳端口:选举端口 分发到其他服务器 ...原创 2018-11-14 20:55:11 · 217 阅读 · 0 评论 -
Flume学习之安装和使用
简介: Flume是Clouder提供的分布式日志采集系统。支持在日志系统中定制各类数据发送方,用于收集数据。 核心概念: Agent:使用 JVM 运行 Flume。每台机器运行一个 Agent,但是可以在一个 Agent 中包含多个 Sources 和 Sinks。 Client:生产数据,运行在一个独立的线程中。 Source:从Client收集数据,传递给Channel。 Channel...原创 2018-11-16 20:25:05 · 256 阅读 · 0 评论