hadoop
文章平均质量分 84
植与恋恋
敲代码呀,加油敲代码啊
展开
-
Hbase学习之简单操作
使用Hbase是一个高可靠性、高性能、可伸缩、分布式、基于列存储的非关系型(NoSQL)数据库。hbase将数据存储在HDFS集群上,备份机制齐全。通过 ZooKeeper 协调查找数据,访问速度快。架构HMaster Server :负责管理所有的 HRegion Server,每台 HRegion Server 都会和 HMaster Server 通信。本身不存储 HBase 中的任...原创 2018-11-15 19:38:17 · 327 阅读 · 0 评论 -
Sqoop学习之安装
Sqoop一款Hadoop和关系数据库之间传送数据的工具。安装:下载安装包并解压:https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/一节mysql的驱动包也可以直接到下载(里面包含这两个文件)#进入目录下的conf目录cp sqoop-env-template.sh sqoop-env.shvi sqoop-env.sh...原创 2018-11-15 19:56:13 · 185 阅读 · 0 评论 -
hive的基本语法操作
基本操作DLL操作数据库------1. 创建数据库:默认保存在:HDFS默认位置:/user/hive/warehouse/数据库名.dbcreate database if not exists hive;-----2. 查看数据库show databases;–如果数据库非常多,可以使用正则表达式,例如查看以“h”开头的数据库:show databases like 'h...原创 2018-11-12 20:02:14 · 299 阅读 · 0 评论 -
Hbase学习之搭建hbase
Hbase搭建安装前需要先配置zookeeper,详情查看:配置:下载安装包,并解压。下载地址: https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/修改配置文件:/hbase-1.3.1/conf/hbase-env.sh#打开注释并修改 JAVA_HOME=jdk的路径export JAVA_HOME=/home/lpp/Deskto...原创 2018-11-14 20:45:50 · 734 阅读 · 0 评论 -
Zookeeper学习之搭建zookeeper
Zookeeper集群搭建:注意节点数要是奇数台。下载安装包,上传并解压。下载地址:http://mirrors.hust.edu.cn/apache/zookeeper/修改配置文件zoo.cfg首先:复制命令:cp zoo_sample.cfg zoo.cfg打开zoo.cfg,修改:其中:server.id=主机名:心跳端口:选举端口分发到其他服务器...原创 2018-11-14 20:55:11 · 221 阅读 · 0 评论 -
Flume学习之安装和使用
简介:Flume是Clouder提供的分布式日志采集系统。支持在日志系统中定制各类数据发送方,用于收集数据。核心概念:Agent:使用 JVM 运行 Flume。每台机器运行一个 Agent,但是可以在一个 Agent 中包含多个 Sources 和 Sinks。Client:生产数据,运行在一个独立的线程中。Source:从Client收集数据,传递给Channel。Channel...原创 2018-11-16 20:25:05 · 261 阅读 · 0 评论