大数据
文章平均质量分 85
linux,hadoop,hbase,hive,spark,flink,flume,zokeeper,kafka
xikuang1311
天行健,君子以自强不息!地势坤,君子以厚德载物!
展开
-
jdbc连接Hive
jdbc连接Hive1.使用sqoop将stu表导入到hive中 数据库表位于hadoop102上的test数据库bin/sqoop import \--connect jdbc:mysql://hadoop102:3306/test \--username root \--password 000000 \--table stu \--num-mappers 1 \--hive-import \--fields-terminated-by "\t" \--hive-overwr原创 2022-01-02 20:14:41 · 4193 阅读 · 0 评论 -
08. flink安装教程
Flink 部署1.1 Standalone 模式1.1.1 安装解压缩 flink-1.10.1-bin-scala_2.12.tgz,进入 conf 目录中。[xikuang@hadoop102 software]$ tar -zxvf flink-1.10.1-bin-scala_2.12.tgz -C /opt/module/[xikuang@hadoop102 module]$ mv flink-1.10.1/ flink1)修改flink/conf/flink-conf.yaml原创 2022-06-18 15:52:59 · 287 阅读 · 0 评论 -
01. Hadoop环境搭建
1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2)主要解决,海量数据的存储和海量数据的分析计算问题。3)广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈。1)Hadoop创始人Doug Cutting,为了实现与Google类似的全文搜索功能,他在Lucene框架基础上进行优化升级,查询引擎和索引引擎。Hadoop创始人Doug Cutting2)2001年年底Lucene成为Apache基金会的一个子项目。3)对于海量数据的场景,Lucene框架面对与Goo原创 2022-06-18 15:48:43 · 384 阅读 · 0 评论 -
02. Hive环境搭建
大数据技术之 Hive第 1 章 Hive 基本概念1.1 什么是 Hive1) hive 简介Hive:由 Facebook 开源用于解决海量结构化日志的数据统计工具。Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并 提供类 SQL 查询功能。2) Hive 本质:将 HQL 转化成 MapReduce 程序SQL—Mapreduce(1)Hive 处理的数据存储在 HDFS(2)Hive 分析数据底层的实现是 MapReduce(3)执行程原创 2022-06-18 15:50:25 · 309 阅读 · 0 评论 -
07.spark安装教程
spark安装教程第1章 Spark 概述1.1 Spark 是什么Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。1.2 Spark and Hadoop在之前的学习中,Hadoop 的 MapReduce 是大家广为熟知的计算框架,那为什么咱们还 要学习新的计算框架 Spark 呢,这里就不得不提到 Spark 和 Hadoop 的关系。 首先从时间节点上来看:➢ Hadoop• 2006 年 1 月,Doug Cutting 加入 Yahoo,领原创 2022-06-18 15:52:30 · 220 阅读 · 0 评论 -
06.sqoop教程
大数据技术之Sqoop第1章 Sqoop简介Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。Sqoop项目开始于2009年,最早是作为Hadoop的一个第三方模块存在,后来为了让使用者能够快速部署,也为了让开发人员能够更快速的迭代开发,Sqoop独立成为原创 2022-06-18 15:52:09 · 369 阅读 · 0 评论 -
05. hbase2.3.0安装教程
大数据基础-hbase2.3.0安装教程1、准备这里搭建的hbase集群是以完全分布式的方式搭建,并将hbase数据存储在hadoop文件系统中。hbase集群搭建需要准备以下内容:2、安装2.1 安装zookeeperzookeeper安装参考往期文章:大数据基础-zookeeper的安装教程2.2 安装hadoophadoop安装参考往期文章2.3 安装hbase我们将hadoop安装在/opt/hadoop 目录下。(1)上传文件将安装包hbase-2.3.7-bin.tar.原创 2022-06-18 15:51:34 · 208 阅读 · 0 评论 -
04. 大数据技术之Kafka
大数据技术之Kafka第 1 章 Kafka 概述1.1 定义Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于 大数据实时处理领域。1.2 消息队列1.2.1 传统消息队列的应用场景使用消息队列的好处1)解耦允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。2)可恢复性系统的一部分组件失效时,不会影响到整个系统。消息队列降低了进程间的耦合度,所 以即使一个处理消息的进程挂掉,加入队列中的消息仍然可以在系统恢复后原创 2022-06-18 15:51:16 · 102 阅读 · 0 评论 -
03. zookeeper安装教程
zookeeper安装教程第 1 章 Zookeeper 入门1.1 概述Zookeeper 是一个开源的分布式的,为分布式应用提供协调服务的 Apache 项目。Zookeeper工作机制1.2 特点Zookeeper特点1.3 数据结构数据结构1.4 应用场景提供的服务包括:统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下 线、软负载均衡等。1.5 下载地址1.官网首页:https://zookeeper.apache.org/2.下载截图,如图 5-5,5-6原创 2022-06-18 15:50:51 · 740 阅读 · 0 评论 -
大数据基础-hbase2.3.0安装教程
大数据基础-hbase2.3.0安装教程1、准备这里搭建的hbase集群是以完全分布式的方式搭建,并将hbase数据存储在hadoop文件系统中。hbase集群搭建需要准备以下内容:材料 版本 数量 备注安装包 hbase-2.3.0-bin.tar.gz 3 虚拟机 CentOS 7.5 3 IP / 3 192.168.28.61/62/63服务器名 hosts文件 3 hadoop1、 hadoop2、 hadoop3hadoop hadoop-3.2.0 3 设置ssh公钥免密,h原创 2021-12-09 01:12:57 · 343 阅读 · 0 评论