![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 69
一年春又来
这个作者很懒,什么都没留下…
展开
-
flink集群安装
1 前言Flink 是一个以 Java 及 Scala 作为开发语言的开源大数据项目,代码开源在 GitHub 上,并使用 Maven 来编译和构建项目。关于开发测试环境,Mac OS、Linux 系统或者 Windows 都可以。如果使用的是 Windows 10 系统,建议使用 Windows 10 系统的 Linux 子系统来编译和运行。Flink支持多种安装模式。local(本地)——单机模式,一般不使用standalone——独立模式,Flink自带集群,开发测试环境使用yarn—原创 2021-04-20 15:03:24 · 365 阅读 · 0 评论 -
Kafka核心概念介绍
文章目录Kafka 核心概念详解Kafka(MQ) 的应用场景Kafka(MQ)之异步化、服务解耦、削峰填谷Kafka 海量日志收集Kafka 基本概念集群架构概念Topic、Partition副本(replica)ISR详解(In Sync Replicas)Kafka 环境搭建Kafka 极速入门构建生产者步骤构建消费者步骤代码实现配置类生产者消费者拦截器Kafka 基本配置参数讲解Kafka 之生产者发送消息:ProducerRecord必要的参数配置项发送消息的3种方法KafkaProducer 消原创 2021-03-25 23:16:42 · 321 阅读 · 0 评论 -
Kafka集群安装关键点
安装kafka集群下载kafka#kafka官网:http://kafka.apache.org/http://kafka.apache.org/downloads配置 server.properties# Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTICE file distributed with# this原创 2021-04-07 19:59:05 · 80 阅读 · 0 评论 -
一个 Flink 简单的入门 quickstart
文章目录Mac OS 安装 flink启动 flink新建一个 maven 工程依赖SocketTextStreamWordCount运行maven 项目打包监听 9000 端口使用 flink 运行程序查看 flink 界面的日志Mac OS 安装 flinkbrew install apache-flink启动 flink/usr/local/opt/apache-flink/libexec/bin/start-cluster.sh查看 flink 的 Web 界面 http://loca原创 2021-04-06 20:18:16 · 581 阅读 · 0 评论 -
快速搭建 LDAP 服务器与Hive集成
快速搭建 LDAP 服务器与Hive集成1 前言LDAP (Lightweight Directory Access Protocol) 是轻型目录访问协议,以目录形式存储信息(基于目录的数据库),具有良好的读性能。本文的目的是帮助你快速搭建 LDAP 服务器。本文所使用的服务器是 centos72 关闭防火墙首先使用systemctl status firewalld确认防火墙是否打开,如过打开,则关闭:systemctl stop firewalldsystemctl disable f原创 2020-12-20 09:45:26 · 1460 阅读 · 3 评论 -
hbase 1.4.13 安装部署
title: hbase 1.4.13 安装部署date: 2020-09-16 17:19:13categories: 大数据tags: hbase,大数据文章目录认识HBaseHBase介绍HBase集群角色hbase 架构安装前期准备服务器分配解压安装文件到指定目录修改配置文件hbase-env.shhbase-site.xmlregionservers解决依赖问题软链接hadoop配置复制到其他节点配置环境变量修改防火墙启动集群关闭集群UI 展示hbase shell的一些命令参考资源.原创 2020-11-30 16:11:04 · 309 阅读 · 0 评论 -
Hadoop 完全分布式安装与部署
title: Hadoop 完全分布式安装与部署date: 2020-09-03 16:10:22categories: 大数据tags: hadoop,大数据文章目录Hadoop 2.7.4 完全分布式安装与部署服务器准备修改主机名修改服务器静态IP修改 hosts安装 JDK8增加 dhfs 用户设置 SSH 无密码登录安装部署 Hadoop切换至 hdfs 用户下载解压修改环境变量修改 Hadoop 配置配置hadoop-env.sh配置core-site.xml配置hdfs-site.x.原创 2020-11-30 16:06:40 · 142 阅读 · 0 评论 -
Hive注释中文乱码解决
文章目录1. Hive注释中文乱码2. 针对元数据库metastore中的表,分区,视图的编码设置2.1. 进入数据库 Metastore 中执行以下 5 条 SQL 语句2.2. 修改 metastore 的连接 URL2.3. 验证1. Hive注释中文乱码创建表的时候,comment说明字段包含中文,表成功创建成功之后,中文说明显示乱码create table if not exists capacity_stats_live_access ( id bigint comment '主键',原创 2020-11-02 17:06:27 · 659 阅读 · 0 评论 -
Hive 数据类型和存储格式
文章目录**HIVE数据类型**arraysmapsstructs参考资源HIVE数据类型毕竟HIVE穿着SQL的外壳,肯定支持诸如Mysql这种RDBMS的数据类型,如int,varchar,但是它还具有非常多自有的数据类型,包括复杂的数据类型(数组,Map等)也是支持的!数字类型,日期类型,String类型,Boolean类型我们都是比较熟悉的,也比较简单,就不讲解了。演示一下复杂数据类型:arrayshive (hive)> create table arraytest (id in原创 2020-09-24 19:10:23 · 591 阅读 · 0 评论 -
hive 2.3.7 安装
Hive介绍官网:hive.apache.org/Apache Hive™数据仓库软件有助于使用SQL读取,编写和管理驻留在分布式存储中的大型数据集。可以将结构投影到已存储的数据中。提供了命令行工具和JDBC驱动程序以将用户连接到Hive。hive提供了SQL查询功能 hdfs分布式存储。hive本质HQL转化为MapReduce程序。Hive 安装前提启动 hdfs 集群启动 yarn 集群启动 mysql如果想用hive的话,需要提前安装部署好hadoop集群。安装 Hivel原创 2020-09-22 20:39:39 · 1112 阅读 · 0 评论 -
hbase 1.4.13 安装部署
认识HBaseHBase介绍HBase = Hadoop database,Hadoop数据库开源数据库官网:hbase.apache.org/HBase源于Google的BigTableApache HBase™是Hadoop数据库,是一个分布式,可扩展的大数据存储。当需要对大数据进行随机、实时读/写访问时,请使用Apache HBase™。该项目的目标是托管非常大的表 - 数十亿行X百万列 - 在商品硬件集群上。Apache HBase是一个开源的,分布式的,版本化的非关系数据库nosql原创 2020-09-21 19:23:08 · 602 阅读 · 0 评论 -
Zookeeper 3.4.14 安装部署
下载下载地址:http://zookeeper.apache.org/下载过程就不说了,我们下载了最新的zookeeper-3.4.14。安装1、上传安装包把下载的最新的包(如:zookeeper-3.4.14.tar.gz)上传到服务器,上传的方式也不多说了。2、解压$ tar zxvf zookeeper-3.4.14.tar.gz3、移动到/usr/local目录下$ ln -s zookeeper-3.4.14 /usr/local/zookeeper服务器分配原创 2020-09-16 17:10:17 · 971 阅读 · 0 评论 -
Hadoop 2.7.4 完全分布式安装与部署
title: Hadoop 完全分布式安装与部署date: 2020-09-03 16:10:22categories: 大数据tags:hadoop文章目录Hadoop 完全分布式安装与部署服务器准备修改主机名修改服务器静态IP修改 hosts安装 JDK8增加 dhfs 用户设置 SSH 无密码登录安装部署 Hadoop切换至 hdfs 用户下载解压修改环境变量修改 Hadoop 配置配置hadoop-env.sh配置core-site.xml配置hdfs-site.xml配置 sla.原创 2020-09-13 16:07:19 · 1997 阅读 · 1 评论