- 博客(21)
- 收藏
- 关注
RSS订阅原创 hbase可视化：hbaseGUI的安装与使用
HbaseGUI可视化工具，通过Hbase-client直接操作Hbase。提供可视化查询、元数据管理和支持预分区建表三大功能。
2023-09-25 15:55:40
3417
4
原创 elasticsearch的常用查询语法（大全）
参考文章网址:https://www.cnblogs.com/xiohao/p/12970224.htmles查询。
2023-03-25 10:32:34
4681
原创 neo4j(ongdb)集群版本的安装
neo4j(ongdb)集群版本的安装，neo4j官方版本的集群需要收费，估网上研发出了ongdb的集群版。但是网传由于版权原因ongdb不怎么更新与活跃了。
2023-03-08 10:14:51
638
原创 apache atlas与hive、hbase、spark的集成
Atlas 的使用相对简单，其主要工作是同步各服务（主要是 Hive）的元数据，并构建元数据实体之间的关联关系，然后对所存储的元数据建立索引，最终未用户提供数据血缘查看及元数据检索等功能。Atlas 在安装之初，需手动执行一次元数据的全量导入，后续 Atlas 便会利用 Hive Hook 增量同步 Hive 的元数据。手动导入hbase的元数据，与spark任务相关联获取数据血缘关系。
2023-03-03 16:40:54
2086
3
原创 Ubuntu安装hadoop(3.2.4),hbase(2.4.0),hive(3.1.0),phoenix(5.1.2)集群
hadoop-3.2.4,hbase-2.4.0,hive-3.1.0,phoenix-5.1.2集群安装
2023-02-07 20:14:05
1431
原创 kafka基础知识
kafka 是最初由 linkedin 公司开发的，使用 scala 语言编写，kafka 是一个分布式，分区的，多副本的，多订阅者的日志系统（分布式 MQ 系统），可以用于搜索日志，监控日志，访问日志等。kafka 目前支持多种客户端的语言：java、python、c++、php 等apache kafka 是一个分布式发布-订阅消息系统和一个强大的队列，可以处理大量的数据，并使能够将消息从一个端点传递到另一个端点，kafka 适合离线和在线消息消费。kafka 消息保留在磁盘上，并在集群内复制以防止数据
2022-06-28 15:26:28
1185
原创 Atlas 1.1.0 (+ cdh 5.16.2)编译与安装
apache atlas1.官网地址：https://atlas.apache.org/#/下载地址：https://atlas.apache.org/#/Downloads2.架构原理3.各组件版本Atlas 1.1.0 + cdh 5.16.2 + solr 7.7.3组件 版本Flume NG 1.6.0+cdh5.16.2+196Hadoop 2.6.0+cdh5.16.2+2863MapReduce 1 2.6.0+cdh5.16.2+2863HDFS 2.6.0+cdh
2022-02-14 11:26:52
2593
原创 DbVisualizer_9.5 的操作说明
目录DbVisualizer_9.5的操作说明 2安装与打开 2连接数据库 22.1 连接mysql数据库 22.2 连接gp数据库 32.3 连接hive数据库 3加载认证显示DDL等功能 5查询操作 64.1 查询打开与执行 64.2 查询后常用功能 6DbVisualizer_9.5的操作说明1.安装与打开解压DbVisualizer_9.5.rar，打开DbVisualizer_9.5/dbvis.exe便可使用。2.连接数据库2.1 连接mysql数据库1） 点
2022-01-11 14:18:51
14655
1
原创 hive学习小结
数据仓库Hive一: 数据仓库基本概念: Data Warehouse ,数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。主要特征:1. 面向主题2. 集成性3. 非易失性4. 时变性数据库(OLTP) 与 数据仓库(OLAP) 的区别1. 数据库是面向事务的设计，数据仓库是面向主题设计的。2. 数据库一般存储业务数据，数据仓库存储的一般是历史数据。3. 数据库设计是尽量避免冗余，一般针对某一业务应用进行设计，比如一张简
2020-08-19 21:08:06
992
原创 kafka基础学习
Kafka小结一. Kafka消息系统kafka是一个分布式,分区的,多副本的,多订阅者的日志系统(分布式MQ系统),可以用于搜索日志,监控日志,访问日志.分布式发布-订阅消息系统1.1 kafka的好处 可靠性: 分布式,分区,复制和容错 可扩展性: kafka 消息传递系统轻松缩放，无需停机。 耐用性：kafka 使用分布式提交日志，这意味着消息会尽可能快速的保存在磁盘上，因此它是持久的。 性能：kafka 对于发布和定于消息都具有高吞吐量。即使存储了许多TB 的消息，他也爆出稳定的性能
2020-05-18 09:13:52
316
原创 sqoop学习与导入导出
sqoop小结数据导出导入的概念Import: 数据导入 RDBMS —> HadoopExport: 数据导出 Hadoop —> RDBMS全量从mysql表数据导入到HDFSbin/sqoop import –connect jdbc:mysql://hadoopo1:3306/userdb \ # 要连接的mysql数据库地址与名称–username fan \ # 数据库的登入用户名–password 123 \ #数据库的登入
2020-05-12 15:10:53
257
原创 Shell脚本小结
Shell 小结1. 打开文本编辑器(可以使用 vi/vim命令来创建),新建一个test.sh,扩展名为sh(sh 代表shell), 例如: #!/bin/bash echo "Hello world" #! 是一个约定的标记,它告诉系统这个脚本需要什么解释器来执行,即使用哪一种shell 运行Shell脚本的两种方法:...
2020-04-10 17:53:13
201
原创 Linux小结之常用命令
Linux小结一. 系统安装1. 概述虚拟机是指通过软件模拟的具有完整硬件系统功能的.运行在一个完全隔离的环境中的完整计算机系统.2. 安装虚拟机 (CentOS)3. 网络原理(NAT模式)3.1 桥接原理虚拟机的linux系统的ip地址是固定,更换路由器后导致无法使用,故不推荐使用.3.2 NAT原理本质是虚拟机实现了交换机的功能,linux系统的ip地址不会随宿主电脑的...
2020-04-03 17:52:53
163
原创 mysql学习基础与函数
一: 数据库的基本概念 数据库的英文单词: Database 简称:DB数据库是用于存储和管理数据的仓库特点:1. 持久化存储数据.其实数据库就是一个文件系统2. 方便存储和管理数据3. 使用了统一的方式操作数据库 – SQL常见的数据库软件Oracle(收费) , MySQL(开源免费) , Microsoft SQL Server(微软) ,DB2二: MySQL数据库软件的...
2019-11-23 17:49:50
869
原创 spark学习基础篇1--spark概述与入门
spark总结一: spark 概述1. Spark 是 分布式内存计算框架Apache Spark 是一个快速的, 多用途的集群计算系统, 相对于 Hadoop MapReduce 将中间结果保存在磁盘中, Spark 使用了内存保存中间结果, 能在数据尚未写入硬盘时在内存中进行运算.1. Spark是Apache的开源框架2. Spark的母公司叫做 Databricks3....
2019-11-17 15:10:28
514
原创 scala基础学习篇
scala一: 简介1. scala是运行在JVM上的多范式编程语言,同时支持面向对象和面向函数编程2. scala的优点:开发大数据应用程序（Spark程序、Flink程序）表达能力强，一行代码抵得上Java多行，开发速度快兼容Java，可以访问庞大的Java类库，例如：操作mysql、redis、freemarker、activemq等等3. scala安装1. scala S...
2019-11-17 13:23:34
459
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人