bigdata
文章平均质量分 50
jwolf2
华山论剑
展开
-
hbase2.1.3 docker安装与java client测试,开发连接需要特别注意一下配置,否则连接不上timeout
1.docker安装docker run --name hbase --net=host -v /etc/hbase/conf:/hbase-2.1.3/conf -v /home/data/hbase:/hbase-data harisekhon/hbase2.修改hbase-sit.xml配置的hbase.master.hostname,hbase.regionserver.hostname,否则开发环境无法连接到hbase。因为开发环境项目的hbase java client配置hbase连原创 2022-01-12 22:48:17 · 1072 阅读 · 0 评论 -
springboot集成spark,ETL demo
1.依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://mave...原创 2020-03-08 14:49:04 · 4384 阅读 · 2 评论 -
spark流处理入门实践,初体验跟flink差不多
1.spark简介弥补了hoodop流处理不足,性能优于hoodop,活跃度高于flink,提供了一站式大数据处理方案:支持批处理(Spark Core)。Spark Core 是 Spark 的核心功能实现,包括:SparkContext 的初始化(DriverApplication 通过 SparkContext 提交)、部署模式、存储体系、任务提交与执行、计算引擎等。支持交互式...原创 2020-03-08 01:18:34 · 464 阅读 · 0 评论 -
flink入门实践批处理本地文件,socket,kafka流数据处理(java版 )
1.flink基本简介,详细介绍Apache Flink是一个框架和分布式处理引擎,用于对无界(无界流数据通常要求以特定顺序摄取,例如事件发生的顺序)和有界数据流(不需要有序摄取,因为可以始终对有界数据集进行排序)进行有状态计算。Flink设计为在所有常见的集群环境中运行,以内存速度和任何规模执行计算.核心角色就两个:jobmanager /taskManager2.安装部署...原创 2020-03-07 22:04:47 · 2098 阅读 · 0 评论