- 博客(10)
- 资源 (16)
- 收藏
- 关注
RSS订阅转载 JDBC连接池
DBCP的jar包官网下载Pool的jar包官网下载Collections的jar包官网下载Logging的jar包官网下载mysql-connecor的jar包官网下载package utils;import com.mysql.cj.jdbc.Driver;import org.apache.commons.dbcp2.BasicDataSource;import java.sql.Connection;import java.sql.ResultSet;import java.
2021-05-17 17:18:36
297
原创 flume-sink报错 : close() called when transaction is OPEN - you must either commit or rollback first
启动flume agent时报错(SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR - org.apache.flume.SinkRunner$PollingRunner.run(SinkRunner.java:158)] Unable to deliver event. Exception follows.java.lang.IllegalStateException: close() called when transaction is OP
2021-05-13 14:52:33
931
原创 Spark Streaming(十二)基于Spark Streaming&Flume&Kafka打造通用流处理平台
通用流处理平台整合日志输出到Flume1. pom.xml2. 结合log4j产生日志3. 编写Flume配置文件 streaming.conf4. Flume启动5. 配置log4j.properties6. 启动IDEA程序，查看日志接收情况整合Flume到Kafka1. 启动zookeeper2. 启动kafka3.查看Kafka的topic列表4.创建一个新的topic5.编写Flume配置文件(streaming2.conf)6.启动Flume agent7.启动kafka消费者8.启动IDEA程
2021-05-12 10:23:28
338
原创 Spark Streaming整合Kafka实战二
Spark Streaming整合Kafka实战二Spark Streaming整合kafka的第二种方式1. Direct Approach (No Receivers)优点：缺点：2. 偏移量解决方案自动提交偏移量手动提交偏移量Spark Streaming整合kafka的第二种方式1. Direct Approach (No Receivers)这种新的不基于Receiver的直接方式，是在Spark 1.3中引入的，从而能够确保更加健壮的机制。替代掉使用Receiver来接收数据后，这种方
2021-05-10 20:04:21
2807
8
原创 Spark Streaming实时流处理项目实战(十一)Spark Streaming整合Kafka实战一
Spark Streaming整合Kafka实战Spark Streaming对kafka的支持Spark Streaming整合kafka的两种方式receiver方式：基于线程拉取数据direct方式：直接连接模式1.Receiver-based ApproachSpark Streaming对kafka的支持spark streaming官网链接：https://spark.apache.org/docs/2.2.0/streaming-kafka-integration.htmlSpark
2021-05-10 17:03:55
339
4
原创 Hbase伪分布式安装
Hbase伪分布式安装1.解压hbase安装包2.配置环境变量3.修改hbase配置文件1.hbase-env.sh2.hbase-site.xmlhbase-site.xml 配置参数解析修改regionservers4. 启动1.解压hbase安装包tar -zxvf hbase-1.2.6-bin.tar.gz -C /opt/module2.配置环境变量vim /etc/profileexport HBASE_HOME=/opt/module/hbase-1.2.6export PA
2021-05-10 13:00:55
2368
3
原创 Kafka单节点部署及使用
Kafka单节点部署及使用1.下载2.上传解压3.修改配置文件4.配置环境变量修改zookeeper配置6.启动kafka6.测试创建topic查看kafka中所有topic信息创建生产者创建消费者1.下载从官网下载kafka，由于测试需要，我下载的是kafka_2.11-0.9.0.1.tgz2.上传解压将安装包上传到/opt/software目录，并解压tar -zxf kafka_2.11-0.9.0.1.tgz -C /opt/module/3.修改配置文件创建logs目录[r
2021-05-08 15:40:19
518
原创 记一次Spark Streaming 整合Flume-Pull方式报错
Spark Streaming从flume 中使用Pull拉取数据时，报如下错误： 12:18:35 INFO node.Application: Starting Sink spark-sink 12:18:35 INFO node.Application: Starting Source netcat-source 12:18:35 INFO source.NetcatSource: Source starting 12:18:35 INFO sink.SparkSink: Starting S
2021-05-05 12:36:36
162
1
原创 Spark Streaming实时流处理项目实战(十)Spark Streaming整合Flume实战二
Spark Streaming整合Flume实战二基于拉方式：Pull-based Approach using a Custom Sink配置步骤基于拉方式：Pull-based Approach using a Custom SinkSpark Streaming 基于拉方式处理 Flume-ng 数据源(Pull-based Approach using a Custom Sink)这种方式不是 Flume 直接推送数据到 SparkStreaming ，这种方法运行了一个如下所示的 Flume
2021-05-05 12:28:21
233
转载 IDEA搭建spark maven项目的 pom.xml文件配置
pom.xml文件配置如下<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/m..
2021-05-04 10:49:57
2393
Ambari-2.7.5.0 + HDP-3.1.5 （Centos7和Redhat7版本）的网盘下载地址 ，链接失效可私信
2023-03-10
Ambari-2.6.2.2 + HDP-2.6.5 （Centos7和Redhat7版本）的网盘下载地址
2022-05-12
Spark Streaming实时流处理项目实战视频网盘下载
2021-12-15
Ambari-2.7.4.0+HDP-3.1.4.0安装包-HDP安装包大全
2021-09-05
cdh6.2.1 + cm6.2.1安装包-cdh安装包大全
2021-09-05
cdh6.3.1+cm6.3.1安装包-cdh安装包大全
2021-09-05
cdh6.3.2 + cm6.3.2安装包-cdh安装包大全
2021-07-16
Ambari-2.7.3.0+HDP-3.1.0.0-Ubuntu安装包-HDP安装包大全
2021-07-16
Ambari-2.7.3.0 + HDP-3.1.0.0安装包-HDP安装包大全
2021-07-16
Ambari和HDP下载网盘地址(Ambari-2.5.2.0 + HDP-2.6.2.14)
2021-03-25
Ambari-2.7.5.0 + HDP-3.1.5.0网盘地址.zip
2021-03-11
CDH5.16.2和CM5.16.2安装包网盘地址.zip
2021-03-04
韩顺平_Scala语言核心编程 .zip
2021-02-24
SecureCRT6.6
2020-05-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人