- 博客(10)
- 收藏
- 关注
RSS订阅
原创 Postgresql实现主从复制，读写分离
前言简单记录一下postgresql主从的实现方式之一——基于Standby的异步流复制，这是PostgreSQL9.x版本（2010.9）之后提供的一个很nice的功能，类似的功能在Oracle中是11g之后才提供的active dataguard和SQL Server 2012版本之后才提供的日志传送，此处再次为pg鼓掌，确实是一个很棒的开源数据库。废话不多说，本篇blog就详细记录一下在...
2019-01-29 16:08:53
20365
2
原创 初识Flink
Apache Flink是一个用于分布式流和批处理数据处理的开源平台。Flink的核心是流数据流引擎，为数据流上的分布式计算提供数据分发，通信和容错。Flink在流引擎之上构建批处理，覆盖本机迭代支持，托管内存和程序优化。一、Flink 的下载安装启动设置：下载并启动FlinkFlink可在Linux，Mac OS X和Windows上运行。为了能够运行Flink，唯一的要求是安装一个...
2019-01-26 10:51:00
1063
原创 spark streaming 实时流处理项目实战
spark streaming 实时流处理项目实战一、 编写python 日志产生脚本，并使用linux 的crontab 命令 一分钟执行一次tool.lu/crontab 网站 可以测试 cron表达式cd /home/hadoop/data/project将以下python 脚本放到...
2019-01-24 10:57:06
2683
3
原创 spark streaming 整合flume ，kafka 打造通用流处理
一、编写LoggerGenerator.java文件用于生成日志信息添加依赖 <dependency> <groupId>org.apache.flume.flume-ng-clients</groupId> <artifactId>flume-ng-log4jappender&...
2019-01-14 21:25:38
1364
原创 spring boot 集成 rabbitmq 、 redis 、 mqtt（mosquitto）、activemq
spring boot 集成rabbitmq、 redis 、 和 mqtt（mosquitto）一、 添加依赖，编写 application.xml 依赖 <!--添加 rabbitmq 的依赖--> <dependency...
2019-01-10 15:14:08
3717
1
原创 spark streaming 整合 kafka 两种 Receiver-based 和 Direct Approach
一、Receiver 方式整合 spark streaming 和 kafka启动zookeeperzkServer.sh start启动kafka ：kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties创建topic：kafka-topics.sh --create --zooke...
2019-01-03 17:33:17
1151
原创 spark streaming 整合 flume两种方式 push 和 pull
一、push 方式 ：spark streaming 整合 flume 配置开发cd $FLUME_HOMEcd conf编写 flume配置文件， vim flume_push_streaming.confsimple-agent.sources = netcat-sourcesimple-agent.sinks = avro-sinksimple-age...
2019-01-03 15:22:45
1256
原创 Spark Streaming 进阶实战五个例子
一、带状态的算子：UpdateStateByKey实现 计算 过去一段时间到当前时间 单词 出现的 频次object StatefulWordCount { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setMaster("local[2]").setAppName("Stat...
2019-01-03 13:46:53
1472
原创 spark 环境搭建
一、spark 安装 配置 基于上一篇博客 CentOS6.4环境编译Spark-2.1.0源码，将编译出来的spark-2.1.0-bin-2.6.0-cdh5.7.0.tgz进行解压，并配置环境变量。执行 spark-shell --master local[2] 命令，看到如图所示界面 说明安装成功：本地模式二、从词频统计着手入门sparkpackage org....
2019-01-02 19:08:07
1061
原创 基于CentOS6.4环境编译Spark-2.1.0源码
基于CentOS6.4环境编译Spark-2.1.0源码 1 写在前面的话有些小伙伴可能会问：Spark官网不是已经提供了Spark针对不同版本的安装包了吗，我们为什么还需要对Spark源码进行编译呢？针对这个问题我们到Spark官网: spark.apache.org来看下，如下图所示:Spark官网的确是提供了一些Hadoop版本的Spark安装包，但是提供的这些是否能够满...
2019-01-02 14:39:59
1061
SpringBoot项目整合WebSocket+netty实现前后端双向通信（同时支持前端webSocket和socket协议）
2023-07-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人