桃花惜春风

干货:https://gitbook.cn/gitchat/author/5b7f5019bccbb0450ae86ccd

Canal报错:Could not find first log file name in binary log index file

报错信息: at com.alibaba.otter.canal.parse.inbound.mysql.dbsync.DirectLogFetcher.fetch(DirectLogFetcher.java:102) ~[canal.parse-1.1.0.jar:na] ...

2018-12-05 19:55:43

阅读数:74

评论数:1

如何在JavaBean中使用关键字命名对象

我们在bean中创建变量时,可以回不得已要使用关键字命名对象,因为有时候json转bean时,json中的key是可以以关键字命名的,但bean中是不允许以关键字命名变量。 我们可以使用注释修饰关键字变量: import com.alibaba.fastjson.annotation.JSON...

2018-11-23 11:51:31

阅读数:67

评论数:0

最全JSON格式字符串、JSON对象、JavaBean之间的相互转换及遍历

本文中的json基于FastJson,并且推荐大家使用。FastJson相比Gson,效率更好一些,对于不是特别复杂的JSON,可以选择。 JSON格式字符串与JSON对象 字符串 转 JSON JSONObject jsonObject = JSON.parseObject(jso...

2018-11-23 11:43:41

阅读数:39

评论数:0

Spark报错(三):Spark task not serializable

原因分析 我们在做spark开发是会遇到这个报错:“org.apache.spark.SparkException: Task not serializable”。字面意思就是task没有被序列化。报这个错的原因就是由于我们在map等算子内部使用了外部定义的变量和函数,从而引发Task未序列化问...

2018-11-23 11:04:35

阅读数:33

评论数:0

日志系统技术选型和架构分析

本篇文章关于日志系统技术选型和架构分析,已经发表在GitChat,跳转链接 主要介绍一些现有的比较成熟的日志系统架构,别人的架构再好却不一定适合你,本文将教你如何选择搭建适合自己业务场景的日志系统。 本场 Chat 主要介绍内容如下: 我们为什么要搭建日志系统? 如何进行技术选型? 如何...

2018-11-09 14:17:04

阅读数:67

评论数:0

Elasticsearch干货(八):Elasticsearch 实战应用系列

本篇文章关于Elasticsearch 实战应用,已经发表在GitChat,跳转链接 主要内容包括: 集群安装; 插件安装; 使用索引模版; 单机多实例配置; 冷热数据分离配置; 外网访问 ES 配置; 滚动升级集群方案; 线上 Reindex 方案; 集群监控。 适合人群: Elastic...

2018-11-05 11:15:21

阅读数:97

评论数:0

GitChat文章推荐

GitChat上发表的第一篇文章,希望大家多多支持。现在正在着手准备Elasticsearch全系列达人课,从入门到原理深入,篇幅会比较长,写得非常细。 跳转链接:Elasticsearch 实战应用系列 ...

2018-10-29 15:18:40

阅读数:82

评论数:1

Spark实战(三):SparkStreaming使用checkpoint容错

由于SparkStreaming一般是7*24不间断运行,所以强大的容错性保障是必不可少的。并且在保证容错的基础上,保证精准一次的数据处理同样是我们想要的。 checkpoint SparkStreaming自带的容错机制主要是通过checkpoint来实现。checkpoint的机制...

2018-10-18 20:08:39

阅读数:156

评论数:0

Spark干货(一):spark streaming集成kafka容灾选择和技术分析

本文主要探讨关于spark streaming集成kafka的容错处理和断点续传操作。 spark streaming有两种容错机制: spark自带的checkpoint 使用Kafka direct自行维护offset 关于两种方式的具体实现和优缺点下面会详细介绍,这里...

2018-09-29 17:36:43

阅读数:1330

评论数:0

Elasticsearch干货(九):Elasticsearch崩溃风险

我们在使用Elasticsearch时应该选择性的避免一些可能导致集群变慢甚至崩溃的操作,这是非常必要的。 通配符 我们在查询时,或多或少可能会用到通配符(比如:*)来进行查询操作。但是一个通配符下对应的往往是非常大的数据集,这种情况下,很容易导致集群变慢。所以我们在使用通配符时一定要...

2018-09-25 19:15:11

阅读数:1459

评论数:0

Spark实战(二):Kafka-SparkStreaming-Elasticsearch

本文介绍saprk实时部分----spark-streaming。spark-streaming可以实现实时批处理功能,实际上还是相当于小的批处理,但是是7*24工作,可以近实时但需要维护成本。本文里的用java写的demo,实现功能是将kafka作为spark-streaming的输入源,E...

2018-09-20 09:47:56

阅读数:1447

评论数:0

Spark实战(一):spark读取本地文件输出到Elasticsearch

对于spark的典型应用场景为批处理,一般由基本数据源(文件系统如:hdfs)或者高级数据源(flume、kafka)作为spark的数据接入端。输出一样可以是文件系统或数据库等等。本文介绍一个用java写的demo程序,功能是从本地接收数据,经过spark处理之后输出到Elasticsear...

2018-09-19 20:27:43

阅读数:1353

评论数:0

Lucene原理(一):基本概念

Apache Lucene是Apache的一个核心开源项目,是目前最好的搜索框架。扩展性强,支持全文检索,各种各样的数据结构,支持不同的查询需求。 目前使用Apache Lucene最好的两款开源软件: Apache solr,Apache 旗下的开源搜索引擎,支持各种数据格式的检索...

2018-09-15 18:15:52

阅读数:1296

评论数:0

Elasticsearch案例分析(一):Bulk异常导致Elasticsearch内存泄漏

这周三线上股票板块的Elasticsearch集群发生了很严重的内存泄漏,本身数据量不大的一个集群,占用内存却非常的高,甚至内存占用已经超过了数据总量。最终是通过临时重启解决问题。 虽然重启释放掉了内存空间,但问题原因没找到,就意味着还有可能发生。由于这是一个新搭建不久的集群,也是本人迷...

2018-09-15 16:38:29

阅读数:1350

评论数:0

Elasticsearch干货(三):对于数值类型索引优化

我们在使用Elasticsearch不免会遇到像int、double这种数值类型,Elasticsearch本身也是支持这些类型的,但并不意味着数字就一定要用数值类型,恰恰相反,用keyword有时候性能会更好,包括对数值进行range。博主生产上就出现过对数值类型range非常慢的情况。本...

2018-09-15 11:48:42

阅读数:1623

评论数:0

mac本地搭建Spark

博主建议对于初学者本地先搭个spark环境玩玩,搭建非常容易,平时测试一个小demo非常方便。因为服务器一般情况是只有内部网才能进行访问的,有些时候很不方便。后续会介绍如何在生产服务器上搭建不同模式下的Spark集群。 安装jdk 这个就不详细介绍了,写程序的不会安装jdk那该考虑...

2018-09-14 15:29:14

阅读数:1416

评论数:0

Spark报错(一):java.lang.SecurityException: Invalid signature file digest for Manifest main attributes

报错如下: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 0.0 failed 4 times, most recent failure: Lost task 0.3 in...

2018-09-13 20:57:57

阅读数:1186

评论数:0

Spark报错(二):关于Spark-Streaming官方示例wordcount运行异常

关于Spark-Streaming官方示例: https://github.com/apache/spark/tree/master/examples 本文采用kafka作为spark输入源 运行时出现以下日志: 18/09/12 11:15:28 IN...

2018-09-13 20:57:14

阅读数:1142

评论数:0

eclipse安装Scala开发环境

首选要在机器上搭建Scala:参考: 安装scala工具 打开eclipse 点击”Scala IDE 4.7.x”相对应的”Install”按钮,进行安装。 选择你需要的组件 执行安装 安装后重新启动 创建Scala项目 点击ecl...

2018-09-13 20:55:32

阅读数:1079

评论数:0

Mac安装Scala

随着spark越来越火,scala也是水涨船高,越来越多的人开始学习scala。 官网下载Scala:http://www.scala-lang.org/download/ 解压 tar -xzf scala-2.12.6.tgz 配置变量 Mac的环境变量是:vi .b...

2018-09-13 20:53:54

阅读数:1175

评论数:0

提示
确定要删除当前文章?
取消 删除