2016年12月_cihongmo6452

转载 Spark Streaming实践和优化

在流式计算领域，SparkStreaming和Storm时下应用最广泛的两个计算引擎。其中，Spark Streaming是Spark生态系统中的重要组成部分，在实现上复用Spark计算引擎。如图1所示，Spark Streaming支持的数据源有很多，如Kafka、Flume、TCP等。S...

2016-12-30 14:19:00 112

转载 Spark Streaming揭秘 Day33 checkpoint的使用

Spark Streaming揭秘 Day33 checkpoint的使用今天谈下sparkstreaming中，另外一个至关重要的内容Checkpoint。首先，我们会看下checkpoint的使用。另外，会看下在应用程序重新启动时，是如何处理checkpoint的。 Che...

2016-12-30 11:12:00 59

转载 eclipse安装JAVA反编译插件

前言：在实际的开发中几乎都会使用到一些框架来辅助项目的开发工作，对于一些框架的代码我们总怀有一些好奇之心，想一探究竟，有源码当然更好了，对于有些JAR包中的代码我们就需要利用反编译工具来看一下了，下面是我常使用的一种安装JAVA反编译工具的方法，操作比较简单，不过时间长了也容易忘记，还是在此小...

2016-12-27 09:16:00 99

转载 Eclipse Class Decompiler——Java反编译插件

Eclipse Class Decompiler，整合了目前最好的2个Java反编译工具Jad和JD-Core，并且和Eclipse Class Viewer无缝集成，能够很方便的使用本插件查看类库源码，以及采用本插件进行Debug调试。 Eclipse Class Decompiler插件...

2016-12-27 09:14:00 60

转载 Eclipse装了插件之后插件没反应启用不了或不显示问题的解决办法

本文是关于Eclipse装了插件之后插件没反应启用不了或不显示问题的解决办法的内容。一、问题描述装了插件以后（一般是把插件文件/夹拷贝到eclipse的plugin目录就完成了插件的安装），重启eclipse之后，刚刚安装的插件却没有显示在eclipse界面或不起...

2016-12-27 09:12:00 2571

转载 auto.offset.reset解释

[plain] view plain copyauto.offset.reset largest What to do when there is no initial offset in ZooKeeper or if an offset is out of range: ...

2016-12-26 09:05:00 263

转载用实例讲解Spark Sreaming--转

本篇文章用Spark Streaming ＋Hbase为列，Spark Streaming专为流式数据处理，对Spark核心API进行了相应的扩展。什么是Spark Streaming？首先，什么是流式处理呢？数据流是一个数据持续不断到达的无边界序列集。流式处理是把连续不断的数据输入...

2016-12-22 22:49:00 54

转载关于hadoop与jstl冲突的jar包

刚开始使用spring去写一个关于hdfs的web项目，使用EL表达式时报如下错误： org.apache.jasper.JasperException: Unable to compile class for JSP: An error occurred at line: 20 ...

2016-12-22 15:00:00 94

转载 HBase内置过滤器的一些总结

Hbase为筛选数据提供了一组过滤器，通过这个过滤器可以在HBase中的数据的多个维度（行，列，数据版本）上进行对数据的筛选操作，也就是说过滤器最终能够筛选的数据能够细化到具体的一个存储单元格上（由行键，列明，时间戳定位）。通常来说，通过行键，值来筛选数据的应用场景较多。 1. Row...

2016-12-22 08:42:00 82

转载 Hbase的TTL字段超时设置测试

在工作中，很多时候需要对表字段进行限定，例如限定一列的超时时间等。今天就总结一下： 1. 做Hbase表做更改前，首先要disable 这个表，否则记录会丢失。首先，我们建立一个测试表test，有一个列簇fa hbase(main):111:0> describe 'test...

2016-12-16 14:33:00 87

转载 apache kafka系列之server.properties配置文件参数说明

apache kafka中国社区QQ群:162272557 每个kafka broker中配置文件server.properties默认必须配置的属性如下： [java]view plaincopy broker.id=0 num.network...

2016-12-16 14:30:00 40

转载漫游Kafka之过期数据清理

Kafka将数据持久化到了硬盘上，允许你配置一定的策略对数据清理，清理的策略有两个，删除和压缩。数据清理的方式删除 log.cleanup.policy=delete启用删除策略直接删除，删除后的消息不可恢复。可配置以下两个策略：清理超过指定时间清理： log.reten...

2016-12-16 14:27:00 474

转载 spark实现hadoop中获取文件名的功能

hadoop1版本中提供了获取文件名的功能，就是在map阶段可以获取每一行记录属于哪个文件，可以得到这个文件名，代码如下： Java代码 //获取文件名 InputSplitinputSplit=(InputSplit)context.getInputSplit...

2016-12-12 18:01:00 217

转载 yarn 根据applicationId查看日志

前提需要yarn开通日志聚合设置 cd /usr/lib/hadoop-yarn/binyarn logs -applicationId application_1436784252938_0022 ...

2016-12-03 15:42:00 722

转载查看spark on yarn的日志和程序状态的方法

一、在命令行使用命令查看 (1)查看日志：yarn logs -applicationIdapplication_1469094096026_26612 (2)查看状态：yarn applicaiton -statusapplication_1469094096026_26612 红色...

2016-12-03 15:41:00 342

转载为什么覆写equals的时候一定要覆写hashCode?

经常在论坛上面看到覆写hashCode函数的问题，很多情况下是一些开发者不了解hash code，或者和equals一起用的时候不太清楚为啥一定要覆写hashCode。对于hash code的理论我不想多说，这个话题太大。那些“对称性”，“传递性”的规则网上有无数的文章来描述...

2016-12-03 10:17:00 78

转载 TCP/IP、Http的区别

TPC/IP协议是传输层协议，主要解决数据如何在网络中传输，而HTTP是应用层协议，主要解决如何包装数据。关于TCP/IP和HTTP协议的关系，网络有一段比较容易理解的介绍：“我们在传输数据时，可以只使用（传输层）TCP/IP协议，但是那样的话，如果没有应用层，便无法识别数据内容，如果想要使传...

2016-12-03 09:39:00 48

cihongmo6452的博客