2018年04月_往事随风ing

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 [Spark基础]--Spark Streaming 数据接收优化

感谢原文链接：https://www.jianshu.com/p/a1526fbb2be4看这篇文章前，请先移步Spark Streaming 数据产生与导入相关的内存分析, 文章重点讲的是从Kafka消费到数据进入BlockManager的这条线路的分析。这篇内容是个人的一些经验，大家用的时候还是建议好好理解内部的原理，不可照搬让Receiver均匀的分布到你的Executor上在Spark S...

2018-04-28 13:55:32 341

转载 [Java基础]--JVM图形化监控工具

感谢原文链接：http://286.iteye.com/blog/1931574 前篇文章已经介绍了一些JDK 中自带的监控工具，但是这些工具都是基于文本界面的，无法很直观的看出程序运行的波动情况，这节就介绍一些图形化的监控工具供大家更简单容易的监控使用。首先说几个官方开发的图形监控工具： 1.jvmstat jvmstat是图形版的jstat，由J...

2018-04-27 17:01:47 1093 1

转载 [Java基础]--[译][转]Google的Java编程风格指南（Java编码规范）

感谢原文链接：http://www.hollischuang.com/archives/746[译][转]Google的Java编程风格指南（Java编码规范）这份文档是Google Java编程风格规范的完整定义。当且仅当一个Java源文件符合此文档中的规则，我们才认为它符合Google的Java编程风格。与其它的编程风格指南一样，这里所讨论的不仅仅是编码格式美不美观的问题，同时也讨论一些约...

2018-04-27 14:57:20 305

转载 [面试]--你离BAT之间，只差这一套Java面试题

感谢原文链接：http://www.hollischuang.com/archives/2223最近，各大公司开始了春招，很多人已经开始在准备面试了，特地来总结下初中级程序员应该掌握的面试题目。这篇面试指南，只适用于初中级程序员，其中不涉及分布式等问题。关于中高级的程序员问题，我后面可能再出一篇文章。对于一个初中级程序员来说，面试问题不仅仅涉及到Java语言，还会包括很多其他知识，比如计算机基础知...

2018-04-27 14:42:35 744

转载 [Java基础]--Java GC工作原理

感谢原文链接：http://www.hollischuang.com/archives/76GC的基本原理GC是什么?为什么要有GC呢?GC是垃圾收集的意思（GarbageCollection）,内存处理是编程人员容易出现问题的地方，忘记或者错误的内存回收会导致程序或系统的不稳定甚至崩溃，Java提供的GC功能可以自动监测对象是否超过作用域从而达到自动回收内存的目的，Java语言没有提供释放已分配...

2018-04-27 14:35:30 442

转载 [Java基础]--Java命令学习系列（三）——Jmap

感谢原文链接：http://www.hollischuang.com/archives/303Jmapjmap是JDK自带的工具软件，主要用于打印指定Java进程(或核心文件、远程调试服务器)的共享对象内存映射或堆内存细节。可以使用jmap生成Heap Dump。在Java命令学习系列（零）——常见命令及Java Dump介绍和Java命令学习系列（二）——Jstack中分别有关于Java Dum...

2018-04-27 14:24:33 286

原创 [ElasticSearch基础]--初识ES

由于很久没有使用ES了，所以打算好好整理下知识，那么下面就按着4W1H法则再次理解和学习ES。希望对初学者或者想了解ES的朋友有所帮助。一、4H1W1、ElasticSearch是什么？标准解释：Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎。它允许您快速，近实时地存储，搜索和分析大量数据。它通常用作支持具有复杂搜索功能和需求的应用程序的底层引擎/技术。ES主要解决问...

2018-04-26 17:59:35 579

转载 [Spark基础]--雾计算

wiki解释雾计算（英语：Fog Computing）或雾联网（fog networking，或fogging），是使用最终用户终端设备或连接最终用户设备的边缘设备，以分布式协作架构进行数据存储（相较于将数据集中存储在云数据中心），或进行分布式网络数据包传输通信（相较于通过互联网骨干路由），或相关分布式控制或管理。雾计算是由思科（Cisco）在2014年所提出的概念[1]，为云计算的延伸，这个架构...

2018-04-23 15:17:17 1407

原创 [Scala基础]--循环控制(类比java的break和continue)

Java的循环控制操作主要有break和continue，但是Scala没有continue关键字，下面举例使用break构建continue的效果。需要用到scala的依赖包：import scala.util.control.Breaks.{break, breakable}1、breakable在for循环外，遇到break则终止for循环test("2018年4月20日11:34:31 测...

2018-04-20 11:54:26 528

转载 [Spark基础]--spark core参数优化(针对spark-2.x.x以下版本)

写在前面文中大部分是摘自美团点评的文章(原文-->https://tech.meituan.com/spark-tuning-basic.html)文中添加了我自己的理解 Spark资源调优我们在开发完Spark程序之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。先认识下Spark作业的资源使用原理，并...

2018-04-17 16:49:30 1288 2

原创 [Spark基础]--闭包清理类ClosureCleaner

什么是spark闭包？我的理解：函数可以访问函数外面的变量，但是函数内对变量的修改，在函数外是不可见的。计算机中的理解：在计算机科学中，闭包（Closure）是词法闭包（Lexical Closure）的简称，是引用了自由变量的函数。这个被引用的自由变量将和这个函数一同存在，即使已经离开了创造它的环境也不例外。所以，有另一种说法认为闭包是由函数和与其相关的引用环境组合而...

2018-04-17 16:06:36 2900

原创 [Spark基础]--理解Spark闭包

理解Spark的闭包对于Spark来说, 最困难的事情之一就是在跨集群执行代码时了解变量和方法的范围和生命周期。RDD 在其范围之外修改变量的操作可能会经常引起混淆。在下面的示例中, 我们将查看使用 foreach () 递增计数器的代码, 但其他操作也可能发生类似的问题。举例考虑下面简单的RDD元素和，它的行为可能会有所不同，这取决于是否在同一个JVM中执行。这方面的一个常...

2018-04-17 15:31:50 1160

原创 [Spark streaming 基础]--使用低阶API消费Kafka数据(手动更新offset)

版本：spark(1.6.0)+kafka(0.9.0)+zookeeper(3.4.6) 由于目前spark每天需要从kafka中消费数亿条左右的消息，集群压力比较大，会导致job不同程度的异常退出。原来使用spark1.6.0版本中的createStream函数，但是在数据处理速度跟不上数据消费速度且job异常退出的情况下，可能造成大量的数据丢失。还好，spark后续版本对这一情况有...

2018-04-08 11:16:09 2665

转载 [Spark streaming基础]--消费Kafka的方式对比(Receiver-based Approach vs Direct Approach)

原文链接：https://www.jianshu.com/p/b4af851286e5前言这个算是Spark Streaming 接收数据相关的第三篇文章了。前面两篇是：Spark Streaming 数据产生与导入相关的内存分析Spark Streaming 数据接收优化Spark Streaming 接受数据的方式有两种：Receiver-based ApproachDirect Appro...

2018-04-08 09:41:59 1245 2

翻译 [HBase基础]--namespace介绍

原文：http://hbase.apache.org/book.html#_namespacenamespace是一个类似于关系数据库的逻辑分组表数据库系统。这种抽象奠定了基础为即将到来的多租户相关功能:Quota Management( hbase - 8410 )——限制资源的数量(即地区,表)一个命名空间可以使用。Namespace Security Administration( hba...

2018-04-07 13:56:37 707

转载 [Kafka调优]--调优Apache Kafka集群

本文转自：http://www.cnblogs.com/huxi2b/p/6936348.html今天带来一篇译文“调优Apache Kafka集群”，里面有一些观点并无太多新颖之处，但总结得还算详细。该文从四个不同的目标出发给出了各自不同的参数配置，值得大家一读~ 原文地址请参考：https://www.confluent.io/blog/optimizing-apache-kafka-depl...

2018-04-04 22:09:56 2674