java 帝国

在互联网这个行业里面，跳槽是一件极为常见的事情，所以，与之同步到来的一件事情就是面试。  做为面试官，你会用一些面试题来考察候选人；做为应聘者，你要准备面试以拿到offer。那么：面试，究竟面什么？ 下面，通过我个人进行求职和参与面试的经历，做一些初步的总结。 1、专业能力   首先，作为企业来说，招人是为了能够让其创造价值，所以候选人必须具...

下面是根据最近的工作内容来思考做事的方式，说是系统架构稍微有点标题党了，但是我感觉也可以说是广义的系统架构。 一、做铺垫 目前笔者在基础数据部门做实时计算相关的内容，近期接触到的主要工作是Kafka日志拆分，也就是把最基础的全量的日志Topic拆分成多个小的Topic，供业务方使用。 其主要目的为：让业务方只关注自己需要的数据，让业务更加简单和专注降低业务方和K...

Apache Flink是一个支持有边界的和无边界的数据流的有状态计算的框架。因为很多流式应用被设计成在最短的停机时间内持续运行，所以一个流式处理器必须提供卓越的失败恢复能力，同时提供工具在应用运行的时候监控和维护他们。 Flink非常关注流式处理的操作方面。下面，我们说明一下Flink的失败恢复机制并且列出他的管理和监控运行程序的特性。 一、 24/7不间断地运行你的应用...

从标题来看，这个话题是一个比较大的概念，这个话题，其实是我从工作一年多以后，一直持续不断地在思考这个问题，而现在把这个做一个个人总结。 曾经与一位同事聊天，谈到这话题，问他感觉自己现在处在什么阶段，他说：“我现在处在毕业一年的阶段！”所以，现在我想说的肯定不是这个，否则就无话可聊了~ 目前，我是一个工作四年的程序猿，按照个人经历大概分出以下四个阶段：1、被老司机带2、跟...

Apache Flink 是一个支持有状态的计算的框架，它可以用来处理有边界的数据流和无边界的数据流。Flink 提供了多种不同抽象级别的API，并且提供对于常见的用例提供专用的函数库。 一、为流式应用构建好的模块可以构建的并且被流式处理框架执行的应用类型是由框架是怎么来控制流、状态和事件来决定的。下面，我们将描述这些流式处理应用的构建块（building blocks），并且解释...

Flink是一个分布式的、有状态的计算框架，它可以处理无限的和有限的数据流。Flink原本设计的就是可以在所有的通常的集群环境，在内存中进行任意规模的计算。 一、处理无边界的和有边界的数据流任何种类的数据都是以事件流的形式产生的，比如信用卡交易、传感器测量、机器日志或者用户在网站或者移动应用上的交互等，所有的这些数据都是以流的形式产生的。 数据可以以有边界的或者无边界的流的形...

 Flink的主要特性如下： 一、所有的流式使用用例 事件驱动的应用流式 & 批量分析数据 Pipelines & ETL二、保证正确性 严格一次（Exactly-once） 状态一致性基于消息时间（Event-time）的 处理复杂的后期数据处理（Sophisticated late data handling）...

一、Window Type1、Global windows  2、Tumbling windows  3、Sliding windows  4、Session windows  5、WindowAll  二、Physical Partitioning 1、Custom 2、Random 3、Rebalancin...

http://leaderanking.com/ 领航榜单，用热榜引领你航游网络。全网热点，一网扫尽。为您提供丰富的、多类目的排行榜信息。 这个是本人开发的一个小网站，吸收了多分类、多站点的排行榜，方便您进行热点咨询的查看，谢谢支持~ 如果您有什么意见或者建议，可以联系我：henushang@qq.com ,或者iteye的站内消息也可以。...

一、多线程篇1、Java自带的线程池的类别、实现以及相关特性2、ThreadLocal 类3、synchronized、volatile、Lock类 

https://blog.csdn.net/u013573133/article/details/48142677

本章介绍基本的垃圾回收算法的，从不同的维度来划分回收的算法。      参考文章：http://pengjiaheng.iteye.com/blog/520228 

今晚花了2个小时左右，看完了官方的一篇关于JVM和GC的文章，并且同时整理为思维导图，见下图。 对于详细的垃圾回收过程，从Eden到old generation，在原文中有非常详细的介绍。后续会抽时间把原文章进行翻译的。 并且思维导图的的原件也在附件中，有兴趣的可以下载。    参考文章：http://www.oracle.com/webfolder/tec...

ES setting操作：curl -XPUT localhost:9200/_cluster/settings -d '{      "transient" : {          "threadpool.search.queue_size" : 1000000      }  }'

1、做事要有排期：任何一个工作在开始做的时候都要预估一个排期，自己要保证在排期内完成2、codereview：代码要互相review，任何改动都要提交review，如果其他人不在，自己也要把自己提交的cr地址发出来并且在注释中贴出来。3、上线以及线上问题处理：（1）上线要有checklist，必须检查checklist（2）尽量避免在周五下午和平时的晚上上线  （3）上线时，尽量单个fe...

Storm有几种不同的守护进程。Nimbus调度worker，Supervisor运行和杀死worker，log viewer 提供对于日志的访问方式，UI展示集群的状态。 一、问：如果一个Worker死掉了，那么会发生什么？答：如果一个worker死掉了，那么supervisor会重启这个worker。如果这个worker在启动的时候持续失败，那么它将不能与Nimbus正常进行心跳...

 一、 Spark - Cluster Mode概述（翻译） 

这个文档简要的介绍下Spark是怎么样在集群模式中运行的，以方便更容易的理解其涉及到的组件。可以通过阅读 application submission guide来了解怎么样在集群中运行应用程序。 ComponentsSpark应用程序作为独立的进程集运行，它们是由 main程序（称为driver程序）中的SparkContext 对象进行协调的。特别地，在集群上运行是，Spa...

Map Reduce & YARN简介Apache Hadoop 是一个开源软件框架，可安装在一个商用机器集群中，使机器可彼此通信并协同工作，以高度分布式的方式共同存储和处理大量数据。最初，Hadoop 包含以下两个主要组件：Hadoop Distributed File System (HDFS) 和一个分布式计算引擎，该引擎支持以 MapReduce 作业的形式实现...

公司A：1.讲讲你做的过的项目。 项目里有哪些 难点重点注意点呢？2.讲讲多线程吧， 要是你，你怎么实现一个线程池呢？3.讲一下Mapreduce或者hdfs的原理和机制。map读取数据分片。4.shuffle 是什么？ 怎么调优？5.项目用什么语言写？ Scala？ Scala的特点？ 和Java的区别？6.理论基础怎么样，...