Winter is coming……

由于项目原因，最近经常碰到Kafka消息队列某topic在集群宕机重启后无法消费的情况。碰到这种情况，有三步去判断原因所在：step A：如果用kafka串口（即console-consumer）是可以正常消费该topic，则排除kafka集群出现故障step B：若平台业务能正常消费其他topic的消息，则排除平台业务代码逻辑问题step C：不到万不得已，则只能手动删除

阿里（内推一面，卒）时间：3月初；形式：电话面；岗位：Java研发（分布式方向）内容：1、Java的内存管理2、现有的GC算法3、HashMap是不是线程安全的，ConcurrentHashMap怎么实现线程安全4、volatie和synchronized的原理和对比5、tcp与udp的区别6、socket通信的过程7、AOP有用过吗？原理是啥？8、熟悉哪些

转载自：http://littlewhite.us/archives/212作者：littlewhiteC/C++是使用比例最高的程序语言，而vim是专为程序员开发的编辑器，当这两者结合起来，会给我们带来怎样的效果呢。对于windows上做C++开发的用户来说，vs为他们做了大量的工作，语法高亮、自动缩进、智能提示等等，当你happy的使用vs时，请记住

Introducing the Kafka Consumer: Getting Started with the New Apache Kafka 0.9 Consumer Client http://www.confluent.io/blog/tutorial-getting-started-with-the-new-apache-kafka-0.9-consumer-client 当kafk

笔者刚接触大数据方面时，只知道Hadoop和时下很火的Spark，对Hadoop、Spark的认知只停留在跑跑demo，写点离线小app，后来随着学业项目的需要，开始逐步了解时下工业界的大数据平台是如何搭建起来的。在搜刮大量资料后，从一篇paper里看到Lambda这一陌生的字眼，再一搜，发现这正是我需要的大数据平台基础架构。Oryx2正是基于Lambda架构和Spark搭建的大数据处理开源框架。

Apache Kafka集群架构上图即是Kafka集群架构概览图，以下将介绍图中的术语：Broker：为了维持负载均衡，Kafka集群一般是由多个broker组成。Kafka broker是无状态的，所以他们使用zookeeper维系集群的状态。一个broker单位时间（1秒）内可以处理成百上千的读写操作，并且可以hold住TB级的数据量。brokers的leader选举由zookeeper消化。Z

Apache Kafka 基本原理从上图，可以浅显的看到，一个topic配置了三个partition。Partition 1 有两个偏移量0和1；Partition 2 有四个偏移量0，1，2，3；Partition 3 有一个偏移量0。Broker中的replica的id与其server的id一致。总之，如果topic的replication factor被设置为3，Kafka将会对应每个Part

Apache Kafka 介绍一、Kafka是什么Apache Kafka是一种分布式的消息发布-订阅系统，而且是一种可以处理大量数据且能点对点传输消息的鲁棒的队列。Kafka适合线下和线上的消息消费。Kafka的消息会被持久化在磁盘并在集群中被复制多份备份防止数据丢失。Kafka必须部署在Zookeeper同步服务之上。Kafka可以和Apache Storm和Spark很好的结合，应用于实时数据

环境OS: Ubuntu 16.04 LTSJava: open-jdk1.8.0_111（需要1.7+）Hadoop: hadoop-2.7.3Zookeeper: zookeeper-3.4.9Hbase: hbase-1.2.4集群机器 IP HostName Master RegionServer 10.100.3.88 Master yes no

一、判断ubuntu是否开启防火墙sudo ufw status开放防火墙3306端口sudo ufw allow 3306二、查看3306端口是否打开 注意：红色框框表示3306绑定的ip地址–>未修改前为：127.0.0.1:3306–>即mysql默认绑定localhost，远程访问不了 *如果是绑定了127.0.0.1则继续看第三步，否则请跳过第三步三、修改mysql配置文件，将bind

首先，此推荐系统搭建在基于Hadoop(2.7.3)、Spark(2.0.0)、Zookeeper（可选）的集群上，关于Hadoop和Spark集群搭建可参考我前面几篇水水的博文~其次，此demo用到的数据来自DataCastle的一个正在进行的比赛，数据集在此请大家移步下载~比赛的主题是关于地点的推荐 （训练集数据格式：userID, addressID, count –> 用户id，地点id，

转自GoogleSite算法导论习题解答，先fork一下算法导论其实已经给出了具体的证明步骤，但是还是有些省略，此文章是对主定理进行了完全的证明；主定理的证明大致分为两个阶段：(1)假设n为b的整数次幂，如1,b,b^2,b^3....(2)不限定n的范围，n可以为任意整数；首先我们先证明第一阶段，即n=b^i；

Given an array of integers, return indices of the two numbers such that they add up to a specific target.You may assume that each input would have exactly one solution.Example:Given nums = [2, 7, 11, 1

题目： Write a function that takes an unsigned integer and returns the number of ’1’ bits it has (also known as the Hamming weight).For example, the 32-bit integer ’11’ has binary representation 00000000

题目： Given a sorted linked list, delete all duplicates such that each element appear only once.For example, Given 1->1->2, return 1->2. Given 1->1->2->3->3, return 1->2->3.Java代码：/** * Definition fo

一、首先，po出spark-shell脚本代码，位置坐标为：$SPARK_HOME/bin/spark-shell#!/usr/bin/env bash## Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTICE fil