Winter is coming……

scuter_victor的博客

Kafka某topic无法消费解决方案&Kafka某Topic数据清理

由于项目原因,最近经常碰到Kafka消息队列某topic在集群宕机重启后无法消费的情况。碰到这种情况,有三步去判断原因所在: step A:如果用kafka串口(即console-consumer)是可以正常消费该topic,则排除kafka集群出现故障 step B:若平台业务能正常...

2017-05-25 22:42:49

阅读数 17654

评论数 0

2017暑期实习面经分享(大数据&Java&后台)

阿里(内推一面,卒) 时间:3月初;形式:电话面;岗位:Java研发(分布式方向) 内容: 1、Java的内存管理 2、现有的GC算法 3、HashMap是不是线程安全的,ConcurrentHashMap怎么实现线程安全 4、volatie和synchronized的原理和对比 5、tcp与ud...

2017-05-20 16:15:16

阅读数 2541

评论数 1

vim C++开发环境插件安装详解

转载自:http://littlewhite.us/archives/212 作者:littlewhite C/C++是使用比例最高的程序语言,而vim是专为程序员开发的编辑器,当这两者结合起来,会给我们带来怎样的效果呢。 对于windows上做C++开发的用...

2017-05-07 11:29:24

阅读数 2629

评论数 0

Kafka使用进阶——消费者

Introducing the Kafka Consumer: Getting Started with the New Apache Kafka 0.9 Consumer Client http://www.confluent.io/blog/tutorial-getting-started-...

2017-01-21 22:25:07

阅读数 17858

评论数 0

大数据平台Lambda架构浅析(全量计算+增量计算)

笔者刚接触大数据方面时,只知道Hadoop和时下很火的Spark,对Hadoop、Spark的认知只停留在跑跑demo,写点离线小app,后来随着学业项目的需要,开始逐步了解时下工业界的大数据平台是如何搭建起来的。在搜刮大量资料后,从一篇paper里看到Lambda这一陌生的字眼,再一搜,发现这正...

2016-12-23 22:50:53

阅读数 2455

评论数 2

Kafka学习笔记(三)

Apache Kafka集群架构上图即是Kafka集群架构概览图,以下将介绍图中的术语:Broker:为了维持负载均衡,Kafka集群一般是由多个broker组成。Kafka broker是无状态的,所以他们使用zookeeper维系集群的状态。一个broker单位时间(1秒)内可以处理成百上千的...

2016-11-29 17:15:15

阅读数 509

评论数 0

Kafka学习笔记(二)

Apache Kafka 基本原理从上图,可以浅显的看到,一个topic配置了三个partition。Partition 1 有两个偏移量0和1;Partition 2 有四个偏移量0,1,2,3;Partition 3 有一个偏移量0。Broker中的replica的id与其server的id一...

2016-11-25 17:05:29

阅读数 433

评论数 0

Kafka学习笔记(一)

Apache Kafka 介绍一、Kafka是什么Apache Kafka是一种分布式的消息发布-订阅系统,而且是一种可以处理大量数据且能点对点传输消息的鲁棒的队列。Kafka适合线下和线上的消息消费。Kafka的消息会被持久化在磁盘并在集群中被复制多份备份防止数据丢失。Kafka必须部署在Zoo...

2016-11-24 15:20:37

阅读数 470

评论数 0

HBase集群部署(完全分布式)及部署过程遇到问题浅析解决

环境 OS: Ubuntu 16.04 LTS Java: open-jdk1.8.0_111(需要1.7+) Hadoop: hadoop-2.7.3 Zookeeper: zookeeper-3.4.9 Hbase: hbase-1.2.4 集群机器 IP HostName Mas...

2016-11-18 16:16:47

阅读数 1977

评论数 0

Ubuntu远程连接MySQL(connection refused)解决方法

一、判断ubuntu是否开启防火墙sudo ufw status开放防火墙3306端口sudo ufw allow 3306二、查看3306端口是否打开 注意:红色框框表示3306绑定的ip地址–>未修改前为:127.0.0.1:3306–>即mysql默认绑定localhost,远...

2016-11-03 10:47:09

阅读数 4794

评论数 2

基于Spark ALS的离线推荐系统实践

首先,此推荐系统搭建在基于Hadoop(2.7.3)、Spark(2.0.0)、Zookeeper(可选)的集群上,关于Hadoop和Spark集群搭建可参考我前面几篇水水的博文~其次,此demo用到的数据来自DataCastle的一个正在进行的比赛,数据集在此请大家移步下载~比赛的主题是关于地点...

2016-10-28 16:05:46

阅读数 2236

评论数 0

主定理证明

转自GoogleSite算法导论习题解答,先fork一下 算法导论其实已经给出了具体的证明步骤,但是还是有些省略,此文章是对主定理进行了完全的证明; 主定理的证明大致分为两个阶段: (1)假设n为b的整数次幂,如1,b,b^2,b^3.... (2)不限定n的范围,n可以为任意...

2016-10-16 16:08:57

阅读数 801

评论数 0

LeetCode 1. Two Sum (C++)

Given an array of integers, return indices of the two numbers such that they add up to a specific target.You may assume that each input would have ex...

2016-10-16 10:41:37

阅读数 271

评论数 0

Leetcode 191. Number of 1 Bits

题目: Write a function that takes an unsigned integer and returns the number of ’1’ bits it has (also known as the Hamming weight).For example, the 32...

2016-10-13 22:28:37

阅读数 222

评论数 0

Leetcode 83. Remove Duplicates from Sorted List

题目: Given a sorted linked list, delete all duplicates such that each element appear only once.For example, Given 1->1->2, return 1->2. Gi...

2016-10-13 22:04:33

阅读数 236

评论数 0

spark-shell脚本浅析(Spark2.0.0)

一、首先,po出spark-shell脚本代码,位置坐标为:$SPARK_HOME/bin/spark-shell#!/usr/bin/env bash # # Licensed to the Apache Software Foundation (ASF) under one or more #...

2016-10-13 13:55:09

阅读数 2121

评论数 0

Leetcode 326. Power of Three

题意: Given an integer, write a function to determine if it is a power of three.Follow up: Could you do it without using any loop / recursion?即判断该整数是...

2016-10-12 22:13:58

阅读数 288

评论数 0

LeetCode 401 Binary Watch (Java)

题意: A binary watch has 4 LEDs on the top which represent the hours (0-11), and the 6 LEDs on the bottom represent the minutes (0-59).Each LED repres...

2016-09-26 09:50:15

阅读数 999

评论数 0

Spark2.0.0集群搭建部署

0 准备工作1)Hadoop集群部署,详细参照前两篇博文Hadoop集群安装配置教程 + Hadoop-2.7.3集群搭建中遇到的问题总结2)Scala安装:ubuntu系统直接–>”sudo apt-get install scala”,系统会帮你直接安装,如果出现”no package ...

2016-09-23 10:37:12

阅读数 394

评论数 0

Hadoop-2.7.3集群搭建中遇到的问题总结

0 前言:1)Hadoop集群搭建参照前一篇博文Hadoop集群安装配置教程 2)集群有三个节点:Master、Slave1、Slave2,其中Master只作namenode,其余两个从节点做datanode1 搭建过程中常用Hadoop指令:1)启动Hadoop指令:start-all.sh...

2016-09-21 14:39:47

阅读数 5803

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭