- 博客(45)
- 资源 (16)
- 收藏
- 关注
原创 Kafka某topic无法消费解决方案&Kafka某Topic数据清理
由于项目原因,最近经常碰到Kafka消息队列某topic在集群宕机重启后无法消费的情况。碰到这种情况,有三步去判断原因所在:step A:如果用kafka串口(即console-consumer)是可以正常消费该topic,则排除kafka集群出现故障step B:若平台业务能正常消费其他topic的消息,则排除平台业务代码逻辑问题step C:不到万不得已,则只能手动删除
2017-05-25 22:42:49 26800
原创 2017暑期实习面经分享(大数据&Java&后台)
阿里(内推一面,卒)时间:3月初;形式:电话面;岗位:Java研发(分布式方向)内容:1、Java的内存管理2、现有的GC算法3、HashMap是不是线程安全的,ConcurrentHashMap怎么实现线程安全4、volatie和synchronized的原理和对比5、tcp与udp的区别6、socket通信的过程7、AOP有用过吗?原理是啥?8、熟悉哪些
2017-05-20 16:15:16 3459 1
转载 vim C++开发环境插件安装详解
转载自:http://littlewhite.us/archives/212作者:littlewhiteC/C++是使用比例最高的程序语言,而vim是专为程序员开发的编辑器,当这两者结合起来,会给我们带来怎样的效果呢。对于windows上做C++开发的用户来说,vs为他们做了大量的工作,语法高亮、自动缩进、智能提示等等,当你happy的使用vs时,请记住
2017-05-07 11:29:24 5473
转载 Kafka使用进阶——消费者
Introducing the Kafka Consumer: Getting Started with the New Apache Kafka 0.9 Consumer Client http://www.confluent.io/blog/tutorial-getting-started-with-the-new-apache-kafka-0.9-consumer-client 当kafk
2017-01-21 22:25:07 19324
原创 大数据平台Lambda架构浅析(全量计算+增量计算)
笔者刚接触大数据方面时,只知道Hadoop和时下很火的Spark,对Hadoop、Spark的认知只停留在跑跑demo,写点离线小app,后来随着学业项目的需要,开始逐步了解时下工业界的大数据平台是如何搭建起来的。在搜刮大量资料后,从一篇paper里看到Lambda这一陌生的字眼,再一搜,发现这正是我需要的大数据平台基础架构。Oryx2正是基于Lambda架构和Spark搭建的大数据处理开源框架。
2016-12-23 22:50:53 5458 2
翻译 Kafka学习笔记(三)
Apache Kafka集群架构上图即是Kafka集群架构概览图,以下将介绍图中的术语:Broker:为了维持负载均衡,Kafka集群一般是由多个broker组成。Kafka broker是无状态的,所以他们使用zookeeper维系集群的状态。一个broker单位时间(1秒)内可以处理成百上千的读写操作,并且可以hold住TB级的数据量。brokers的leader选举由zookeeper消化。Z
2016-11-29 17:15:15 849
翻译 Kafka学习笔记(二)
Apache Kafka 基本原理从上图,可以浅显的看到,一个topic配置了三个partition。Partition 1 有两个偏移量0和1;Partition 2 有四个偏移量0,1,2,3;Partition 3 有一个偏移量0。Broker中的replica的id与其server的id一致。总之,如果topic的replication factor被设置为3,Kafka将会对应每个Part
2016-11-25 17:05:29 662
翻译 Kafka学习笔记(一)
Apache Kafka 介绍一、Kafka是什么Apache Kafka是一种分布式的消息发布-订阅系统,而且是一种可以处理大量数据且能点对点传输消息的鲁棒的队列。Kafka适合线下和线上的消息消费。Kafka的消息会被持久化在磁盘并在集群中被复制多份备份防止数据丢失。Kafka必须部署在Zookeeper同步服务之上。Kafka可以和Apache Storm和Spark很好的结合,应用于实时数据
2016-11-24 15:20:37 631
原创 HBase集群部署(完全分布式)及部署过程遇到问题浅析解决
环境OS: Ubuntu 16.04 LTSJava: open-jdk1.8.0_111(需要1.7+)Hadoop: hadoop-2.7.3Zookeeper: zookeeper-3.4.9Hbase: hbase-1.2.4集群机器 IP HostName Master RegionServer 10.100.3.88 Master yes no
2016-11-18 16:16:47 3690
原创 Ubuntu远程连接MySQL(connection refused)解决方法
一、判断ubuntu是否开启防火墙sudo ufw status开放防火墙3306端口sudo ufw allow 3306二、查看3306端口是否打开 注意:红色框框表示3306绑定的ip地址–>未修改前为:127.0.0.1:3306–>即mysql默认绑定localhost,远程访问不了 *如果是绑定了127.0.0.1则继续看第三步,否则请跳过第三步三、修改mysql配置文件,将bind
2016-11-03 10:47:09 6288 3
原创 基于Spark ALS的离线推荐系统实践
首先,此推荐系统搭建在基于Hadoop(2.7.3)、Spark(2.0.0)、Zookeeper(可选)的集群上,关于Hadoop和Spark集群搭建可参考我前面几篇水水的博文~其次,此demo用到的数据来自DataCastle的一个正在进行的比赛,数据集在此请大家移步下载~比赛的主题是关于地点的推荐 (训练集数据格式:userID, addressID, count –> 用户id,地点id,
2016-10-28 16:05:46 3267
转载 主定理证明
转自GoogleSite算法导论习题解答,先fork一下算法导论其实已经给出了具体的证明步骤,但是还是有些省略,此文章是对主定理进行了完全的证明;主定理的证明大致分为两个阶段:(1)假设n为b的整数次幂,如1,b,b^2,b^3....(2)不限定n的范围,n可以为任意整数;首先我们先证明第一阶段,即n=b^i;
2016-10-16 16:08:57 2037
原创 LeetCode 1. Two Sum (C++)
Given an array of integers, return indices of the two numbers such that they add up to a specific target.You may assume that each input would have exactly one solution.Example:Given nums = [2, 7, 11, 1
2016-10-16 10:41:37 492
原创 Leetcode 191. Number of 1 Bits
题目: Write a function that takes an unsigned integer and returns the number of ’1’ bits it has (also known as the Hamming weight).For example, the 32-bit integer ’11’ has binary representation 00000000
2016-10-13 22:28:37 407
原创 Leetcode 83. Remove Duplicates from Sorted List
题目: Given a sorted linked list, delete all duplicates such that each element appear only once.For example, Given 1->1->2, return 1->2. Given 1->1->2->3->3, return 1->2->3.Java代码:/** * Definition fo
2016-10-13 22:04:33 404
原创 spark-shell脚本浅析(Spark2.0.0)
一、首先,po出spark-shell脚本代码,位置坐标为:$SPARK_HOME/bin/spark-shell#!/usr/bin/env bash## Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTICE fil
2016-10-13 13:55:09 2684
原创 Leetcode 326. Power of Three
题意: Given an integer, write a function to determine if it is a power of three.Follow up: Could you do it without using any loop / recursion?即判断该整数是否是3的n次方数 难点:不使用任何循环或递归解决此题!首先,先给出使用循环和递归的解法,非常简单:
2016-10-12 22:13:58 453
原创 LeetCode 401 Binary Watch (Java)
题意: A binary watch has 4 LEDs on the top which represent the hours (0-11), and the 6 LEDs on the bottom represent the minutes (0-59).Each LED represents a zero or one, with the least significant bit o
2016-09-26 09:50:15 1235
原创 Spark2.0.0集群搭建部署
0 准备工作1)Hadoop集群部署,详细参照前两篇博文Hadoop集群安装配置教程 + Hadoop-2.7.3集群搭建中遇到的问题总结2)Scala安装:ubuntu系统直接–>”sudo apt-get install scala”,系统会帮你直接安装,如果出现”no package found”,那就需要修改ubuntu的软件服务器站点(即System Settings–>Software&
2016-09-23 10:37:12 619
原创 Hadoop-2.7.3集群搭建中遇到的问题总结
0 前言:1)Hadoop集群搭建参照前一篇博文Hadoop集群安装配置教程 2)集群有三个节点:Master、Slave1、Slave2,其中Master只作namenode,其余两个从节点做datanode1 搭建过程中常用Hadoop指令:1)启动Hadoop指令:start-all.shmr-jobhistory-daemon.sh start historyserver启动成功过程lo
2016-09-21 14:39:47 9673 1
转载 Hadoop集群安装配置教程
转自:Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS个人配置过程中出现的棘手问题:1、主机SSH无密码登陆子节点失败:原因:可能是主机与子节点编码格式不同所致,后来统一为"en_US.UTF-8"或者重装系统为统一的语言格式即可2、子节点无需先行下载和配置hadoop,跟着教程走即可3、Windows和Linux
2016-09-20 15:50:34 1172
原创 LeetCode 217. Contains Duplicate (Java + C)
题意: 给出一个整数数组,判断该数组内是否有两个元素值是相同的,是则返回true,否则返回false Given an array of integers, find if the array contains any duplicates. Your function should return true if any value appears at least twice in the ar
2016-09-14 22:14:55 575
原创 LeetCode 387. First Unique Character in a String (Java+C/C++)
题意:输出字符串中唯一出现的第一个字符的索引下标 Given a string, find the first non-repeating character in it and return it’s index. If it doesn’t exist, return -1. Examples:s = "leetcode"return 0.s = "loveleetcode",retur
2016-09-14 21:19:11 376
原创 LeetCode之Valid Anagram (Java+C/C++)
题意:验证变位词 Given two strings s and t, write a function to determine if t is an anagram of s.For example, s = “anagram”, t = “nagaram”, return true. s = “rat”, t = “car”, return false.解题思路1:利用库函数对两字符串字
2016-09-13 21:41:35 472
原创 LeetCode之Excel Sheet Column Number
题意: Related to question Excel Sheet Column TitleGiven a column title as appear in an Excel sheet, return its corresponding column number.For example:For example: A -> 1 B -> 2 C -> 3 ..
2016-09-12 22:46:00 302
原创 LeetCode之Excel Sheet Column Title
题意: Given a positive integer, return its corresponding column title as appear in an Excel sheet.For example: 1 -> A 2 -> B 3 -> C ... 26 -> Z 27 -> AA 28 -> AB 给出一个正整数,返回相应的
2016-09-12 21:58:35 253
原创 LeetCode之Same Tree
题意: Given two binary trees, write a function to check if they are equal or not.Two binary trees are considered equal if they are structurally identical and the nodes have the same value.给定两个二叉树,编写一个函数
2016-09-12 17:15:19 235
原创 LeetCode之Ransom Note (Java+C)
题意: Given an arbitrary ransom note string and another string containing letters from all the magazines, write a function that will return true if the ransom note can be con
2016-09-09 22:03:00 673
原创 LeetCode之Intersection of Two Arrays
题意:找出两数组的交集 Given two arrays, write a function to compute their intersection.Example: Given nums1 = [1, 2, 2, 1], nums2 = [2, 2], return [2].Note: Each element in the result must be unique. The res
2016-09-09 21:10:30 312
原创 LeetCode之Delete Node in a Linked List (Java+C)
题意:Write a function to delete a node (except the tail) in a singly linked list, given only access to that node.Supposed the linked list is 1 -> 2 -> 3 -> 4 and you are given the third node with value 3
2016-09-07 22:39:05 468
原创 LeetCode之Move Zeroes(Java+C)
题意:给定一个数组,将所有0元素放到数组尾部,并保持非零元素的相对顺序 Java代码:public class Solution { public void moveZeroes(int[] nums) { int len = nums.length; int index = 0; for(int i = 0; i < len; i++) {
2016-09-07 21:49:20 437
原创 LeetCode之Find the Difference(Java版)
题意:给出两个字符串s和t,均只含有小写字母,找出两字符串的不同,并输出字符 例子:Input:s = "abcd"t = "abcde"Output:eExplanation:'e' is the letter that was added.解题思路:一想到比较不同,自然会想到异或运算,然而还需注意到一点:在java中,byte、char、short进行运算时,他们之间不会相互转化,首先
2016-09-06 23:10:58 1444
原创 LeetCode之Maximum Depth of Binary Tree(Java版)
LeetCode算法题之Maximum Depth of Binary Tree
2016-09-04 14:50:32 353
原创 Linux Shell脚本初体验—Hello World
1、shell script编写的注意事项:(1)如果读取到一个Enter符号(CR),就尝试开始执行该行或该串命令;(2)如果一行的内容太多,可以用“[Enter]”扩展到下一行;(3)“#”作为批注;(4)命令的执行从上而下、从左至右;(5)[tab]按键等同于空白键,空白会被忽略2、shell脚本文件执行方式:(1)直接命令执行(注意:文件必须有可执行rx权限)(2)以bash进程执行,通过“
2016-09-03 21:24:41 2174
原创 android观察者模式:EventBus实现GPS定位
Android开发过程中,我们通常会为不同组件间互相通知讯息而烦恼>~<比如说,activity与其多个附着的fragment之间,按传统方法就是用“回调”,在fragment中写接口,在activity中实现接口的方法。但,这样子做略麻烦。这里涉及到的就是“观察者模式”(JDK1.5已经实现该模式,Observable、Observer),再例如广播以及listView中notifyDatasetChanged()
2015-12-11 12:26:28 1249
原创 干货:android实现hessian通信
本文将详述如何在android(客户端)上与服务端通过Hessian实现网络通信、数据传输。 网上关于这方面的资料并不少,但是良莠不齐,让笔者走了不少弯路。本文将先解析android端源代码(ps:web端代码各位度娘or谷歌),而后分享在android上实现hessian常见的错误和解决方法。请各位大神多多提意见,谢谢~ Step 1:新建android工程,添加权限,导入源码工
2015-10-23 22:03:41 2728 1
原创 双拖动条自定义seekbar(带浮动textView)
多说无益,先上效果图:自定义seekbar,继承ImageView,双拖动条(带浮动textview),不会与其他滑动事件冲突,可用于类似侧滑菜单的布局中。文章末尾附上源码下载链接(内含双拖动条seekbar以及单拖动条seekbar,免积分下载),欢迎各位大牛纠bug!实现思路:1)继承于ImageView2)构造函数设置最值3)重写onMeasure()方法获取尺寸
2015-08-13 00:25:48 2089
xgboost4j和xgboost4j-spark(linux及win64版本)
2018-01-24
MySQL5.x参考手册
2016-05-03
android观察者模式:EventBus实现GPS定位
2015-12-10
android实现Hessian通信源码
2015-10-23
遗传算法 -- matlab ga工具箱
2015-09-12
最简单的双侧滑菜单自定义控件实现
2015-07-18
ormlite开发jar包+源码+android例程
2015-07-07
Android平台的数字信号处理软件
2015-05-20
基于Android的数字信号处理软件
2015-05-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人