2019年04月_LUK流

原创 storm热力分布图项目（三）

一、编写python脚本产生日志编写一个python脚本向/home/hadoop/app/data/logs/test.log写入对应的日志#!/usr/bin/env python# -*- coding:utf-8 -*-#@Time : 2019/4/29 12:50#@Author: qianliu#@File : GenerateImooc.py.pyimport ...

2019-04-29 15:25:50 315

原创 storm热力分布图项目（二）

1.使用高德地图https://lbs.amap.com/api/javascript-api/example/selflayer/heatmap/进入控制台申请一个key新建一个test.html来测试，在key后面你输入上面申请的key经纬度查询：把故宫作为地图的中心：补上经纬度地图工具来开发的API： https://lbs.amap.com/api/javascrip...

2019-04-28 20:17:01 528

原创 storm热力分布图项目（一）

一、前置需要jdk，zookeeper，storm1.1.1版本二、安装logstash2.4.1进入 https://www.elastic.co/cn/downloads/past-releases/logstash-2-4-1下载tar.gz格式的文件即可。三、简单使用logstash官方文档：https://www.elastic.co/guide/en/logstash/2....

2019-04-28 18:07:20 594

转载 HashMap与ConcurrentHashMap1.7的区别

从JDK1.2起，就有了HashMap，正如前一篇文章所说，HashMap不是线程安全的，因此多线程操作时需要格外小心。在JDK1.5中，伟大的Doug Lea给我们带来了concurrent包，从此Map也有安全的了。ConcurrentHashMap具体是怎么实现线程安全的呢，肯定不可能是每个方法加synchronized，那样就变成了HashTable。从ConcurrentHash...

2019-04-27 13:17:43 159

转载 udf,udaf,udtf之间的区别

1、UDF：用户定义（普通）函数，只对单行数值产生作用；继承UDF类，添加方法 evaluate()/** * @function 自定义UDF统计最小值 * @author John * */ public class Min extends UDF { public Double evaluate(Double a, Do...

2019-04-27 12:25:52 18203

原创 zookeeper中的从选paxos和fast paxos算法到实现分布式锁和分布式队列

1.paxos算法为什么需要paxos相关概念：Paxos算法是基于消息传递且具有高度容错特性的一致性算法，是目前公认的解决分布式一致性问题最有效的算法之一，其解决的问题就是在分布式系统中如何就某个值（决议）达成一致。解释为什么需要paxos锁：zookeeper需要同时对某一个节点进行某种操作，为了达成这种操作我们需要使用一个分布式算法来制定一种规则来制约，使所有节点的意见统一，于是就产生...

2019-04-23 20:54:26 476

原创（10）矩形覆盖

1.问题我们可以用21的小矩形横着或者竖着去覆盖更大的矩形。请问用n个21的小矩形无重叠地覆盖一个2*n的大矩形，总共有多少种方法？2.思路当target = n上图中，如果填充第一个2n（绿色）的如图所示，那么就变成了RectCover(n-1)问题下图中，如果填充第一个2n（绿色）的如图所示，那么第二块砖必定是蓝色的砖块，问题变成了RectCover(n-2)问题.3.代码pa...

2019-04-21 15:37:08 132

原创（9）变态跳台阶

1.问题一只青蛙一次可以跳上1级台阶，也可以跳上2级……它也可以跳上n级。求该青蛙跳上一个n级的台阶总共有多少种跳法。2.思路1.JumpFloorII(0)=12.JumpFloorII(1)=13.JumpFloorII(2)=JumpFloorII(0)+JumpFloorII(1)4.JumpFloorII(n)=JumpFloorII(0)+JumpFloorII(1)+Ju...

2019-04-21 12:45:42 102

原创（8）跳台阶

1.问题一只青蛙一次可以跳上1级台阶，也可以跳上2级。求该青蛙跳上一个n级的台阶总共有多少种跳法（先后次序不同算不同的结果）。2.思路1:第一个阶台阶：return JumpFloor(0)表示从第0阶台阶跳上来2.第二阶台阶：return JumpFloor(0)+JumpFloor(1)表示从第0阶台阶跳上了和第一阶台阶跳上来3.第n阶台阶：return JumpFloor(targ...

2019-04-21 12:39:51 111

原创（7）斐波那契数列

1.问题大家都知道斐波那契数列，现在要求输入一个整数n，请你输出斐波那契数列的第n项（从0开始，第0项为0）。n<=392.思路当前的数据等于前两个数据值和。即return Fibonacci(n-1) + Fibonacci(n-2)即可3.代码package test1_10;/* * @author qianliu on 2019/4/10 14:27 * @Disc...

2019-04-20 21:02:22 290

原创（6）旋转数组最小数字

1.问题把一个数组最开始的若干个元素搬到数组的末尾，我们称之为数组的旋转。输入一个非减排序的数组的一个旋转，输出旋转数组的最小元素。例如数组{3,4,5,1,2}为{1,2,3,4,5}的一个旋转，该数组的最小值为1。 NOTE：给出的所有元素都大于0，若数组大小为0，请返回0。2.思路因为所有的数据有类似345122这样的数据规则，最小值1前面的数据部分大于后面的所有数据使用二分法，...

2019-04-20 20:59:26 260

原创大数据之路——阿里巴巴大数据实践：离线数据开发

1.MaxCompute离线数据开发（1）在逻辑层有 Worker Sc heduler Executor 三个角色：Worker 处理所有的阻STful 请求，包括用户空间（ Project ）管理操作、资源（ Resource 管理操作、作业管理等，对于 SQLDMLMR 等需要启动 MapReduce 的作业，会生成 MaxCompute Instance（类似于 Hive ...

2019-04-20 20:30:38 1437

原创 hadoop中mapreduce的shuffle过程详细解释

1.mapreduce整体执行流程input – split切片 – map – map shuffle – 分成多个partition – reduce shuffle – reduce拉去对应的partition到相应的reduce上 – reduce2.map shufflepartition而可以通过自定义partitoner实现自定义分区，是缓解数据倾斜的一种手段。pu...

2019-04-20 19:38:28 1921

原创腾讯Oceanus实时计算平台架构设计---学习总结

一、背景实时计算应用主要分为以下四类：（1）ETL：ETL应该是目前实时计算最普遍的应用场景。例如在TDBank的数据链路中，TDSort读取消息缓存系统Tube中的消息，通过流数据处理系统将消息队列中的数据进行实时分拣，并落地到HDFS接口机集群，并将最终分拣后的数据由加载到TDW中。（2）监控系统：监控系统需要能够对产品和服务进行多维度的监控，对指标数据进行实时的聚合和分析，并支持...

2019-04-16 13:51:23 6708 1

原创 spark操作hbase详细讲解

1.java API实现对hbase的操作package testhbase;import java.util.ArrayList;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil;import...

2019-04-14 15:47:45 10362

原创内部类和外部类

外部类：最普通的，我们平时见到的那种类，就是在一个后缀为.java的文件中，直接定义的类，比如public class Student { private String name; private int age;}内部类：内部类，顾名思义，就是包含在外部类中的类，就叫做内部类。内部类有两种，一种是静态内部类，一种是非静态内部类。public class School { ...

2019-04-10 21:13:34 14788

原创单例模式

饿汉式：public class Singleton{ private static Singleton singleton = new Singleton (); private Singleton (){} public Singleton getInstance(){return singletion;} } 懒汉式:public class S...

2019-04-10 20:57:34 119

原创 Hadoop的IO处理

1.HDFS数据完整性HDFS会写入所有数据的计算校验和，并对正在读取的数据进行校验，默认校验方式是RCR-32。不只是读写数据时会进行校验，datanode也会在后台线程中运行DataBlockScanner进行校验，定期检查数据的缺失情况。客户端读写数据时，发现数据损坏了，向namenode汇报，抛出ChecksumException，namenode将该datanode上的数据转移到其...

2019-04-09 15:38:14 594

原创（5）两个栈实现队列

1.问题用两个栈来实现一个队列，完成队列的Push和Pop操作。队列中的元素为int类型。2.思路（1）加入的数据都放入stack1中（2）取数据时，如果stack2中有数据就直接stack2.pop（）取走数据，如果stack2中没有数据，就将stack1中的数据全部加入到stack2中以后再从stack2中取数据。3.代码package test1_10;import ja...

2019-04-08 15:10:28 147

原创（4）重新二叉树

1.题目输入某二叉树的前序遍历和中序遍历的结果，请重建出该二叉树。假设输入的前序遍历和中序遍历的结果中都不含重复的数字。例如输入前序遍历序列{1,2,4,7,3,5,6,8}和中序遍历序列{4,7,2,1,5,3,8,6}，则重建二叉树并返回。2.思路（1）由先序可知，当前第一个元素A的是当前前子树的根节点（2）从中序查找A，A前面的元素都是当前的左子树，A右边的元素都是右子树3.代码...

2019-04-08 14:18:26 98

原创关于spark任务提交的几种方式

1.Spark当前支持三种集群管理方式Standalone—Spark自带的一种集群管理方式，易于构建集群。Apache Mesos—通用的集群管理，可以在其上运行Hadoop MapReduce和一些服务应用。Hadoop YARN—Hadoop2中的资源管理器。Tip1: 在集群不是特别大，并且没有mapReduce和Spark同时运行的需求的情况下，用Standalone模式效...

2019-04-08 13:25:27 7775

原创（3）从尾到头打印链表

1.题目输入一个链表，按链表值从尾到头的顺序返回一个ArrayList。2.思路遍历链表放入到一个arraylist.然后反转arraylist3.代码package test1_10;import java.util.ArrayList;import java.util.Collections;public class test3 { public static vo...

2019-04-01 15:41:03 97

原创（2）替换空格

1.题目请实现一个函数，将一个字符串中的每个空格替换成“%20”。例如，当字符串为We Are Happy.则经过替换之后的字符串为We%20Are%20Happy。2.思路正则表达式进行字符串的替换3.代码package test1_10;import java.util.regex.Matcher;import java.util.regex.Pattern;/* * @...

2019-04-01 15:37:03 92

原创（1）二维数组的查找

1.题目在一个二维数组中（每个一维数组的长度相同），每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。2.思路1.对第一列的数据遍历，发现index的数据小于target，index+1行的数据小于target，那么在index从头到尾查找数据2.否则从第二列开始查找对应的index行…n...

2019-04-01 15:33:05 118

流的博客