什么最重要？算法！！

原创 Flink的一些核心概念与编程模型（4）

原创 Flink的一些核心概念与编程模型（3）

原创 Flink API $ SQL

sql 流处理 demo

原创 Flink中wordCount之批处理和流处理（2）

（1）批处理package com.dajiangtai.helloword.batch;import org.apache.flink.api.common.JobExecutionResult;import org.apache.flink.api.common.accumulators.IntCounter;import org.apache.flink.api.common.functions.RichFlatMapFunction;import org.apache.flink.api

原创 Flink生态介绍（1）

pass

原创 阿里通用的序列化与反序列化方式

(一) Java本身自带的序列化与反序列化方式Serializable参考：https://www.cnblogs.com/zhangmingyang/p/10445581.html(二) 通用的序列化与反序列化方式JSONfastjson所需的jar包和源码：https://download.csdn.net/download/xinsuimengfei/10451717FastJson是阿里巴巴的开源JSON解析库，它可以解析JSON格式的字符串，支持将Java Bean序列化为JSON字符串，

原创 Hive时间函数

无论在哪门语言当中，时间函数显得都是特别重要的.参考博客：https://www.cnblogs.com/0xcafedaddy/p/9360492.htmlhttps://www.cnblogs.com/shujuxiong/p/9929297.htmlhttps://www.cnblogs.com/zhange000/p/10002055.html在HIVE当中时间函...

原创 归并排序

归并排序python简单版本```python#!/usr/bin/env python3# -*- coding:utf-8 -*- #合并，相当于是两个升序有序数组合并为一个升序数组，在这里需要借助一个辅助的数组，保存排好序的数组.def merge(left, right): print(left,right) tmp = [] h = j = 0...

原创 词频统计:获取排名前3的单词.

package ThreadProcess;import java.io.BufferedReader;import java.io.FileReader;import java.io.IOException;import java.util.*;/** 词频统计:获取排名前3的单词.* */public class test_2{ public static v...

原创 快速排序

快速排序（Quicksort）是对冒泡排序的一种改进。大家这么理解：就是一堆人，随便选择一个，比他矮的左边，比他高的右边…def quicksort(arr): if len(arr) <= 1: return arr pivot = arr[len(arr) // 2] left = [x for x in arr...

原创 KafkaOffsetMonitor：监控消费者和延迟的队列

参考博客：https://www.orchome.com/54安装步骤：（1）下载软件KafkaOffsetMonitor-assembly-0.3.0-SNAPSHOT.jar（2）解压打开：KafkaOffsetMonitor-assembly-0.3.0-SNAPSHOT.jar\offsetapp下面的index.html文件，替换成下面的内容，不然google的静态文件加载不...

原创 KafkaOffsetMonitor：监控消费者和延迟的队列

效果图：

原创 学习笔记(01):深入理解RabbitMQ消息队列的使用-（17）RPC通信机制当中匿名回调队列的使用以及程序的优化...

本课程将涵盖RabbitMQ的下述知识:RabbitMQ单节点服务搭建以及集群的搭建、RabbitMQ的整体架构及各个组件的功能、RabbitMQ当中生产者以及消费者的具体实现、消费者如何做到消息的确认、RabbitMQ如何做到消息的公平分发、RabbitMQ当中fanout、direct、topic交换机的特点以及转化关系、RabbitMQ基于RPC机制的具体实现等内容....

原创 Hive用array_contains判断列表是否包含某个元素

代码示例：select task_id, task_code, task_version, case when array_contains(collect_set(tag_id), 599) or array_contains(collect_set(tag_id), 1225) then 'L1-级别'...

原创 hive-create table

场景：因业务特殊需求，临时需要创建一张表！！！（1）表存储格式是textfile（文本格式）建表语句：View Code查看表结构：CREATE TABLE test_1(task_id int,task_name string)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ‘|’LINES TERMINATED BY ‘\n’STORED...

原创 HIVE优化系列（1）-- 自动合并输出的小文件

小文件的缺陷我们就不说了，直接进入到正题.HIVE自动合并输出的小文件的主要优化手段为：set hive.merge.mapfiles = true：在只有map的作业结束时合并小文件，set hive.merge.mapredfiles = true：在Map-Reduce的任务结束时合并小文件，默认为False；set hive.merge.size.per.task = 25600...

转载 Hadoop中的jobhistory配置与启动停止

参考博客：https://blog.csdn.net/xiaoduan_/article/details/79689882核心配置文件：只有两个yarn-site.xml<!-- 开启日志聚合 --><property><name>yarn.log-aggregation-enable</name><value>true&l...

原创 Hive表生成函数之---explode函数应用

通过explode+lateral view的具体实例讲述一下具体应用.实例程序1：通过explode+lateral view实现word count表结构：CREATE EXTERNAL TABLE doc(line string)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ‘,’LINES TERMINATED BY ‘\n’STORED...

原创 Java反射机制

declaredField.set(obj, value);Object res = Method.invoke(obj, args);在Java当中，反射是最重要的知识点，没有之一！今天我们就重点介绍一下Java当中的反射机制.首先大家需要知道反射的概念，比较经典的解释分为以下几种：通过字符串的形式来寻找或操作对象内部的属性叫做反射通过字符串映射或者修改程序运行时的状态、属性或者方法叫...

原创 Python面向对象--神秘的元类

同样效果的代码：def __init__(cls,cls_name,cls_bases,cls_dict): type.__init__(cls,cls_name,cls_bases,cls_dict)def __new__(cls, cls_name, cls_bases,cls_dict): return type.__new__(cls,cls_name,cls_bas...

原创 Java静态代理详解

第一：Java静态代理的实现（本质上就是一个面向对象组合功能）逻辑图：在上图当中，有这么几个概念：目标对象：Target为目标对象，即真正实现业务的对象.代理对象：ProxyDemo为代理对象.增强：在目标对象基础上添加的功能称之为增强.(即为被装饰者添加新的功能)我们先定义一个接口：InterfaceApublic interface InterfaceA{public vo...

原创 MySQL空串到Hive

public class test_me{ public static void main(String[] args) { String line = "38 2017-04-22 11:51:23 2017-04-21 23:00:00"; String[] split = line.spl...

转载 使用SwitchyOmega设置Chrome代理

转载网址：https://blog.csdn.net/A_Z666666/article/details/80661456

原创 MapReduce程序运行流程

2016年4月6日10:34:10MapReduce程序运行流程参考：https://blog.csdn.net/alex_bean/article/details/51469630作者：数据分析玩家 一直以来虽然都在学习hadoop，也打算写一篇关于MapReduce程序运行流程的博客文章，但是一直没有时间，今天抽空写一篇，本篇文章尽量写的详细，如有问题请读者留言。 ...

转载 虚拟机彻底删除

最近可能是电脑出了点问题，虚拟机需要卸载一下，结果各种方法都适用了，什么控制面板卸载，什么注册表卸载，但是最后都没有成功，最后终于百度到了一篇文章，才成功：https://zhidao.baidu.com/question/1707772524076104020.html（转载网址）1.从网上下载专门针对Wmare的清理工具，如图，在百度中搜索“Windows Installer Cl...

原创 深入理解Python元类（原创）

同样效果的代码： def __init__(cls,cls_name,cls_bases,cls_dict): type.__init__(cls,cls_name,cls_bases,cls_dict) def __new__(cls, cls_name, cls_bases,cls_dict): return type.__new__(...

转载 信息增益相关博客转载

参考：https://www.jb51.net/article/142555.htm

原创 eclipse使用技巧整理

eclipse中导入项目从本地：https://blog.csdn.net/ancientear/article/details/86772425https://jingyan.baidu.com/article/0aa22375712be088cd0d644d.htmleclipse出现The user operation is waiting for “Building workp...

原创 Java内存分配深度解析

内存分配程序：实例程序1：public class Test1 { public static void main(String[] args) { String str1 = new String("china"); String str2 = new String("china"); System.out.println(str1.equals(str2)...

原创 大数据面试题目

一、数据结构与算法    1.二叉树前序、中序、后续遍历方式（递归以及非递归）    2.二叉树的深度以及广度遍历方式    3.二叉树遍历情况中所有连续节点的最大的值    4.求数组所有可能的子数组    5.给定一个数，求一个有序数组的两个数的和满足这个数（可以拓展一下变成两个无序的数组）    6.求一个数组的第二大值    7.大文件（不能加载进内存）的排序问题    8...

原创 深入理解python当中的函数

作为一个Python的初学者来说，深入理解Python中函数的概念是一件重要的事情。重点1：如何理解函数是第一类对象（一等公民）函数是第一类对象的概念：第一：函数的名字是对函数的引用第二：函数作为第一类对象可以赋值给其他的变量第三：可以作为函数的参数传递给其他的函数第四：可以作为函数的返回值第五：函数可以作为容器类型的一个元素简单来说，在python当中,函数可...

原创 深入理解与应用Hadoop中的MapReduce

现在大数据是越来越火了，而我自己研究这方面也很长时间了，今天就根据我自己的经验教会大家玩转MapReduce，下文中将MapReduce简写为MR。 本篇博客将结合实际案例来具体说明MR的每一个知识点。1、本篇博客核心内容:2、MR的基本概念3、MR中map()函数和reduce()函数如何编写4、MR程序的基本编写流程(MR的基本执行过程) 下面将用一个具体的电信业务说明MR最基本的编写

原创 你真的会用PYTHON的装饰器了吗？（老铁）

本文结构：无参装饰器的一般形式               a、 解决原生函数有参问题               b、解决原生函数有返回值问题无参装饰器的模型总结 无参装饰器的具体应用实例 有参装饰器 有参装饰器的具体应用实例 对于大部分学Python的人来说，装饰器可能是遇到的第一个坎，装饰器到底是什么，到底应该怎么用？本篇博客将进行彻底的讲解。装饰器的概念：1、装...

原创 深入掌握大数据Kafka的使用（基于Python开发）-张明阳-专题视频课程

深入掌握大数据Kafka实战视频教程，本课程为实战教学，主要介绍了Kafka的生产者、消费者，其中重点内容--消费者偏移量的处理以及再均衡问题进行了更加深入的介绍....

原创 Kafka常用命令汇总

Kafka常用命令汇总:1、列出集群里的所有主题。kafka-topics.sh --zookeeper localhost:2181 --list[bdp_client@BJLFRZ-Client-50-162 ~]$ kafka-topics.sh --zookeeper localhost:2181 --listClearFdmDirtyDataCheckTopicClear...

原创 Kafka消费数据的几种方式

Consumer手动指定偏移量消费：=================================================1、指定多主题消费    consumer.subscribe(Arrays.asList("t4","t5"));2、指定分区消费    consumer.assign(list);3、手动修改偏移量    consumer.commitSyn...

原创 PYTHON面向对象章节深入讲解-张明阳-专题视频课程

介绍了类和面向对象、反射、静态方法和类方法、三大特性（封装继承多态）、魔法元类、单例模式

转载 Python中的元类编写ORM框架

博客转载：https://blog.csdn.net/givemefive_y/article/details/79806348

原创 如果你是第一次接触Python当中的面向对象，请点击进来。

2018年7月29日15:49:49今天有时间写一篇关于Python面向对象入门的文章，其实面向对象是不属于某一门编程语言的，而是一种编程思想，如果你是第一次接触面向对象，你需要弄懂下面几个问题：什么是面向对象，为什么要使用面向对象？ 什么是类，为什么要使用类？ 类和类对象之间是什么关系呢？ 在Python当中，类的这个数据结构整体部署是什么样子的？当然，如果你去百度的话，网上肯定...

原创 深入理解RabbitMQ消息队列的使用-张明阳-专题视频课程

RabbitMQ使用的详细介绍