善良的小聪哥-CSDN博客

原创 Flink读取kafka数据并以parquet格式写入HDFS

转发请标注：https://blog.csdn.net/u012798083/article/details/85852830大数据业务场景中，经常有一种场景：外部数据发送到kafka中，flink作为中间件消费kafka数据并进行业务处理；处理完成之后的数据可能还需要写入到数据库或者文件系统中，比如写入hdfs中；目前基于spark进行计算比较主流，需要读取hdfs上的数据，可以通过读取pa...

2019-08-15 09:49:03 4539 12

原创 Leetcode-[难度中] 两数之和

题目描述给定一个整数数组nums和一个目标值target，请你在该数组中找出和为目标值的那两个整数，并返回他们的数组下标。你可以假设每种输入只会对应一个答案。但是，你不能重复利用这个数组中同样的元素。例:给定 nums = [2, 7, 11, 15], target = 9因为 nums[0] + nums[1] = 2 + 7 = 9所以返回 [0, 1]...

2020-04-25 16:28:18 160

原创 Leetcode-[简单]：合并两个排序的链表

题目:输入两个递增排序的链表，合并这两个链表并使新链表中的节点仍然是递增排序的。例1：输入：1->2->4, 1->3->4输出：1->1->2->3->4->4Code(JAVA): public static ListNode mergeTwoLists(ListNode l1, ListNode l2...

2020-04-19 17:06:10 339

原创 Leetcode-[简单]：链表中倒数第k个节点

题目：输入一个链表，输出该链表中倒数第k个节点。为了符合大多数人的习惯，本题从1开始计数，即链表的尾节点是倒数第1个节点。例如，一个链表有6个节点，从头节点开始，它们的值依次是1、2、3、4、5、6。这个链表的倒数第3个节点是值为4的节点。例1：给定一个链表: 1->2->3->4->5, 和 k = 2.返回链表 4->5.Code（JA...

2020-04-19 17:05:07 192

原创 Leetcode-[中等]：比特位计数

题目：给定一个非负整数 num。对于 0 ≤ i ≤ num 范围中每个数字 i ，计算其二进制数中 1 的数目并将它们作为数组返回。例1:输入: 2输出: [0,1,1]例2:输入: 5输出: [0,1,1,2,1,2]思路对所有数字只有2类：1. 奇数：二进制表示中，奇数一定比前面最近偶数多一个 1，因为多的是最低位的1。 ...

2020-04-19 17:03:43 108

原创 Leetcode-[简单]：将数字变成0的操作次数

题目：给定一个非负整数，请返回将它变成 0 所需步数。如果数字是偶数，需要把它除以 2 ；否则，减去 1 。例1：输入：num = 8输出：4解释：步骤1）8是偶数，除以2得到4步骤2）4是偶数，除以2得到2步骤3）2是偶数，除以2得到1步骤4）1是奇数，减1得到0实现比较简单，是个程序员都能...

2020-04-19 17:02:21 242

原创 Leetcode-[简单]：二进制链表转整数

题目：给你一个单链表的引用结点 head。链表中每个结点的值不是 0 就是 1。已知此链表是一个整数数字的二进制表示形式。请你返回该链表所表示数字的十进制值。例1：输入：head = [1,0,1]输出：5解释：二进制数 (101) 转化为十进制数 (5)例 2：输入：head = [0]输出：0例 3：输入：head =...

2020-04-19 16:59:51 251

原创 Leetcode-[简单] 环形链表

题目：给一个链表，判断链表中是否存在环。例 1：输入：head = [3,2,0,-4]输出：true例 2：输入：head = [1,2]输出：true例 3：输入：head = [1]输出：false思路：使用快慢指针解决该问题；Code(Java): public static boolean hasCyc...

2020-04-19 16:58:10 81

原创 Leetcode-[简单] 链表的中间结点

题目：给一个头结点非空单链表，返回链表中间结点。如有两个中间结点，则返回第二个中间结点。例1：输入：[0,1,3,4,6]输出：结点 3 例2：输入：[0,1,2,4,5,7]输出：结点 4思路：使用快慢指针解决该问题；Code(Java)： import cn.leetcode.st...

2020-04-19 16:56:26 121

原创 Leetcode-[简单]：栈的最小值

题目：请设计一个栈，除了常规栈支持的pop与push函数以外，还支持min函数，该函数返回栈元素中的最小值。执行push、pop和min操作的时间复杂度必须为O(1)。例：MinStack minStack = new MinStack();minStack.push(-1);minStack.push(0);minStack.push(-4);minStack.ge...

2020-04-19 16:54:05 108

原创 Leetcode-[简单]：用队列实现栈

题目：用队列实现栈使用队列实现栈的下列操作：push(x) -- 元素 x 入栈pop() -- 移除栈顶元素top() -- 获取栈顶元素empty() -- 返回栈是否为空Code(JAVA):package cn.leetcode.study.stack;import java.util.LinkedList;import ...

2020-04-19 16:52:11 142

原创 Leetcode-[简单]：用两个栈实现队列

题目：用两个栈实现一个队列。队列声明如下，请实现函数 appendTail 和 deleteHead ，分别完成在队列尾部插入整数和在队列头部删除整数的功能。(若队列中没有元素，deleteHead 操作返回 -1 )例 1：输入：[[],[3],[],[]] 输出：[null,null,3,-1]例 2：输入：[[],[],[5],[2],[...

2020-04-19 16:50:05 233

原创 python的logging配置文件，支持logger全局所有文件日志输出

python的日志配置文件，支持写入到文件和控制台；支持滚动覆盖。version: 1disable_existing_loggers: Falseformatters: simple: format: "%(asctime)s %(levelname)-8s [%(threadName)s] %(name)s %(filename)s: %(lineno)d: %(mess...

2020-03-31 15:45:45 3544

原创 Python内置函数的源码中方法只有pass占位符说明 & Docs

passpython定义函数，必须有函数体，否则编译就会报错。函数体用一句pass占位是防止报错，并且不会有任何动作。内置函数中使用pass的情况如下：父类中声明函数，但不声明实现，由继承的子类进行实现，也就是说这就是一个空方法；这个函数的具体实现不用python编写，而是由例如C这种高效语法编写，在包中只用一个空方法占位，调用的时候是调用C语言实现的方法。python中有一些需要大量...

2020-01-30 11:43:18 1286

原创 flink读取kafka数据并写入HDFS

flink的官网对于写入HDFS的例子比较简单，很难跑起来，缺少更详细的描述。目标：本地代码flink streaming读取远程环境的kafka的数据，写入远程环境的HDFS中；核心代码：public static void main(String[] args) throws Exception { // set up the streaming execut...

2019-08-15 09:49:25 2763 1

原创 Scala之正则表达式

正则表达式Scala 的正则表达式继承了 Java 的语法规则，Java 则大部分使用了 Perl 语言的规则。下表是常用的一些正则表达式规则：表达式匹配规则 ^ 匹配输入字符串开始的位置。 $ 匹配输入字符串结尾的位置。 . 匹配除"\r\n"之外的任何单个字符。 [...] 字符集。匹配包含的任一字符。例如，"[abc]"匹配...

2018-09-30 17:12:01 2530

原创 Scala之模式匹配的理解和应用

Scala 提供了强大的模式匹配机制，应用也非常广泛。一个模式匹配包含了一系列备选项，每个都开始于关键字case。每个备选项都包含了一个模式及一到多个表达式。箭头符号=>隔开了模式和表达式。通配模式、变量匹配和守卫通配符 “_” 可以用来匹配任意对象。通常在模式匹配中作为最后一个匹配项，匹配其它所有的输入对象。 //变量常量匹配；守卫 def varCase(...

2018-09-30 14:46:26 264

原创 Scala之集合的理解和应用案例

可变集合和不可变集合 Scala 集合类系统地区分了可变的和不可变的集合；可变集合可以在适当的地方被更新或扩展。这意味着你可以修改，添加，移除一个集合的元素。默认情况下，Scala 一直采用不可变集合类。而不可变集合类，相比之下，永远不会改变。因此，它是线程安全的；不过，你仍然可以模拟添加，移除或更新操作。但是这些操作将在每一种情况下都返回一个新的集合，同时使原来的集合不发生改变。...

2018-09-28 16:18:27 837

原创 Scala之空值

为了让所有的东西都是对象的目标更加一致，也为了遵循函数式编程的习惯。Scala鼓励你在变量和函数返回值可能不会引用任何值的时候使用Option类型。Scala的Option类型可以避免NullPointerException情况，因此，Scala应用推荐使用Option类型来代表一些可选值。使用Option类型，读者一眼就可以看出这种类型的值可能为None。如果没有值...

2018-09-26 11:02:09 6256

原创 Scala之高阶函数的理解和应用举例

定义 1. 带函数参数的函数被称为高阶函数，例如map()函数就是高阶函数。Demo1class HighLevelFuncobject HighLevelFunc { def main(args: Array[String]): Unit = { println(apply(layout, 10)) } def apply(f: Int =&gt...

2018-09-18 20:39:55 359

原创 Scala之闭包的理解与应用

定义闭包是一个函数，返回值依赖于声明在函数外部的一个或多个变量。闭包通常来讲可以简单的认为是可以访问一个函数里面局部变量的另外一个函数。var factor = 3 val multiplier = (i:Int) => i * factor 这里我们引入一个自由变量 factor，这个变量定义在函数外面。这样定义的函数变量 multiplier 成为一个"闭包"，因...

2018-09-18 14:13:52 263

原创 Scala之柯里化函数

定义柯里化(Currying)指的是将原来接受两个参数的函数变成新的接受一个参数的函数的过程。新的函数返回一个以原有第二个参数为参数的函数。也就是说，有多个参数列表的函数就是柯里化函数，所谓的参数列表就是使用小括号括起来的函数参数列表。 curry化最大的意义在于把多个参数的function等价转化成多个单参数function的级联，这样所有的函数就都统一了，方...

2018-09-18 13:48:10 440

原创 Scala之Implicit的用法

Scala在面对编译出现类型错误时，提供了一个由编译器自我修复的机制，编译器试图去寻找一个隐式implicit的转换方法，转换出正确的类型，完成编译。这就是implicit 的意义。一、隐式转换到某个期望类型用在方法上class ImplicitToMethodobject ImplicitToMethod { //排除implicit的警告 import s...

2018-09-18 09:58:23 2274 1

原创 Scala之apply的用法

用法一：用于构造函数作用class Greet(val age: Int) { var name: String = "" def output(): Unit = { print(this.name + ", " + this.age) } override def toString: String = this.name + ": " + this.age...

2018-09-18 09:56:57 1234