QuantumWalk-CSDN博客

原创 Spark环境搭建以及基本的算子操作

import org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.sql.SparkSessionimport org.apache.spark._import org.apache.spark.rdd.RDDimport org.apache.log4j.{Level, Logger}import org.apache.spark.sql.functions._object firstDemo{ Log.

2021-09-12 18:02:28 398

原创利用python操纵数据库--数据写入与tkinter实现界面查询

在日常练习sql的时候,又找不到好的线上数据库,这个时候不如自己下载一个mysql.但是数据批量写入呢,就可能是一个问题.这时候,利用python脚本批量写入即可.其实结合文章Python窗体输入、展示并存储数据,也可以实现窗口输入,写到数据库中,这将在后面的文章中介绍,这里只介绍python批量写入,并且从中读取的脚本.下面从安装开始介绍:一、MySQL的安装去官网寻找安装包,我使用的MAC,但是最新版本安装之后会提示无法打开,因此一定要找到系统对应的版本下载链接,安装好之后点击,会有一个提示给roo

2021-09-04 20:20:48 3252

原创利用ValueState获取指标的最小值

在读《Flink原理、实战与性能优化》的时候，遇到其中有一个案例即使用valuestate获取最小值，文章中使用的Scala写的案例，改写的时候，忽略了其中初始化部分，导致迟迟计算不出结果public class StreamTest { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getEx

2021-03-01 19:08:49 376

原创 flink使用web观测资源情况

一、在IDEA中写frauddetection模型参照官网，可以使用官网maven命令远程下载代码，用IDEA打开，但是有时候需要稍微理解一下，所以我是参照官网和网络上的资源去照着写的，遇到bug慢慢修改首先设置POM文件,加入了maven自动打包的设置。设置完依赖之后，开始写代码<!--Licensed to the Apache Software Foundation (ASF) under oneor more contributor license agreements. See

2021-02-28 16:45:24 692

原创机器学习中常用的数学(一)

一、常用分布常见的随机变量分布中存在着离散型分布和连续型分布两种：1、离散型随机分布1）0-1分布P{X=p}=pk(1−p)(1−k)P\{X = p\} = p^k(1-p)^{(1-k)}P{X=p}=pk(1−p)(1−k), k = 0, 1, (0<p<1)其期望为ppp,方差为p(1−p)p\left(1-p\right)p(1−p)2)二项分布实验EEE只有两种结果，AAA和Aˉ\bar{A}Aˉ，将饰演EEE独立重复进行n次，称为n重伯努利实验，n重伯努利实验中

2021-02-03 23:13:45 524

原创 Flink常用Transformation算子(一)

在Flink学习中，会常用到一些转换的算子，其中比如map，flatMap，filter，reduce等，进行数据转换，本篇是文章的第一部分，主要介绍简单的转换map算子，即对原来数据进行一个数据的转换,下面的式子仅仅是对value进行转换，完全也可以返回一个tupleDataStream<Tuple2<String,Integer>> wordcount = env.fromElements( new Tuple2<>("hell

2021-02-03 18:05:26 154

原创旋转矩阵的对应的基本操作

在leetcode的48题中leetcode 48 旋转图像,考察了旋转π2\frac{\pi}{2}2π角度之后,如何拆解成基本的轴操作进行替换,其实可以理解成欧拉角相关的,但是对于本题而言,用欧拉角确实有点大材小用,简单的二维矩阵即可做一些简单的拆解,通过相关的基本操作,可以得到一些列的操作,在后续题目中可以通过这些操作进行各个角度的变换,但是毫无疑问,这里肯定是不会考察很复杂的操作了第一个,按照 x轴对称,相应的计算矩阵σx(π)=(100−1)\sigma_x(\pi) = \begi

2020-12-19 22:14:19 421 1

原创 leetcode多值求和问题

多值求和问题,在leetcode中,有一些考察多值加和问题,最简单的即两数之和为特定的值,暴力解法即先遍历一遍再在内层中进一步遍历,得到的方法即O(n2)\mathcal{O(n^2)}O(n2) , 三值可以类似做法,得到的是O(n3)\mathcal{O(n^3)}O(n3) ,毫无疑问,暴力法总是可以解决的, 但是对于数组变大,以及参与计算的值变多,导致计算量增长很大,并不是一个有效的方法class Solution { public int[] twoSum(int[] nums, int

2020-10-04 13:20:10 197

原创 leetcode 61 旋转链表的思考

leetcode 61题这道题是一道中等难度题目,但是在很多公司中都有考到这道题,因此在这里尝试着借助图的方法理解一下思考过程;/** * Definition for singly-linked list. * public class ListNode { * int val; * ListNode next; * ListNode(int x) { val = x; } * } */class Solution { public ListNode ro

2020-09-17 23:20:39 172

原创数仓模型之维度模型、雪花模型以及星座模型

在数仓开发中,常见的问题就有数仓模型,其中问的最多的模型即维度模型,雪花模型,星座模型较少涉及.简单从图形上看,维度模型即

2020-09-12 18:22:27 542

原创规范化和函数依赖

一、函数依赖关系函数依赖：若A的每一个值和B中的一个唯一值对应，则称B函数依赖于A ,记为A —> B.函数依赖可以被任务是一种属性约束关系按照图示，A即为决定方。以具体业务为例，考虑一个报销流程。提交单据时候，每一个单据都会有对应的提交人，但是i一个单据提交人不一定只有一个单据。因而单据提交人是函数依赖于单据的。即事实上，单据提交人也依赖于(报销单ID,提交时间) 组合，这一点在后续的计算中也会提到。完全函数依赖：假设A和B是某一关系的属性或者属性组，若B函数依赖于A但不函数依赖于A的

2020-09-12 13:29:56 595

原创前缀和的数学推导

在leetcode有一些题利用的是前缀和方法，很多时候都用的是图形法解，一开始还是有点费解的，特别是对于我这样不太擅长图形转化成公式的人来说。本文用的单纯的数学推导得到递推公式，理解的基础上直接用代码实现公式。前缀和思路在于区域相减，以leetcode的304题为例子S[row1,row2][col1,col2]=Σrow1row2Σcol1col2Matix[i][j]S[row1,row2][col1,col2] = \Sigma_{row1}^{row2}\Sigma_{col1}^{col2}

2020-09-06 16:03:50 211

洗脚看电视的博客