- 博客(30)
- 收藏
- 关注
RSS订阅原创 datayi(数易)离线数仓
自我介绍的时候：对整个大数据的生态都有一个比较完善的认识首先是基于hive的离线数仓。采集，分层计算，维度建模，一些固定报表的产出。支持灵活的olap分析以及展示。还包含了数据治理，任务调度等工作。第二个是实时数仓与规则营销系统这个有两个部分，一个是实时数仓。实时数仓就可以对外提供一个实时的看板，实时展现一些统计的指标。规则营销系统就可以根据用户的行为序列，判断是否匹配规则。他实现了规则的动态注入，完成了flink代码和规则逻辑的解耦，多个规则同时进行计算，根据时间的远近在不同的介质中查询。
2023-03-05 22:32:29
556
原创 Ava的整理
有两个主要的程序，一个是Collaborator，一个是Master。Collaborator是从节点的主程序，他是一个actorsystem，负责托管创建在Collaborator上的actor。主节点的主程序是HttpServer，他是一个web服务，可以监听一个端口收到的请求。
2023-02-20 00:25:46
231
原创 黑马点评redis技术梳理
通过官方文档，可以得知，当使用@Data注解时，则有了@EqualsAndHashCode注解，那么就会在此类中存在equals(Object other) 和 hashCode()方法，且不会使用父类的属性，这就导致了可能的问题。@Bean 注解通常是我们在标有该注解的方法中定义产生这个 bean，方法的返回值是bean，@Bean告诉了Spring这是某个类的示例，当我需要用它的时候还给我。作用：指定要变成实现类的接口所在的包，包下面的所有接口在编译之后都会生成相应的实现类。参数是entity类。
2023-02-18 09:56:26
243
1
原创 java前后端技术栈
计划:先学习前后端基本概念，通过一个小项目熟悉流程，再阅读麻雀源码，参考修改。文章目录htmlCSSjsAJAXVueMybatis网页的构成：html:用来定义网络内容的含义和基本结构的标记语言CSS:用来描述网页的表现与展示效果JS:通常用来执行网络的功能与行为htmlhtml的组成：标签：网页的内容和文字属性：标签的描述信息（eg所属的类，标签的位置）CSSCSS:用来描述网页的表现与展示效果,是用于设置和布局网页的计算机语言.CSS是一门基于规则的语言 — 你能定义用于你的
2022-05-16 21:03:38
914
原创 java学习
面向对象接口接口:一个类中全部都是抽象方法，就可以把类改进为接口。接口的两个重点制定规则：所有方法都必须被重写可扩展：类中可以写更多的方法定义：interface（替代class的位置就好了）实现：类implements接口，重写所有方法，可以实现多个接口，全部重写方法接口中的变量：接口里的成员变量默认 public static final相当于是常量接口中的方法：只能是抽象方法 public abstract（jdk7和以前）。jdk8增加默认方法，不用在子类实现。关键字public
2022-05-02 10:36:55
86
原创 力扣冲刺冲刺
小白刷题记录-大二下70爬楼梯（易）假设你正在爬楼梯。需要 n 阶你才能到达楼顶。每次你可以爬 1 或 2 个台阶。你有多少种不同的方法可以爬到楼顶呢？看了一会，思考一个大方向。发现好像可以递归（这里想无论遇到什么题都应该思考一下大方向，或者说常见的算法分类），思考了一下递归出口，写了。超时，寄！图样图森破sometimesnaive。递归和dp好像存在某种联系，去查了一下，这个解释很好的解释了这道题。class Solution { public int climbStairs(int
2022-02-26 20:41:54
276
原创 一些日常学习的思想杂记
交调汇报本次报告的亮点与可以学习的地方：1.数据的可视化与处理:用很多图进行可视化，对于图中的异常点进行处理，表现出调查的严谨性与专业性(机器学习的数据预处理也有类似）2.细心观察整体，找到最核心的问题:行人阻塞车辆。3.对行人的到达与离去建立数学模型，量化数据，显得更加专业与严谨。4.思考解决方案：改变相位，本质上是优先解决主要矛盾，将矛盾转移到影响没那么大的事件（人流量较少的路口），还需要将整个重新架构的框架运行一遍，验证其严谨性。5.建立合适的评估方案（最好可以量化），使用比较专业的方式和
2021-12-03 23:34:26
630
原创 机器学习与深度学习代码
搭建简单神经网络深度学习的优化方法：应该看更多的代码，了解这些优化方法的使用方式，在层中的位置设计出巧妙的结构（函数或类），可以使参数的设置更加自如随机梯度下降：SGD，可以设置参数为动量梯度下降Adagrad、RMSprop、Adamtf.keras.optimizers.Adam学习率设置？正则化：L2正则化，直接在层里面加kernel_regularizer=regularizers.l2(0.01)Dropout正则化：在每一层后面+model.add(Dropout(0
2021-11-21 22:33:54
509
原创 交通工程相关
交通工程学的重要知识点公式汇总制动距离公式知识点概念杂概念月变化/周变化/时变化/高峰小时系数交通量的方向分布设计小时交通量车道数的计算车速密度交通调查方法浮动车调查法(车速/流量)调查时间的选择车速调查出入量法调查交通密度TODO:仔细阅读课本，看课本的每一道例题，找到理解不那么清晰的概念，去理解查阅。公式汇总制动距离公式知识点概念杂概念
2021-10-01 12:27:12
4667
原创 python打包exe文件教程及踩坑集锦
在目标文件下cmdhttps://blog.csdn.net/lys_828/article/details/105929284导入多个模块的操作，注意模块需要先在cmd里面pip install才能被找到，不然报错no module found。pyinstaller -F -c QTimerTest.py --hidden-import sklearn.neighbors.typedefs --hidden-import sklearn.neighbors.quad_tree --hidden
2021-09-28 09:19:55
122
原创 科学计算库学习笔记（持续更新）
文章目录数据处理与分析学习的思想与流程科学计算库的主要数据结构dataframedatetime和str数据处理的流程数据的导入数据的预处理科学计算库的库函数及操作loc和iloc统计满足多个条件行数的和：一种分步式处理问题的思想：mergegroupbywhere数据处理与分析学习的思想与流程1.语法的记忆，分析理解每个括号的意思2.理清楚数据处理的流程，获得所需数据的途径3.熟悉各种数据结构以及处理方式4.看到知识点思考应用场景，看到应用场景思考知识点5.最好先把数据弄成比较好计算的形状科
2021-09-23 22:15:03
512
原创 动规、贪心
#include<stdio.h>const int MAXN = 12000;int n, a[MAXN + 1], dp[MAXN + 1];int MAX=1;int longestNum(){ dp[1] = 1; for (int i = 2; i <= n; i++) { int flag=0; int max=dp[1]; for(int j=1;j<i;j++) //add something here for computing dp[i..
2021-06-06 16:52:14
215
2
原创 凹入表打印、多叉树转二叉树遍历
```c```c#include<stdio.h>#include<stdlib.h>#include<iostream>using namespace std;const int nmax=100;int f[nmax+1];int s[nmax+1][nmax+1];int tot;char a[nmax];int GetDepth(int x){ if(!s[x][0])//如果x号父亲没有儿子了 return 1; //pl..
2021-05-25 20:06:25
671
1
原创 数据结构与算法之归并排序与快速排序
归并排序代码及思路：#include<stdio.h>const int maxn=1000001;int A[maxn];//归并排序的基本思路（子循环过程）：将序列分成两半，分别排序，再合并，重复此过程//从最小的单元合并到最大的单元，排序完成 void merge(int arr[], int left, int middle, int right){//合并函数，借用两个数组实将一个两半分别为有序序列的数组合并为一个有序数组 int i, j; int n1=midd
2021-04-20 09:41:48
92
原创 高级程序设计作业之使用vector容器提取句子中的整数，浮点数，单词，并统计个数
待提取字符串:EHT measured the black hole’s mass to be approximately 6.5 billion solar masses and measured the diameter of its event horizon to be approximately 40 billion kilometres (270 AU; 0.0013 pc; 0.0042 ly)心得：主要的难点是出现（单词，或者(数字的情况。策略是判断每个子串的第二个字符。一开始提取子串的操
2021-04-10 10:56:17
157
原创 数据结构与算法之排序代码
#include<iostream>using namespace std;int main(){ int n; int temp; cin >> n; int a[100]; for (int i = 0; i < n; i++) { cin >> a[i]; } for (int i = 0; i < n-1; i++) { for (int j = i + 1; j < n; j++) { if (a[j
2021-03-31 12:46:01
115
原创 数据结构与算法之串&&KMP算法
串的简单理解就是字符串串一般装在数组里char a[]，常用gets（str）和puts(str)进行操作。注意用getchar（）读换行符好像没啥东西，实验课最难的一题还是上一节的循环队列，溜了溜了，更新上一篇去了。...
2021-03-28 19:11:36
108
原创 Matlab简单实现Kmeans聚类分析
先定义一个计算欧氏距离的函数：function dist = dist(x,y)%计算欧氏距离的函数dist = [x;y];dist = pdist(dist); % 计算各行向量之间的欧式距离end再定义一个处理数据的函数：% data=xlsread(‘sonar.xls’);% heart1=data(1,1:60);%创建两个簇心% heart2=data(97,1:60);%从这里创建一个函数tfunction [heart1,heart2,heart1_lat,heart2
2021-03-28 15:17:21
1715
原创 数据结构与算法之栈、队列、递归思想、判断出栈顺序的合法性
数据结构与算法第二节课内容的复习与总结栈：限定在表尾进行插入/删除的线性表。(FILO)数据结构特点：先进后出（子弹弹匣）小结论:如果进栈的顺序是123…则出栈的顺序不能是312结构的（三个数（不一定要连在一起）最大的在左边最小的在中间第二大的在右边）这是一个充要条件。用数组的形式按照栈的数据结构存放数据，return -1并没有实际意义，只是作为判断值进行后续的操作。出栈要使用指针形式。递归在操作系统内部的实现就是利用栈的原理。递归的两个案例：经典的汉诺塔问题：这里的AB代表的塔不是
2021-03-21 08:15:54
355
原创 C++单步调试/变量存储周期心得
课上讲解了调试程序的方法，经过自己手动调试写一点学习理解。首先左上角要调成debug模式，而成品（用于发布的程序）则可以调成release模式。release模式对程序的运行做了优化。单步调试的两个按键：F10和F11，这两个的主要区别是F10遇到函数不会进入函数体内，但是F11会。调试的步骤，左键输入栏左边的灰色区域可以设置红色的断点，左键断点可以取消断点。按F10或者F11灰色区域会出现箭头，拖动可以调整开始调试的位置。当箭头碰到断点时会终止调试。输入栏下边的窗口会实时显示变量的值通过单步调
2021-03-20 17:55:49
181
原创 matalab最速下降法的实现步骤以及思路详解
首先应该有函数的编程思想，在左边建立主函数，求二阶导的函数和p的函数。因为求二阶导是常数，不用迭代，而且相对独立于其他部分的代码，所以先写求二阶导的函数。求二阶导函数的思考过程:首先创建一个函数文件，确定传入的参数。因为要求出具体的值，所以要传入具体的点和题目给的式子，具体实现步骤是先对式子的x1x2求一阶导,赋值给fx1,fx2再对fx1,fx2分别关于x1,x2求偏导。放在fx1x1,fx1x2,fx2x1,fx2x2里面。再用subs函数求出具体的值。放到矩阵n里面,具体实现如下：funct
2021-03-14 16:05:53
287
原创 数据结构与算法之对于链表数据结构的理解
因为自己是个nt所以要做保姆级别的笔记以后才能看懂建立链表的两种方法：尾插法：非循环部分的理解顺序：首先定义三个链表节点指针变量，头尾p：LNode *head,*tail,*p;因为一开始只打算设置一个空结点，所以既是头又是尾，要给他开辟空间：head = tail = (LNode *)malloc(sizeof(Lnode));tail的next属性要初始化所以先指向空：tail->next=NULL;循环部分的理解顺序：p作为要插入的结点需要先开辟空间p=(LNode *)mallo
2021-03-14 16:02:23
259
原创 冥王星P的编曲日志《我们就这样溺死在漩涡里》
这次做的是偏金属的摇滚，因为自己学啥啥不行就想写首歌抨击内卷。写出来发现基底竟然有点neru的味道，于是就参考neru的《再教育》对旋律进行了一些改造和优化。在这里插入图片描述乐器配置以吉他为主，配上一个不是那么金属的贝司和明亮的钢琴。旋律写作：和弦进行A63451B4536C6451 AB段写得高歌猛进，A段的节奏型做过微调，加入了日式摇滚常见的抢拍设计C段旋律魔改于之前写的最满意的一段旋律：与夏末启程的主音吉他，但是太柔了。于是我从《再教育》那里找到了灵感：十六分音符起头的设计比较有爆发感。这是
2020-12-18 23:05:36
224
1
原创 冥王星P的编曲日志《时光的眼泪》
某一时刻突然意识到应该记录下作曲编曲的过程及亮点，以实现代码的重用（bushi）让我们回到时代久远的第一个工程《时光的眼泪》乐器配置情况流行抒情的基本配置，主要是仿照letter song。在第二段主歌加了电吉他扫弦（仿doriko唱出你的心愿设计），第二段副歌加了木吉他扫弦旋律写作：听了很多doriko的歌写的副歌旋律，运用了lettersong中52的动机，之后写的比较满意。其他旋律是之前写的魔改。和弦方面选择了A:6451 B:63451 C:卡农。前奏为副歌魔改，第一段间奏为doriko的旋律
2020-12-18 22:03:35
184
1
原创 黑马Python笔记4
命名的时候宜严格按照要求，不易出现空格宜使用_调用函数时，创建新项目的时候选择新窗口，否则出错。定义函数的格式def 函数名（）：函数的命名字母数字下划线…调用函数:函数名（）不能把函数的调用放在函数的上方。step into可以跳进函数单步执行，而step over会直接执行完函数接收参数：把参数名卸载定义函数的小括号内，用逗号分隔...
2020-11-28 17:40:36
112
原创 黑马Python笔记3
输入时，占位符在引号里面，而要接受的变量在引号外面eg:"…%d"%player)expected an indented block：缩进错误。if对缩进有要求，python对缩进要求严格if表判断 ==双等号一定要记住！！！if条件过长时，可添加小括号框柱判断的内容可以换行，注意8个空格的缩进。运算符的表continue时计数修改要在continue上面print函数会在内容的末尾自动换行小星星案例的关键为第三行和第四行 在每次大循环开始的时候把j弄成1，用j <= i 作为判断
2020-11-24 22:39:23
128
原创 黑马Python笔记2
从键盘输入变量：input函数字符串变量=input(“提示信息”)（字符串）类型转换函数int（x）eg:int(“123”)（字符串）=123(整)调试时若输入不了，可尝试在>?后输入（换行）代码不能正常编辑 Tools→vim emulator取消勾即可函数可以嵌套%格式化操作符，与c类似，不同的是，换成%eg%money。多个可用eg%（price,weight,money）的处理%06d：六位整数，没有用0补齐。>=6位则输出原整数%.xf：小数点后显示x位%%输出%
2020-11-23 22:03:35
108
原创 黑马Python笔记1
开发项目先建立目录python的单行注释：#（最好+1空格，否则会有灰色虚线（代码不规范））可换行也可不换黄色小灯泡：reformat file可调整格式使规范点击行号右侧的橙色点可设置断点以单步执行单步调试 debugger&console console显示程序运行到哪，debugger 则是单步调试 注意执行另一个文件时需要先右键run&&加了断点，否则debug和console是灰色多行注释”“”“”“定义变量时等号右边需要+”“Tab键有补全功能新建文件
2020-11-23 13:44:24
291
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人