- 博客(24)
- 收藏
- 关注
原创 Spark之RDD特性学习
RDD:是一种受限的共享内存模型,或者是只读的记录的集合。底层存储原理:将分布在不同存储器的Block数据块聚集在一起,每个block是由BlockManagerSlave管理,但是Block的元数据由Driver节点的BlockManagerMaster保存,BlockManagerSlave生成Block后向BlockManagerMaster注册该Block,由BlockManagerMaster管理RDD与Block的关系,当RDD不再需要存储时,将向BlockManagerSlave发送删除相应
2021-10-22 21:17:39
287
原创 理解mysql事务
事务是数据库(编程语言)用户执行的一个语句,从开始开始到结束为止,这就造成了事务要么是执行成功结束,要么是执行失败而结束。而事务是控制事件的基本单位,既然是用来控制事件,就会针对各种事件产生了不同特征,也就是我们常说的ACID,原子性、一致性、隔离性、持久性。原子性:当前事务操作非失败即成功,只有这两钟可能,原子性是由undo log日志保证的。undo log记载着数据修改前的信息,例如我插入一条数据,undo log会记载我创建表的信息或者删除该条数据的记录,一旦事务执行过程中出现异常,就会执行
2021-10-17 21:54:15
142
原创 2021-10-16
近期看了自己的sql代码,发现一些需要修改的地方,一个是跟不同情况下的分组聚合查询结果,还有个是时间区间写了好多的case when,比较影响整段代码的可阅读行。1、首先是对于不同情况下的分组聚合查询,我是直接分组查询然后将不同情况下的结果union all在了一起,其实完全可以使用grouping set、rollup、cube等提高代码的可阅读性。--我想对不同维度下的字段进行分组查询--原来的写法 select nvl(line1,'未知'), --也可以使用coalesce(line1
2021-10-17 19:22:16
127
原创 spark任务提交流程
spark任务提交流程1、编写程序打成jar包2、调用spark-submit脚本提交任务到集群上运行3、发送请求到ResourceManager,请求启动applicationMaster4、RS接收到请求后在集群上选择一个合适的NameNode节点,启动ApplicationMater5、运行spark-submit的main方法,通过反射的方式创建主类的实例对象,然后调用main方法,开始执行代码6、代码创建sparkcontext对象并对其初始化,同时创建DAGScheduler(将rd
2021-04-04 23:40:01
606
原创 TreeMap的排序方法compare改写即犯错点
要求分别使用默认方法和手动方法实现字符串和Person对象的排序去重1.TreeMap存储字符串2.TreeMap存储Person对象代码仔细看一下吧写的比较乱import java.util.Comparator;import java.util.TreeMap;public class Test2 { public static void main(String[] args) { /* 改变排序器,同时将排序器的名字写在TreeMap的小括号
2020-08-08 10:47:04
898
原创 子类的构造方法
构造方法的运行对于子类将父类重写,测试代码时,还是会先将父类的构造方法运行,如果不在子类的构造方法写super(有参或者无参数);,在默认的先运行父类的无参构造方法。public abstract class Demo6 {public static void main(String[] args) { new Zif("sfkg"); System.out.println("======"); new Zif();}}class Fuf{ String name
2020-08-05 21:38:18
1587
原创 单例 及其案例
单例:就是一种规范而已,不是必须的知识点或者关键字,仅仅是一种比较好的习惯(用途比较广泛)。作用:1、将规范好的数据传到已经开辟好的内存里,只能存一个,如果再往里面存就会把上一个数据替代。—传值2、全局访问点–感觉就是将一个空间给他static了一样(不准确)。一般分两类:饿汉式、懒汉式(还有几种,我还不会)普通方法:总结:就是比普通方法多了三句话//**普通方法**public class DanLi { public static void main(String[] args)
2020-08-01 17:12:53
146
原创 this super final abstract
this和superthis:是一种引用类型,代表当前对象,保存的是当前的对象的地址super:代表当前对象的父类,可以调用父亲的成员,但是它不是引用数据类型abstract class Gpv { private double price; private String name; private int ppu;//this的使用 Gpv(double price, String name, int ppu) { this.price = pric
2020-07-31 08:53:38
84
原创 Java 变量 静态 方法 代码块 规范
变量 静态!](https://img-blog.csdnimg.cn/20200729200034739.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pkcnlu,size_16,color_FFFFFF,t_70)public class Demo3 { public static void main(String[]
2020-07-29 21:06:28
368
原创 绘制关系图
获取数据大概思路:1.将人物名字加载到数组中2.加载文本3.由于计算机没有思考能力来分析那两个人物是有关系的,这里就按照段落建立联系,每段出现的各人物就有了关系4.根据名字数组判断每个段落人物的联系5.将关系写入到字典中6.将关系写入到文本中import jieba,codecsfrom pyecharts import options as optsfrom pyecharts.charts import Graphnames={}relationships={}lineName
2020-07-21 11:15:21
273
原创 朴素贝叶斯分类器 注释
试编程实现拉普拉斯修正的朴素贝叶斯分类器,并以西瓜数据集3.0为训练集,对P.151“测1”进行判别。代码全是《机器学习》上的,只是将其整合到了一起,能够运行手写体识别。内容大部分进行了注释,可能有些注释不够精准或者不容理解,见谅!代码from numpy import *def loadDataSet(): #创建实验样本 postingList=[['青绿','蜷缩','浊响','清晰','凹陷','硬滑',0.697,0.460], ['乌黑','
2020-06-17 11:46:37
584
原创 k近邻 注释
编程实现k近邻分类器,利用西瓜数据集3.0α,给出其中编号为8的西瓜的预测结果。代码全是《机器学习》上的,只是将其整合到了一起,能够运行手写体识别。内容大部分进行了注释,可能有些注释不够精准或者不容理解,见谅!代码:from numpy import * #引入numpy用来构建数据类型import operator #用来计算距离dataMat=array([[0.697,0.460],[0.774,0.376], [0.634,0.264],[0.608,0.318],[0.556,0
2020-06-17 11:42:37
294
1
原创 k均值聚类 注释
试编程实现k均值聚类算法,设置三组不同的初始中心点,在西瓜数据集4.0上进行实验比较代码全是《机器学习》上的,只是将其整合到了一起,能够运行手写体识别。内容大部分进行了注释,可能有些注释不够精准或者不容理解,见谅!代码:import numpy as np #用来调整数组和矩阵import matplotlib as mpl #用来设置字体和正负号import matplotlib.pyplot as plt #画图框import warnings #用来设置警告dataMat= [[0.
2020-06-17 11:38:30
395
原创 支持向量机书写体识注释,含文件
基于支持向量机的手写体识别代码全是《机器学习》上的,只是将其整合到了一起,能够运行手写体识别。内容大部分进行了注释,可能有些注释不够精准或者不容理解,见谅!代码from numpy import * #导入数据处理库from time import sleep #导入时间间隙函数def loadDataSet(fileName): #加载数据 dataMat = []; labelMat = [] fr = open(fileName) #打开文件 for line
2020-06-17 11:34:20
209
原创 实战西瓜集 决策树及其注释
有些注释不够严谨,见谅from math import log #引入math的log函数import operator #引入python的内部操作函数import matplotlib.pyplot as plt #引入绘画库'''定义文本框和箭头格式正常显示汉字'''decisionNode = dict(boxstyle="sawtooth", fc="0.8")leafNode = dict(boxstyle="round4", fc="0.8")arrow_args = d
2020-06-09 21:36:24
424
原创 五十常用图的条形图 树形图代码注释
条形图import pandas as pdimport matplotlib.pyplot as pltimport random# Import Datadf_raw = pd.read_csv("实例.csv")# Prepare Datadf = df_raw.groupby('manufacturer').size().reset_index(name='counts'...
2020-05-08 14:27:56
667
原创 python的squarify库一些用法
安装按住键盘上的Start+R 键,然后输入cmd进入命令符,输入pip install squarify作用一种坐标系,包括原点(x和y)和宽度/高度(dx和dy)的值。从最大值到最小值排序并规范化为总面积(即dx*dy)的正值列表。将数据生成基于matplotlib的树状图可视化详情函数返回一个dict列表(即JSON对象),每个dict都是一个矩形,其坐标与给定坐标系相对应,...
2020-05-07 20:57:02
7667
1
原创 盒须图简要制作
盒须图用来描述一组数据离散情况的统计图。一般作用:找出数据的异常值;将多组数据进行对比。代码import pandas as pd#引用库import matplotlib.pyplot as pltplt.rcParams["font.sans-serif"] = ["FangSong"]#设置中文字体,若数据里面没有中文可以不设置#plt.rcParams["axes.un...
2020-05-07 12:23:49
731
原创 C语言 统计成绩
统计成绩给出n个学生的考试成绩表,每条信息由姓名和分数组成,试设计算法:(1) 查找最高分和最低分的学生,并列出其姓名与分数(2) 按分数高低次序,打印出每个学生在考试中获得的名次,分数相同的为同一名次数据结构的设计顺序列表有利于数据的添加,删除和查找,而且容易编写代码。创建链表、排序、输出函数void create_xu( )功能:创建学生信息数组,进行排序和输出需要的相关信息...
2020-05-07 12:07:23
8380
原创 深度算法遍历图结构
用深度算法遍历图结构根据邻接表建立的图结构,首先先建立一个链式表、再建立头非空的链式表链接。这样便于图节点的插入和删除,而且节省空间。各功能函数的设计建立图结构 void creat(algraph *g)功能:根据输入的顺序表及其后面连接的链式表构建矩阵表。建立深度优先搜索: dfs(algraph *g,int i)功能:以vi为结点进行深度优先搜索。建立查找所有的图结构:df...
2020-05-07 11:57:05
444
原创 十进制整数转化R进制整数
数据结构的设计栈结构的逻辑结构为线性的,可建立链式结构使得入栈、出栈的操作是动态的,也可以很好地实现进制的转换。而且进制转换恰好和栈的输入输出输出类似,故选择栈是最好的。功能函数的设计建立并初始化栈函数 sqstack *Init_seqstack() 功能:该函数实现建立初始化的栈。具体过程:1.建立一个栈结构体指针s;2.将s指针指向的s->top赋予-1,即定义栈顶初始...
2020-05-03 11:05:47
3413
1
原创 使用lxml的HTML和parse两种方式解析html代码
使用lxml解析html代码:若解析的代码是字符串类型使用lxml.etree.HTML进行解析,例如from lxml import etreetext="""<div class="login_corp" ><div class="Third-partyi-login"> <a title="微信" class="login-item weixin...
2020-05-02 13:19:03
3348
原创 Java 字符类型(和python有点区别)
#Java字符类型##数据的转换###1、隐式转换数据范围从小到大;代码不需要特殊处理;int–>long;float–>double;long–>float###2、显式转换格式:范围小的类型 变量名=(范围小的类型)原本范围大的数据但数据转换时可能造成精度确实、数据溢出。byte/short/char这三种类型在运算时,都会先把类型提升到int,然后再计...
2020-04-30 15:22:24
238
原创 python的request库的简单操作
#requests笔记##发送get请求:发送get请求,直接’requests.get’‘’’pythonresponse= request.get(“https://www.baidu.com/”)‘’’##response的一些属性:‘’’pythonimport requestskw = {‘wd’:‘中国’}headers={‘User-Agent’:‘浏览的信息...
2020-04-30 12:12:27
266
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人