- 博客(24)
- 收藏
- 关注
RSS订阅原创 Spark之RDD特性学习
RDD：是一种受限的共享内存模型，或者是只读的记录的集合。底层存储原理：将分布在不同存储器的Block数据块聚集在一起，每个block是由BlockManagerSlave管理，但是Block的元数据由Driver节点的BlockManagerMaster保存，BlockManagerSlave生成Block后向BlockManagerMaster注册该Block，由BlockManagerMaster管理RDD与Block的关系，当RDD不再需要存储时，将向BlockManagerSlave发送删除相应
2021-10-22 21:17:39
299
原创 理解mysql事务
事务是数据库（编程语言）用户执行的一个语句，从开始开始到结束为止，这就造成了事务要么是执行成功结束，要么是执行失败而结束。而事务是控制事件的基本单位，既然是用来控制事件，就会针对各种事件产生了不同特征，也就是我们常说的ACID，原子性、一致性、隔离性、持久性。原子性：当前事务操作非失败即成功，只有这两钟可能，原子性是由undo log日志保证的。undo log记载着数据修改前的信息，例如我插入一条数据，undo log会记载我创建表的信息或者删除该条数据的记录，一旦事务执行过程中出现异常，就会执行
2021-10-17 21:54:15
152
原创 2021-10-16
近期看了自己的sql代码，发现一些需要修改的地方，一个是跟不同情况下的分组聚合查询结果，还有个是时间区间写了好多的case when，比较影响整段代码的可阅读行。1、首先是对于不同情况下的分组聚合查询，我是直接分组查询然后将不同情况下的结果union all在了一起，其实完全可以使用grouping set、rollup、cube等提高代码的可阅读性。--我想对不同维度下的字段进行分组查询--原来的写法 select nvl(line1,'未知'), --也可以使用coalesce(line1
2021-10-17 19:22:16
140
原创 spark任务提交流程
spark任务提交流程1、编写程序打成jar包2、调用spark-submit脚本提交任务到集群上运行3、发送请求到ResourceManager，请求启动applicationMaster4、RS接收到请求后在集群上选择一个合适的NameNode节点，启动ApplicationMater5、运行spark-submit的main方法，通过反射的方式创建主类的实例对象，然后调用main方法，开始执行代码6、代码创建sparkcontext对象并对其初始化，同时创建DAGScheduler（将rd
2021-04-04 23:40:01
630
原创 TreeMap的排序方法compare改写即犯错点
要求分别使用默认方法和手动方法实现字符串和Person对象的排序去重1.TreeMap存储字符串2.TreeMap存储Person对象代码仔细看一下吧写的比较乱import java.util.Comparator;import java.util.TreeMap;public class Test2 { public static void main(String[] args) { /* 改变排序器，同时将排序器的名字写在TreeMap的小括号
2020-08-08 10:47:04
910
原创 子类的构造方法
构造方法的运行对于子类将父类重写，测试代码时，还是会先将父类的构造方法运行，如果不在子类的构造方法写super(有参或者无参数);，在默认的先运行父类的无参构造方法。public abstract class Demo6 {public static void main(String[] args) { new Zif("sfkg"); System.out.println("======"); new Zif();}}class Fuf{ String name
2020-08-05 21:38:18
1604
原创 单例 及其案例
单例：就是一种规范而已，不是必须的知识点或者关键字，仅仅是一种比较好的习惯（用途比较广泛）。作用：1、将规范好的数据传到已经开辟好的内存里，只能存一个，如果再往里面存就会把上一个数据替代。—传值2、全局访问点–感觉就是将一个空间给他static了一样（不准确）。一般分两类：饿汉式、懒汉式（还有几种，我还不会）普通方法：总结：就是比普通方法多了三句话//**普通方法**public class DanLi { public static void main(String[] args)
2020-08-01 17:12:53
154
原创 this super final abstract
this和superthis：是一种引用类型，代表当前对象，保存的是当前的对象的地址super：代表当前对象的父类，可以调用父亲的成员，但是它不是引用数据类型abstract class Gpv { private double price; private String name; private int ppu;//this的使用 Gpv(double price, String name, int ppu) { this.price = pric
2020-07-31 08:53:38
93
原创 Java 变量 静态 方法 代码块 规范
变量 静态!](https://img-blog.csdnimg.cn/20200729200034739.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pkcnlu,size_16,color_FFFFFF,t_70)public class Demo3 { public static void main(String[]
2020-07-29 21:06:28
378
原创 绘制关系图
获取数据大概思路：1.将人物名字加载到数组中2.加载文本3.由于计算机没有思考能力来分析那两个人物是有关系的，这里就按照段落建立联系，每段出现的各人物就有了关系4.根据名字数组判断每个段落人物的联系5.将关系写入到字典中6.将关系写入到文本中import jieba,codecsfrom pyecharts import options as optsfrom pyecharts.charts import Graphnames={}relationships={}lineName
2020-07-21 11:15:21
282
原创 朴素贝叶斯分类器 注释
试编程实现拉普拉斯修正的朴素贝叶斯分类器，并以西瓜数据集3.0为训练集，对P.151“测1”进行判别。代码全是《机器学习》上的，只是将其整合到了一起，能够运行手写体识别。内容大部分进行了注释，可能有些注释不够精准或者不容理解，见谅！代码from numpy import *def loadDataSet(): #创建实验样本 postingList=[['青绿','蜷缩','浊响','清晰','凹陷','硬滑',0.697,0.460], ['乌黑','
2020-06-17 11:46:37
606
原创 k近邻 注释
编程实现k近邻分类器，利用西瓜数据集3.0α，给出其中编号为8的西瓜的预测结果。代码全是《机器学习》上的，只是将其整合到了一起，能够运行手写体识别。内容大部分进行了注释，可能有些注释不够精准或者不容理解，见谅！代码：from numpy import * #引入numpy用来构建数据类型import operator #用来计算距离dataMat=array([[0.697,0.460],[0.774,0.376], [0.634,0.264],[0.608,0.318],[0.556,0
2020-06-17 11:42:37
311
1
原创 k均值聚类 注释
试编程实现k均值聚类算法，设置三组不同的初始中心点，在西瓜数据集4.0上进行实验比较代码全是《机器学习》上的，只是将其整合到了一起，能够运行手写体识别。内容大部分进行了注释，可能有些注释不够精准或者不容理解，见谅！代码：import numpy as np #用来调整数组和矩阵import matplotlib as mpl #用来设置字体和正负号import matplotlib.pyplot as plt #画图框import warnings #用来设置警告dataMat= [[0.
2020-06-17 11:38:30
409
原创 支持向量机书写体识注释，含文件
基于支持向量机的手写体识别代码全是《机器学习》上的，只是将其整合到了一起，能够运行手写体识别。内容大部分进行了注释，可能有些注释不够精准或者不容理解，见谅！代码from numpy import * #导入数据处理库from time import sleep #导入时间间隙函数def loadDataSet(fileName): #加载数据 dataMat = []; labelMat = [] fr = open(fileName) #打开文件 for line
2020-06-17 11:34:20
218
原创 实战西瓜集 决策树及其注释
有些注释不够严谨，见谅from math import log #引入math的log函数import operator #引入python的内部操作函数import matplotlib.pyplot as plt #引入绘画库'''定义文本框和箭头格式正常显示汉字'''decisionNode = dict(boxstyle="sawtooth", fc="0.8")leafNode = dict(boxstyle="round4", fc="0.8")arrow_args = d
2020-06-09 21:36:24
436
原创 五十常用图的条形图 树形图代码注释
条形图import pandas as pdimport matplotlib.pyplot as pltimport random# Import Datadf_raw = pd.read_csv("实例.csv")# Prepare Datadf = df_raw.groupby('manufacturer').size().reset_index(name='counts'...
2020-05-08 14:27:56
674
原创 python的squarify库一些用法
安装按住键盘上的Start+R 键，然后输入cmd进入命令符，输入pip install squarify作用一种坐标系，包括原点（x和y）和宽度/高度（dx和dy）的值。从最大值到最小值排序并规范化为总面积（即dx*dy）的正值列表。将数据生成基于matplotlib的树状图可视化详情函数返回一个dict列表（即JSON对象），每个dict都是一个矩形，其坐标与给定坐标系相对应，...
2020-05-07 20:57:02
7821
1
原创 盒须图简要制作
盒须图用来描述一组数据离散情况的统计图。一般作用：找出数据的异常值；将多组数据进行对比。代码import pandas as pd#引用库import matplotlib.pyplot as pltplt.rcParams["font.sans-serif"] = ["FangSong"]#设置中文字体，若数据里面没有中文可以不设置#plt.rcParams["axes.un...
2020-05-07 12:23:49
750
原创 C语言 统计成绩
统计成绩给出n个学生的考试成绩表，每条信息由姓名和分数组成，试设计算法：（1） 查找最高分和最低分的学生，并列出其姓名与分数（2） 按分数高低次序，打印出每个学生在考试中获得的名次，分数相同的为同一名次数据结构的设计顺序列表有利于数据的添加，删除和查找，而且容易编写代码。创建链表、排序、输出函数void create_xu( )功能：创建学生信息数组，进行排序和输出需要的相关信息...
2020-05-07 12:07:23
8411
原创 深度算法遍历图结构
用深度算法遍历图结构根据邻接表建立的图结构，首先先建立一个链式表、再建立头非空的链式表链接。这样便于图节点的插入和删除，而且节省空间。各功能函数的设计建立图结构 void creat(algraph *g)功能：根据输入的顺序表及其后面连接的链式表构建矩阵表。建立深度优先搜索： dfs(algraph *g,int i)功能：以vi为结点进行深度优先搜索。建立查找所有的图结构：df...
2020-05-07 11:57:05
461
原创 十进制整数转化R进制整数
数据结构的设计栈结构的逻辑结构为线性的，可建立链式结构使得入栈、出栈的操作是动态的，也可以很好地实现进制的转换。而且进制转换恰好和栈的输入输出输出类似，故选择栈是最好的。功能函数的设计建立并初始化栈函数 sqstack *Init_seqstack() 功能：该函数实现建立初始化的栈。具体过程：1.建立一个栈结构体指针s;2.将s指针指向的s->top赋予-1，即定义栈顶初始...
2020-05-03 11:05:47
3452
1
原创 使用lxml的HTML和parse两种方式解析html代码
使用lxml解析html代码：若解析的代码是字符串类型使用lxml.etree.HTML进行解析，例如from lxml import etreetext="""<div class="login_corp" ><div class="Third-partyi-login"> <a title="微信" class="login-item weixin...
2020-05-02 13:19:03
3434
原创 Java 字符类型（和python有点区别）
#Java字符类型##数据的转换###1、隐式转换数据范围从小到大；代码不需要特殊处理；int–>long;float–>double;long–>float###2、显式转换格式：范围小的类型 变量名=（范围小的类型）原本范围大的数据但数据转换时可能造成精度确实、数据溢出。byte/short/char这三种类型在运算时，都会先把类型提升到int，然后再计...
2020-04-30 15:22:24
254
原创 python的request库的简单操作
#requests笔记##发送get请求：发送get请求，直接’requests.get’‘’’pythonresponse= request.get(“https://www.baidu.com/”)‘’’##response的一些属性：‘’’pythonimport requestskw = {‘wd’:‘中国’}headers={‘User-Agent’:‘浏览的信息...
2020-04-30 12:12:27
276
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人