- 博客(52)
- 收藏
- 关注
RSS订阅原创 技.艺.道：spark常见问题整理
一、数据倾斜数据倾斜、热点问题这两种称呼描述的都是同一个问题：数据分布不均匀。为什么不均匀就会成为一个问题？回溯分布式计算的初衷是这样一个情景：每个节点的数据和算力都是均衡分布的，也就是说，每个节点存储的数据量都差不多，具有的算力也都差不多。然而在一次实际的计算中参与计算的数据在集群中的分布往往是这样的：.........
2022-06-23 17:04:58
270
原创 技.艺.道：“地摊经济”话“HDFS文件读写”
一、HDFS组件介绍由于这是一篇原创文章，为了保证其原创性（和权威性），我不得不亲手从官网截来一张图：Namenode：名称节点，作为master，负责namespace管理（其实就是目录结构，这也是叫“namenode的原因”），block管理（其中包括 filename->block，block->datanode list的对应关系）Datanodes：数据节点，作为slave，负责数据的具体存储Client：客户端，作为数据读写请求的发起方。讲到这里，忍不住要作图
2020-06-11 16:27:04
266
原创 技.艺.道：SQL的各种join与开窗函数
一、join在多表关联查询场景中，join是常用的方式。join，汉译为“连接”。连接分为内连接（inner join）和外连接（out join）。外连接分为左外连接和右外连接和全外连接，它们由分别简称为“左连接(left join)”、“右连接(right join)”和“全连接(full join)”。当只使用关键字“join”时，等同于内连接（inner join）。0.准备数据-- 1.学生表：学号，姓名，性别，年龄-- 1）建表：create table t_student(p
2020-06-09 15:41:37
1291
原创 技.艺.道：B+树
一、简介B+树是常用于数据库和操作系统的文件系统中的一种用于查找的数据结构.B+树的特点是能够保持数据稳定有序，其插入与修改拥有较稳定的对数时间复杂度。B+树元素自底向上插入，这与二叉树恰好相反。二、定义B+树是B树的一种变形形式，B+树上的叶子结点存储关键字以及相应记录的地址，叶子结点以上各层作为索引使用。一棵m阶的B+树定义如下:每个结点至多有m个子结点； 除根结点外，每个结点至少有[m/2]个子结点，根结点至少有2个子结点； 有k个子结点的结点必有k个关键字。B+树的查找与.
2020-06-03 14:42:14
328
原创 技.艺.道：B树
一、简介名称：平衡多路查找树出现的原因：为了解决 平衡二叉树在存储大量数据时的树过高的问题。主要使用场景：数据库索引二、定义与性质基础1：B树节点的结构1）叶子结点结构叶子节点里面什么都没有，因此不能算是一棵子树，但它在逻辑上确实是一个结点。可以把它想象成一个空盒子。2）非叶结点（即不是叶子结点的结点）结构指针比key（关键字）多一个（多一个指针0），因为key是夹在指针之间的。这里的“结点”指的是，它是构成B树的基本单元，在图中表示为这个淡黄色的圆角矩形。即
2020-06-02 13:27:27
2369
原创 技.艺.道：查漏补缺之-sed
一、sed1.简介sed是一个用来编辑文本的指令。2.示例基本语法：sed [options] '[匹配模式] sed的内部命令' file1[options]：默认是脚本命令模式“-e”，即通过后面单引号中的脚本命令来操作指定的文本文件，也可以通过"-f" 改成脚本文件模式，即用指定sed脚本文件操作指定文本文件。还有其他模式，需要的时候可以查看"sed -h"，我翻译了一版在附录中了。匹配模式：行数：指定操作的行号，直接用数字即可，如sed ‘10 a\abcd’ lo
2020-06-01 09:46:55
334
原创 技.艺.道：查漏补缺之-awk和sort
一、AWK1.简介AWK是一个优良的文本处理工具，Linux及Unix环境中现有的功能最强大的数据处理引擎之一。这种编程及数据操作语言（其名称得自于它的创始人阿尔佛雷德·艾侯、彼得·温伯格和布莱恩·柯林汉姓氏的首个字母）的最大功能取决于一个人所拥有的知识，很多事情往往都是这样。我们可以在linux环境中使用它来进行快速的、任意规模的数据统计分析。大到几十G、小到随手统计文件信息均可。2.使用示例数据：log.txt1,aa a,ccc,aw qr2,ss ss,d dd,e e e
2020-05-28 16:34:02
387
原创 技.艺.道：HashMap源码分析
提要：put(K key, V value) hash(Object key) putVal(int hash, K key, V value, boolean onlyIfAbsent, boolean evict) resize() get(Object key) getNode(int hash, Object key) remove() removeNode(int hash, Object key, Object value, boolean matchValue, boo...
2020-05-25 17:15:48
161
原创 技.艺.道：红黑树的结构及相关操作（三种遍历、两种旋转等等）
一、结构介绍1、树特性：整棵树只能有一个树根，节点间不可交叉和成环。2、二叉树特点：在树的基础上，每个节点上最多有两个子节点3、二叉搜索树特点：在二叉树的基础上，有序。即在每棵子树中，均有：左子节点的值<根节点的值<右子节点的值。4.自平衡二叉查找树特点：在二叉搜索树的基础上，自平衡。即在当有新的节点加入或旧的节点删除时，会通过一些节点的旋转，自动调节树的结构，使树保持平衡的结构，以保持较高的查询效率。5.、红黑树
2020-05-25 16:47:20
1622
原创 技.艺.道：器-python一站式平台Jupyter（丘比特）入门
一、简述Jupyter Notebook是一个开源Web应用程序，允许您创建和共享包含实时代码，方程式，可视化效果和叙述文本的文档。用途包括：数据清理和转换，数值模拟，统计模型，数据可视化，机器学习等。二、为什么使用jupyter在没有它的时代，我们进行数据分析时，我们需要这样做。使用文档编辑器进行问题分析及逻辑梳理。 使用python命令行或idea进行数据处理。 使用R或MATLAB进行可视化。 通过截图将分析及实现过程整理到一个文档中，作文分析报告。而使用Jupyter是这样的
2020-05-11 17:37:34
2406
原创 技.艺.道：认识JVM
一、JVM是什么JVM全名叫“Java Virtual Machine”，中文名叫“爪哇虚拟机”，是java和java系（如Scala、Kotlin）语言实现平台无关性的关键角色。牛逼但也不玄乎，归根结底它只是一个软件而已，也就是运行于操作系统上的一个应用程序，与即时通讯软件、游戏这些应用程序没有本质区别。但还有一点要说，JVM是一个概念，或者说是一类软件。比如“即时通讯软件”包括QQ、微信、...
2020-04-24 14:25:42
317
原创 Apache-Tez（阿帕奇太子）初识
先看官网介绍：地址在这：https://tez.apache.org/介绍ApacheTEZ®项目旨在构建一个应用程序框架，该框架允许使用复杂的有向无环图来处理数据。它当前构建在Apache Hadoop YARN之上。Tez的2个主要设计主题是：通过以下方式增强最终用户的能力： 富有表现力的数据流定义API 灵活的输入-处理器-输出运行时模型 不可知数据类型 ...
2020-04-10 15:33:36
625
原创 java常识2：equals()与hashCode()的覆写
一、equals()的作用及equals()为什么通常要被覆写使用：“equals”中文译为“相等”。在java中，“==”也是判断相等的运算符，而且使用方便，唯一的缺点就是“没有个性”！java语言构造了一个五光十色的世界，它可以被用来创造无数的类，而不同的类，在不同的场景下，用来判断是否相等的标准也会是各种各样的。比如：人虽然每个都不同，杨蜜和刘意非这两个不同的人却同样都会去女浴室，也...
2020-03-09 13:23:01
231
原创 java常识1：弄清楚equals()和“==”
一、传统认知 运算 基本数据类型比较的对象 引用数据类型比较的对象 == 值 堆内存空间 equals 值 默认堆内存空间，覆写的方法除外 二、通过程序找问题import com.leon.java...
2020-03-08 14:31:55
346
原创 getMethods()与getDeclaredMethods()等的用法区别整理
一、引言：在反射原理中，我们常常要使用Class实例获取其对应的构造方法、普通方法、成员属性、注解。我们会发现他们的获取方法比较多，下面我们对它们的用法说明进行了一些整理。二、用法整理： 类型 获取全部 获取指定 Method getMethods() 获取本类及超类的所有公共方法...
2020-03-06 17:46:37
1518
原创 反射机制的基本用法
反射机制的最大特点：不用导包。反射机制的功能：已知一个实例对象 获得该实例对象的本类及父类的指定或全部信息 类名 方法：方法名、方法修饰符列表、返回值类型、参数列表 成员属性：属性类型、属性名称 实例：String className = "com.leon.java.reflect.Person"; ---->1.得到该字符串所指代类的...
2020-03-06 16:24:50
216
原创 反射梦话简介
有人说，代码是咒语，咒语是带有魔法的，我不信，于是有一天我试了一下。有一天，我看新闻知道了任天堂的switch很好玩，于是我在电脑上写下了一行咒语：Switch switch = new Switch();那一刻，一阵微风吹过，一台switch出现在了我的桌上，我至今都忘不了它那包装盒完美的触感，打开包装盒时那清脆的响声。经过几天的疯狂玩耍之后，我居然想去户外活动一番，于是就出去...
2020-03-04 10:41:54
150
原创 java泛型
一、泛型的出现java泛型，是JDK1.5之后加入的功能。二、泛型的作用我们都知道，类是一个模板，可以用来实例化对象。如果一个类没有使用泛型，那么它就是一个“专用”模板，可以产生一种对象；而如果类中使用了泛型，那它就是一个“通用”模板，可以产生多种对象。专用模板就好像下面这些：横纵坐标的数值为 int 类型的坐标类。/*** 坐标类：横纵坐标的数值为 int类型*/c...
2020-03-03 13:33:43
116
原创 线程A的一辈子
大家好，我是一个普通的线程，父母为我起了一个好听的名字：线程A。（怎么看都是一个很随意又不负责任的名字）我的人生，要从一家名叫“idea”的公司说起，它是我们整个巨马国（JVM国）最有实力的公司。实际上，我的一生都和它有关。像是有一个人，端坐在那公司华丽又高耸入云的办公楼里用一双无形的手，控制着在市井中的我。一种宿命感让我喘不过气。好在我就读的idea公司旗下的爱迪特高中有一名老师耐心的开导了我，...
2020-02-28 16:20:14
162
原创 sleep()与wait()
一、相同点： 都可以实现线程的“暂停”，即：暂时停止正在执行的操作。二、不同点： 1.所属类不同： sleep()来自java.lang.Thread wait()来自java.lang.Object 2.对资源的锁定不同： sleep()没有释放锁...
2020-02-27 23:20:12
161
原创 进程与线程梦话演绎
那是一个寒冷的冬天，这雪即便是放在北方极寒之地也算是大雪了。金陵城路面上积雪严重，于是“清除路面积雪”的任务便由此产生。官府决定派遣公子蓝、酒鬼婴和甄琼林三位高手去执行此任务。 金陵城的城务长官蔡仕薪，初到官场，对城务管理更是经验不足。这清雪任务的人选是选定了，可是该如何分配资源，他有些犯难。这蓝、婴、林三个人去执行任务，我该给每个人分别分配些什么资源呢？这个公子蓝做...
2020-02-27 21:03:24
177
原创 实现多线程的三种方法
由于我之前的java基础不是很好，所以长久以来都只知道有两种多线程的实现方式（继承Thread类或实现Runnable接口），今天才知道还有第三种方式：通过Callable接口实现。下面我们详细聊一下这三种方式。实现方式一：通过Thread类实现 代码：class ThreadTest extends Thread{ @Override public void ru...
2020-02-26 00:28:41
506
原创 TensorFlow入门-10.经典损失函数-原理介绍
引言：“函数”不陌生，小时候我们曾经学过，函数表达的是一个对应关系。这种表述是相对宽泛的，也是相对准确的。宽泛是指客观来说这种表述对于数学也好，对于编程也好都是适用的。准确指的是，我主观上觉得它准确。“损失”就比较生活了，比如钱包被偷了，里面有五块钱现金，一张没有钱没来得及注销的银行卡，一包价值五毛钱的面巾纸及一张女朋友的照片。那么我们评估一下损失，发现这次损失了二十万零五块五，因为女朋友的照...
2020-02-25 22:17:44
318
原创 技.艺.道：phoenix数据的导入与导出
前言Apache.Phoenix官方口号是：We put the SQL back in NoSQL.以HBASE作为其数据存储基础。更通俗的说法是：phoenix是HBASE的SQL引擎。为本不支持标准SQL语法的NoSQL数据库服务HBase提供了一个用SQL语言交互的入口，降低了使用门槛，拓宽了HBASE的使用范围。基于phoenix和hbase可以在一定的硬件基础上，获得一个“超级My...
2019-07-16 17:28:42
2593
原创 技.艺.道：elasticsearch常用搜索方法详解
零、提要1.简单的搜索方式：query string search2.强大的搜索方式：query DSL3.搜索中的过滤：query filter4.全文搜索：full-text search5.部分内容搜索：phrase search6.高亮搜索：highlight search一、准备环境准备：见上一篇《技.艺.道：elasticsearch概念梳理及...
2019-07-04 17:06:00
254
原创 技.艺.道：elasticsearch概念梳理及基础操作
我想，既然你来看这篇文章了，那么应该不用告诉你ElasticSearch是用来做什么的了。如果你是无意中看了这篇文章，那我也要对你负责。告诉你这篇文章要介绍的对象是谁，它就是ElasticSearch。后面简称ES。一个基于文档的分布式搜索分析框架。当前主流的分布式框架具有的属性，它基本上都有，如高性能，高可用。下面我们进入正题，介绍ES中的概念。我们采用MAP的方式来表述。即A：XX...
2019-07-01 13:41:34
168
原创 网页计算器的实现
<!DOCTYPE html><html><head> <title>网页计算器</title></head><body> <textarea id="test" cols="15" rows="5" wrap="hard"></textarea><!-- 创建表单元...
2019-05-16 13:53:41
1007
原创 TCP协议常规报文抓包分析
一、前置说明：抓包工具采用wireshark127为主机A126为主机B二、报文及对应的包头信息：1.tcp连接建立：三次握手报文抓包交互流程第一次握手：主机A---SYN---->主机B主机A发送连接请求。主机A想要与主机B进行TCP通信,首先他需要向B发送一个syn同步序列编号syncsynchronized squsequence nu...
2019-05-15 14:21:56
3488
原创 异常进程“ld-linux-x86-64”引发的一次集群遭到黑客攻击问题的解决
一、现象：平台集群中的虚拟机，存在异常进程“ld-linux-x86-64”，占用了大量cpu资源。其次，重启虚拟机之后，虚拟机的操作系统ROOT用户密码会被修改，初步判断原因为被黑客攻击。二、探索：安装杀毒软件clamav 1040 yum install clamd -y 1043 freshclam 1049 service clamd sta...
2019-01-24 11:43:38
7361
原创 Ioc理论（DI理论）基础
一、基本信息英文全称：Inversion of Control中文解释：多数书籍翻译成“控制反转”别称：DI（Dependency Injection）理论目的：用来实现对象（类）之间的“解耦”提出者：软件专家Michael Mattson使用了该理论的典型框架：spring应用：很多的J2EE项目均采用了IOC框架产品Spring解耦原理：把复杂系统分解成相互合作的对象，这些对象类通过封装以...
2018-12-14 17:42:15
390
原创 对数计算的实现方式（在windows计算器、OneNote、Python和Java中）
1.在windows计算器中： 利用换底公式实现：2.在OneNote中：开启“自动计算数学表达式”找到：“选项”->“高级”->“编辑”->勾选“自动计算数学表达式”。3.在python中：格式：import mathmath.log(x[, base])参数说明：x -- 数值表达式。 base -- 可选，底数，默认为 e...
2018-12-12 14:43:22
1827
1
原创 windows环境下安装MySQL8
1.下载MYSQL服务下载地址：https://dev.mysql.com/downloads/mysql/2.解压3.修改配置在解压出的文件主目录中创建一个文本文件：my.ini内容： [mysqld] # Remove leading # and set to the amount of RAM for the most important data ...
2018-11-28 13:55:04
256
原创 TensorFlow入门-09.感知机与多层网络
感知机：单层神经网络，没有隐藏层。问题：不能解决异或问题。多层网络：具有解决异或问题的能力。多层网络解决问题的原理：深层神经网络实际上有组合特征提取的功能。这个特性对于解决不易提取特征向量的问题（比如图像识别、语音识别等）有很大的帮助。这也是深度学习在这些问题上更容易取得突破性进展的原因。注意：以下两个样例的激活函数均为非线性函数未加入隐藏层的神经网络的分类效果： ...
2018-11-27 16:46:47
535
2
原创 TensorFlow入门-08.激活函数
1.激活函数作用：激活函数的作用是实现线性函数的去线性原理：将神经网络最后一层隐藏层的输出都经过一个非线性函数，那么整个神经网络就是一个非线性函数了。用法：特征矩阵*权重矩阵+偏置矩阵数学定义：TensorFlow实现：a = tf.nn.relu(tf.matmul(x, x1) + biases1)y = tf.nn.relu(tf.matmul(a, x2) ...
2018-11-27 16:02:28
184
原创 LaTeX公式编辑器（CSDN公式）使用入门
使用说明1.上标的表示：a^{x}上标内容为带有符号的字符串：a^{上标内容}，即需要加大括号上标内容为不带有符号的字符串（或单个字符）：a^上标内容，即不加大括号样例：y=a^{(1)}W^{(2)}===》2.下标的表示：w_{i}样例： y=w_i*x_i+b===》3.累加符号：\sum_{i}\sum_{累加起始值}^{累加次数...
2018-11-16 16:00:38
3099
原创 TensorFlow入门-07.深度学习与深层神经网络
0.深度学习的定义（维基百科）：一类通过多层非线性变换对高复杂性数据建模算法的合集。1.深度学习与深层神经网络的关系：因为深层神经网络时实现“多层非线性变换”最常用的一种方法，所以在实际中基本上可以认为深度学习就是深层神经网络的代名词。2.深度学习的两个重要特性： |- 多层： |- 非线性：3.线性模型的定义：在线性模型中，模型的输出为输入的加权和。假...
2018-11-16 15:27:03
233
原创 TensorFlow入门-06.一个完整的神经网络样例程序
训练集：模拟数据集解决的问题：二分类问题样例代码：# 1.导入模块import tensorflow as tf# NumPy是一个科学计算的工具包，这里通过NumPy工具包生成模拟数据集from numpy.random import RandomState# 2.定义神经网络的参数w1 = tf.Variable(tf.random_normal((2, 3), st...
2018-11-14 17:40:38
447
原创 TensorFlow入门-05.用TensorFlow训练神经网络模型
1.placeholder机制作用：解决多次迭代中，计算图过大的问题。 |- 如果不使用placeholder机制，多次迭代中，多个特征向量，对应多个计算图。计算图利用率低。 |- 使用placeholder机制，多次迭代中，多个特征向量，对应一个计算图。计算图利用率高。特点： |- 是一种张量，因此它的类型可以在声明的时候指定，一旦声明就不可改变； ...
2018-11-14 16:38:57
236
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人