- 博客(27)
- 收藏
- 关注
RSS订阅
原创 Oracle数据库开发PLSQL基础
PLSQL程序设计概述Oracle SQL Develop的安装使用PL/SQL的作用和第一个PL/SQL程序作用：操作Oracle 数据库效率最高，为后续触发器，存储过程，存储函数做铺垫PL/SQL(Procedure Language/SQL),PLSQL是Oracle对sql语言的过程化扩展指在SQL命令语言中增加了过程处理语句(如分支，循环)，使得SQL语言具有过程处理...
2019-11-30 20:52:41
759
原创 Oracle学习
Orcale学习Orcale数据库的配置oracle的五个服务OracleDbConsoleorcl(企业管理服务，B/S结构的管理界面)OrcleJobScheduleorcl(日程调度，自动化任务)oracleOraDb11g_home1iSQL*Plus(B/S结构的SQLPLUS工具)OracleRemExecService(基本服务，一切服务的基础，必须启动) 快捷启动的命...
2019-11-30 20:49:49
274
1
原创 第十章 Flink
`Apache Flink`是一个框架和**分布式处理引擎**，用于对**无界**和**有界**数据流进行有状态计算。 Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。
2023-02-01 16:21:31
301
原创 第九章 Spark
Spark是一个用于大规模数据处理的统一。注意：Spark不仅仅可以做类似于的离线数据计算，还可以做实时数据计算，并且它还可以实现类似于Hive的SQL计算，等等，所以说它是一个统一的计算引擎。
2023-02-01 13:49:04
342
原创 docker
Docker 是一个开源的应用容器引擎，基于 Go 语言 并遵从 Apache2.0 协议开源。Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口（类似 iPhone 的 app）,更重要的是容器性能开销极低。
2023-02-01 11:04:00
423
原创 Python 十大数据结构
cpython 实现deque使用默认长度64的数组，每次从左侧移除一个元素，leftindex 加1，如果超过64就释放原来的内存块，在重新申请64长度的数组，并使用双端链表block管理内存块。基本的dict无法保证顺序，keys映射为哈希值，而此值不是按照顺序存储在散列表中，所以遇到要确保字典keys有序场景，就要使用OrderedDict。使用update进行合并，会新建一个内存结构，除了浪费空间外，还有一个缺点，就是我们对新字典的更改不会同步到源字典上。既然使用双向链表，细心的读者可能会有疑。
2022-09-28 19:36:06
2395
原创 Python核心技术总结
变量命名规则常量使用大写常见操作字符串大小写合并字符串删除空白和特殊字符字符串的搜索和替换字符串分割字符串连接字符串切片string 模块1.4 数字常见操作1.5 注释单行注释多行注释1.6 标准数据类型Number(数字)intfloatboolcomplex(复数)String(字符串)List(列表)Tuple(元组)Set(集合)Dictionary(字典)在这六个标准数据类型中分可
2022-09-28 19:22:33
1184
原创 Oracle常用函数
oracle常用函数时间函数获取周日时间--获取最近的周日信息select to_char(trunc(sysdate,'iw') - 1 from dual周相关函数select trunc(sysdate,'W'), --每月1日作为第一个星期第一天 取当前周第一天对应日期 trunc(sysdate,'WW'), --每年1月1日作为第一个新奇第一天,取当前周对应第一天日期 trunc(sysdate,'IW'), --当前日期的周
2022-04-11 15:54:47
4950
原创 第五章 YARN
5.1 概念YARN主要负责集群资源的管理和调度。支持主从结构。主节点最多可以有2个，从节点可以有多个。YARN主要管理内存和CPU两种资源类型。ResourceManager主要负责集群资源的分配和管理NodeManager主要负责当前机器的资源管理。当NodeManager节点启动的时候会自动向ResourceManage注册，将当前节点的可用CPU和内存注册到ResourceManager。这样所有的NodeManager注册完成之后，ResourceManager就知道集群的资源总
2022-01-25 14:57:40
2113
原创 第四章 MapReduce性能优化
4.1 小文件存储解决方案4.1.1 为什么不适合存储小文件Hadoop 中的HDFS和MapReduce都是针对大文件来设计的。在HDFS中，DataNode在启动的时候需要每个block 的信息都要上报给NameNode,每个block 的信息占用150字节，如果我们存储了一堆都是几KB的小文件，最后发现NameNode的内存占满了，确实存储了很多文件，但是文件的总体大小却很小，这样就失去了HDFS存在的价值。在MapReduce中每个block 需要启动一个Map任务，启动Map任务很耗资源，但是
2022-01-21 19:29:11
1822
原创 第三章 MapReduce
3.1.1 MapReduce概念MapReduce是一个分布式计算框架。3.1.2 MapReduce底层原理MapReduce 采用的是移动计算的方式，根据split产生map test,然后通过shuffle，将map任务的输出拷贝到不同的reduce节点。由reduce阶段进行全局汇总。原理图block 是HDFS文件物理上的分割，split 是HDFS文件逻辑上的分割，严格意义上来说是一个split 产生一个map 任务。3.1.3 MapReduce执行过程3.2 Word
2022-01-19 14:33:51
1489
原创 第二章 HDFS
2.1 HDFS 介绍分布式文件系统设计思想用户请求查看数据时会请求主节点，主节点上面会存储维护着所有数据的存储信息，然后用户根据数据所在的节点信息去对应的节点去读取数据，这样压力就进行了分流。常见的分布式文件系统GFS(谷歌)TFS(淘宝)S3(S3)HDFS 定义HDFS的全称是Hadoop Distributed File System ，Hadoop的 分布式 文件系统,它是一种允许文件通过网络在多台主机上分享的文件系统，可以让多台机器上的多个用户分享文件和存储空间。
2022-01-11 15:19:45
824
原创 第一章 Hadoop
第一章 Hadoop1.1 Hadoop 简介Hadoop 是一个适合海量数据的分布式存储和分布式计算的框架。这里的分布式存储指的是HDFS ；分布式计算指的是MapReduce1.1.1 Hadoop 版本Hadoop1.x HDFS+MapReduceHadoop2.x HDFS+YARN+MapReduceHadoop3.x HDFS+YARN+MapReduce1.1.2 Hadoop3.x的细节变化最低的Java版本要求从Java7变为Java8在Hadoop
2022-01-11 15:11:22
816
原创 Linux常用命令
第零章 绪论以下命令都是基于 Centos7第一章 Linux 常用目录结构第二章 Linux 常用基本命令2.1 文件查看pwd (显示当前路径)whoami (显示自身用户名称)lsll(ls -l缩写)列出当前目录下的文件ll -a列出当前目录下的所有文件(包括隐藏文件)which 查找文件(一般用来查找文件或命令所处位置)[root@bigdata01 ~]# pwd/root[root@bigdata01 ~]# whoamiroot[root@bigdata0
2021-12-31 15:46:08
952
原创 C语言笔记
第三章 C语言的数据类型3.1 变量和常量常量不占内存，在程序运行时其值不能改变的量，在程序运行时它作为操作对象直接出现在运算器的各种寄存器中变量变量是指在程序运行时可以改变的量，变量的功能就是存储数据。标识符在程序中使用的变量名，函数名，标号等统称为标识符。标识符只能时字母数字下划线组成，且第一个字符必须时字母或下划线。标识符区分大小写3.2 数据类型和关键字基本数据类型(32为操作系统数据范围)关键字3.3 数据类型和取值范围/* 获取当前操作系统的字
2021-10-23 11:56:41
1377
原创 QlikView学习笔记
1.脚本关键字1.1 LOADLOAD 关键字类似SQL中select ,用于字段选择// 从Employees 中加载字段EmployeeID,Address,BirthDate,City 并将其命名为Employee 的临时表Employee:LOAD EmployeeID, Address, BirthDate, CityFROMEmployees.xlsx(ooxml, embedded labels, table is Sheet1);
2021-10-12 16:05:20
2301
2
原创 Kettle学习笔记
0.数据准备环境 Kettle9.2 MySQL 8.0.24 PG 13.3数据准备// MYSQL 创建表CREATE TABLE `employee` ( `id` varchar(100) NOT NULL, `name` varchar(100) DEFAULT NULL, `code` varchar(100) DEFAULT NULL, `sex` varchar(100) DEFAULT NULL, `age` varchar(100) DEFAULT N
2021-10-12 15:17:16
340
原创 MySQL性能优化
MySQL性能优化对于性能优化的思路首先需要使用慢查询功能，去获取所有查询时间比较长的SQL语句其次使用explain命令查看有问题的SQL的执行计划最后可以使用show profiles 查看有问题的SQL的性能使用情况下面针对着三个方面一次展开讲解。慢查询如果不是指定需要优化某条SQL语句，则需要使用慢查询日值来查找出查询时间比较长的SQL语句。慢查询的基本配置slow_query_log 启动停止慢查询日志slow_query_log_file 指定慢查询日值的存储路径及文件
2020-08-10 19:32:42
122
原创 Python数据分析
Python数据分析第一章Python基础1.1Python解释器Python是一种解释性语言，Python解释器通过一次执行一条语句来运行程序，在命令行键入python命令可以调用标准交互的Python解释器。键入exit()或者ctrl + z 返回命令行提示符。在IPython里使用ctrl + L来清屏。作为数据分析一般不会用标准交互的解释器，一般使用IPython或Juptyter笔记本IPython是一个for Humans 的Python交互式shell,支持变量自动补全，自动
2020-08-02 16:41:36
2478
1
原创 异常
第一章异常1.1异常概念指的是程序在执行过程中，出现的非正常情况，最终会导致JVM的非正常停止1.2异常的体系异常的根类是java.lang.Throwable，其下有两个子类：java.lang.Error,java.lang.Exception,平常讲的异常就是指java.lang.Exception1.3异常分类import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.A
2020-06-07 18:14:04
381
原创 包装类
包装类概念基本数据类型使用起来非常方便，但是没有对应的方法来操作这些基本数据类型，可以使用一个类，把基本数据包装起来，在类中定义一些方法，这个类就称作包装类。基本数据类型 对应的包装类（位于java.lang包中）byte Byteshort Shortint Integerlong Longfloat Floatdouble Doublechar Characterboolean Boolean--注意int
2020-06-07 17:59:04
227
原创 继承
面向对象之继承继承的概念面向对象的三大特性：封装性，继承性，多态性继承是多态的前提，如果没有继承就没有多态继承主要要解决的问题就是：共性抽取继承关系当中的特点：子类可以拥有父类的“内容”，子类还可以拥有自己专有的内容父类也可以叫做基类，或者超类；子类也可以叫做派生类继承的格式在继承的关系的中“子类就是一个父类”，也就是说子类可以当作父类来看待，例如父类是员工，子类是讲师，那...
2020-04-19 18:19:15
425
原创 java面向对象
面向对象面向对象面向对象和面向过程的区别面向过程：当要实现一个功能的时候，每一个具体步骤都要亲历亲为，详细处理每一个细节面向对象:类似包工头，我不关心项目实施的每一个步骤，我只关心项目的结果。两者的区别：面向对象强调的是对象，面向过程强调步骤面向对象的特点：将复杂事务简单化，从执行者变成指挥者，面向对象的语言中，包含了三大基本特征，即封装，继承和多态。--Demo01Pri...
2020-03-25 21:25:58
177
原创 java基础知识回顾
java开发环境的搭建JREJAVA运行环境，包含JVM和运行时所需要的核心类库JDKjava程序开发工具包，包含JRE和开发人员所需要使用的工具JVMJAVA虚拟机，关于java虚拟机后续会通过一个详细笔记介绍java第一个程序Hell worldjava开发程序开发的三个步骤编写编译 javac.exe编译器运行 java.exe解释器--创建Hello...
2020-03-11 21:15:13
145
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人