- 博客(318)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 2023版大数据学习路线图(适合自学)
为数据存储与计算(离线场景),主要讲解协调服务ZK(1T)、数据存储hdfs(2T)、数据存储alluxio(1T)、数据采集flume、数据采集logstash、数据同步Sqoop(0.5T)、数据同步datax(0.5T)、数据同步mysql-binlog(1T)、计算模型MR与DAG(1T)、hive(5T)、Impala(1T)、任务调度Azkaban、任务调度airflow等。为BI系统,主要讲解Superset、Graphna两大技术,包括基本简介、安装、数据源创建、表操作以及数据探索分析。
2023-01-13 15:30:09
8633
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 2023版软件测试学习路线图(超详细自学路线)
本课程是为自动化测试打下编程语言基础,从入门编程,基本的编程思想,语言语法,面向对象编程思维到利用这语言编写一些简单的程序,从编程序中学习逻辑思维,为后面的web自动化测试,移动端测试打下编程基础。本套课程全面解析鸿蒙系统特色功能,分析出鸿蒙系统应用在进行兼容性、稳定性、安全性、服务流转、功耗、性能、游戏测试时的测试点,从不同角度描述鸿蒙系统的关键特征,清楚鸿蒙系统应用相关的测试点分析过程。掌握能力:获得自动化测试的能力,掌握主流自动化测试工具的熟练使用能力,具有独立完成自动化测试脚本开发的能力。
2023-01-13 11:48:17
10008
4
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 UI/UE设计学习路线图(超详细)
对于想要学习UI设计的人来说,学习路线是很重要的问题,因为只有有明确的规划和路线,加上好的方法,才能在学习的时候事半功倍,成为一名合格的UI设计师。下面,千锋UI设计培训小编就给大家分享一下UI学习路线。 预科:造型训练与基础课程。意在培养学生们的对素描的基础了解和色彩绘图原理的掌控,通过临摹素描和色彩搭配的学习,提升学生对造型能力的掌控。一、基础课程第一阶段:职场办公技能进阶-office办公软件 第二阶段:自媒体运营基础基础-动效,剪映-视频处理、AU-音频工具、秀米-公众号排版、稿定设计-封面主图 第
2022-11-09 18:15:21
1334
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 全网完整版Python学习路线图(超详细适合零基础自学)
本文包含了千锋教育Python学习路线全阶段视频教程(从入门到精通),涵盖了你所需要掌握的所有前沿技术及知识点!
2022-11-09 16:01:32
2027
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 2023版完整版web前端学习路线图(超详细自学路线)
跟着路线图认真坚持学习从前端小白到大神不是梦,0基础看这一篇足矣!前端计算机常识 ➾ html+css基础 ➾ html+css 项目实践JavaScript基础+进阶 ➾ Ajxa ➾ JavaScript应用项目实践 ➾ Node.js ➾ MongoDB项目实践Vue&React开发:Vue2.0+3.0 ➾ Vue项目实践 ➾ 数据可视化项目 ➾ React ➾ React项目实战 ➾ UmiJS项目公众号&小程序开发。
2022-09-09 13:19:51
49070
7
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 2022年自学Java学习路线图(完整版)
1、掌握微服务架构开发思想与实现(Docker、Redis、Elasticsearch、MQ、Mycat/Sharding-Sphere、SpringCloud、微服务架构、分布式全局ID)1、掌握大型分布式项目开发经验(项目需求分析、项目任务分解、开发环境搭建、编码开发测试、站立会议进行项目进度控制、问题解决、验收项目、项目中面试问题分析和解答)3、掌握Java编程高级技术的运用(IO框架、多线程、网络编程、设计模式、Java新特性)4、掌握数据库设计项目能力(商品管理系统、员工管理系统、图书管理系统)
2022-09-02 14:50:40
2856
1
原创 40 道Typescript 面试题及其答案与代码示例(上)
延伸阅读:TypeScript 官方手册 — keyof Type Operator、TypeScript 官方手册 — in Operator(https://www.typescriptlang.org/docs/handbook/advanced-types.html#keyof-type-operator)延伸阅读:TypeScript 官方手册——接口(https://www.typescriptlang.org/docs/handbook/interfaces.html)
2023-11-13 11:10:19
547
1
原创 RABC权限模型与Spring Security
通过RABC权限模型、Java的权限战士们,以及Spring Security的守护者,我们共同经历了一场充满趣味性和挑战性的权限之战。这个探险之旅不仅让我们更好地理解了权限控制的本质,也锻炼了我们的编程技能。在未来的项目中,我们可以更从容地应对各种权限挑战,创造出更加安全、稳定、强大的系统。希望你也能够加入我们的权限之战,和我们一起探险,挑战无限可能!让我们一同开启这场权限之战的精彩探险吧!
2023-11-07 15:47:34
387
原创 带你快速认识Java异常和bug的解决过程
在日常开发中有一些BUG处理起来比较麻烦,那就是控制台不报错,还不输出结果,或者输出的结果与事实不符,这样的BUG在调试的时候就需要借助一些工具进行处理,比如 eclipse开发工具的DEBUG模式.以上的异常处理起来比较简单,无论是编译时异常还是运行时异常,在控制台只要报出来,Java语言的异常处理系统在异常定位,消息提示方面都是非常优秀的,根据提示可以很快定位给和解决问题.断点: 双击代码行数左侧的边,就会生成断点,在双击就会取消断点,如果添加断点,在DEBUG模式运行时,代码就会运行到断点处阻塞.
2023-08-18 09:10:29
547
原创 一文带你搞懂MySQL的隔离级别
最近遇到这样一个题目:【假设目前你们使用的数据库是MySQL,现在有一个事务A,在事务A开始时读取数据的结果是1;事务A中间有一段耗时操作,在事务A中做耗时操作的同时,有另外一个事务B把数据值改成了2并提交了。请问在事务A中,再一次查询该数据的结果应该是1还是2,并且说明原因。
2023-08-17 09:14:37
352
转载 oracle12C的概念及安装和卸
以前将数据用变量、数组、对象存在内存,而内存只能短暂存储数据。如果我们想长久存数据用文件将数据存在磁盘上,不方便存取和管理数据,因此可以使用数据库来存数据。
2023-08-14 08:59:52
876
原创 nginx动态同步配置模块nginx-upsync-module
nginx一般直接在配置文件里配置upstream即可实现负载均衡,但有些特定的环境下此种方式就显得有些局限性。比如后台动态调整节点的时候;调整节点后不想修改配置文件重启nginx。可以将配置文件从nginx本地迁移到其他第三方服务上如etcd、consul上,然后通过nginx-upsync-module模块实时同步到配置文件中,实现上下线节点动态同步到upstream配置中,再结合ngx_healthcheck_module实现后端健康检测。
2023-08-11 09:17:07
622
1
转载 10分钟学会阿里OSS对象存储
阿里云对象存储OSS,简单地说就是我们花钱在阿里购买一块存储空间,然后我们就可以将图片、音频、视频等各种文件资源存储在对象存储OSS服务器上。进入阿里云官网后,首先就是注册和登录,我们可以使用自己的支付宝账号登录,可以在阿里云手机客户端扫码登录,或者用账号密码登录,总之阿里云提供了多种登录形式。其实实现文件存储的技术有很多,如果我们在网上搜索一下,你会发现实现的技术简直是五花八门,比如有一种技术叫FastDFS就可以实现文件存储,但该方案需要自己搭建服务器,非常的麻烦。当然,首先我们得购买OSS服务!
2023-08-10 09:04:45
2700
原创 find命令用法及参数
find命令是在 Linux 和 Unix 系统中用于查找文件的强大工具。它可以递归地在指定的目录和子目录中搜索符合条件的文件,并执行一些操作。以下是find。
2023-08-09 15:13:14
464
转载 Mybatis 实体类属性名和表中字段名不一致怎么处理
最近耀哥有学生出去面试,被问到 “Mybatis实体类的属性名和表中的字段名不一致该怎么处理?”,这其实是一个很经典的面试题,接下来耀哥就为大家详细解析一下这道面试题。以前也经常有学生问耀哥,[既然实体类的属性名和数据库的列名对不上会有问题,那我们在创建实体类的时候,让实体类的属性名跟数据库的字段名保持一致不就解决问题了吗?其实这个事情是这样的,现在所有的公司对于Java变量的命名规范,和数据库列名的命名规范要求并不一致!
2023-08-04 09:20:41
783
原创 Dos常用命令有哪些?具体的使用方式是什么?
这里大家要注意,del * 或 del *.* 命令表示删除当前目录下的所有文件。Windows系统删除文件是从内向外删,文件夹内部的文件如果没有被完全删除,删除该文件夹时会失败。接下来壹哥结合上面的几个命令,给大家演示一下该如何具体使用这些命令。在DOS命令中,只有该文件夹下所有的文件及文件夹都是空的,才能成功地删除该文件夹。至此,就把dos命令行给大家介绍完了,现在你知道如何使用dos命令了吗?如果我们不知道某个命令的具体使用方法,可以输入help命令,可以查询到所有的命令功能。
2023-08-03 08:52:50
923
原创 xlrd与xlwt操作Excel文件详解
Python操作Excel的模块有很多,并且各有优劣,不同模块支持的操作和文件类型也有不同。对比会发现,其中的功能是最全最强大的,其实它的执行效率也是最高的。但是xlwings的学习难度相对比较大,而且里面的很多的概念和操作方式和平时操作Excel的时候不一样。的问题是不能操作老版本的excel文件(.xls),以及在操作数据的时候必须以单元格为单位操作,无法直接以行或者列的方式操作文件内容。和。
2023-08-02 15:27:35
1407
转载 手撕SpringBoot的自定义启动器
哈喽,大家好,最近金九银十,又有不少小伙伴私信辉哥,说自己在面试时被问到SpringBoot如何自定义启动器,结果自己不知道该怎么回答。那么今天就手把手地带着大家,去看看在SpringBoot中到底该怎么实现自定义启动器。二. 什么是SpringBoot自动装配?在进行代码实现之前,我们先来看看什么是SpringBoot的自动装配。与自动装配对应的是手动装配,比如我们以前使用xml配置文件,引入spring或者引入mybatis时需要配置数据源、配置mybatis扫描、配置数据库连接池等。
2023-08-01 08:56:36
547
原创 Linux安装操作(Mac版本)
Parallels Desktop是Mac平台上的虚拟机软件,也是Mac平台最好的虚拟机软件之一。它允许用户在Mac OS X系统上同时运行其他操作系统,例如Windows、Linux等。Parallels Desktop为Mac用户提供了使用其他操作系统和软件的便利性,而无需使用双系统或者重新启动电脑。Parallels Desktop支持在Mac电脑上运行多个虚拟机,并且能够访问Mac和虚拟机之间的文件和应用程序。
2023-07-31 09:00:14
2326
转载 MySQL 8.0详细安装配置教程
究其原因,往往是安装MySQL时采用在线无脑安装,对MySQL的安装过程不明就里,后期又随意修改配置文件,更改或移动文件目录等因素导致的。杨哥最后要给大家提醒一下,许多初学者在学习过程中,喜欢整理资料,一不小心就把软件的目录修改或移除,这样和系统环境变量的配置信息不符,也会导致MySQL服务启动失败。在普通cmd窗口中,进入bin目录,执行 mysql -u root -p 命令,默认没有密码,回车进入;mysql服务的默认端口是3306,如果mysql服务的端口不是3306,则需要-P 端口 参数。
2023-07-28 09:57:27
1598
原创 Superset使用
如果出现连接失败问题(ERROR: Connection failed, please check your connection settings)添加你的表(mysql中对应数据创建一个表,表名随意,数据内容是id和times列,自行插入一些数据)官网:http://superset.apache.org/installation.html。”提示即表示连接成功。说明:对接不同的数据源,需安装不同的依赖,以下地址为官网说明。【千锋教育】大数据开发全套教程,史上最全面的大数据学习视频。
2023-07-27 09:15:04
1096
原创 Superset部署
说明:gunicorn是一个Python Web Server,可以和java中的Tomcat类比。:flask是一个python web框架,Superset使用的就是flask。说明:pip是python的包管理工具,可以和centos中的yum类比。在里面可以设置用户名与密码,其他的可以不用设置,直接enter就行。上面我每一个都设置的root,也就是以后我们登录Web界面的时候,采用的数据库是sqllite数据库,是一个轻量级的数据量。说明:-i的作用是指定镜像,这里选择国内镜像。
2023-07-27 09:12:32
370
原创 Superset基础安装
Superset快速,轻巧,直观,并带有各种选项,使各种技能的用户都可以轻松浏览和可视化其数据,从简单的折线图到高度详细的地理空间图。
2023-07-27 09:10:41
245
原创 Hive内部表和外部表
外部表:使用后数据不想被删除的情况使用外部表(推荐使用)所以,整个数据仓库的最底层的表使用外部表。2、drop时,内部表的表目录会被删除,但是外部表的表目录不会被删除。内部表: 平时用来测试或者少量数据,并且自己可以随时修改删除数据.就差两个关键字,EXTERNAL 和 LOCATION。在元数据库mysql创建相应表的描述数据(元数据)在Hive中,表类型主要分为两种。1、drop时,元数据都会被清除。默认创建的表就是内部表。在hdfs下创建表目录。
2023-07-26 09:26:13
1059
原创 Hive视图
hive的视图简单理解为逻辑上的表hive只支持逻辑视图,不支持物化视图视图存在的意义对数据进行局部暴露(涉及隐私的数据不暴露)简化复杂查询。
2023-07-26 09:22:30
1711
原创 Mysql遗忘密码
在任意的路径下,新建一个文本文件,其中添加修改密码的操作。将my.cnf中,刚刚添加的一行跳过权限检查删除掉。启动MySQL的服务,用新的密码登录即可。dmg直装 -> /etc/my.cnf。回车运行之后,就可以ctrl+c停止了。不需要密码登录到MySQL,并修改密码。使用管理员身份运行命令提示符。停止MySQL的服务。打开my.cnf文件。
2023-07-26 09:21:02
244
原创 Mysql操作DQL
DQL是数据查询语言(Data Query Language)的缩写,是一种用于从数据库中检索数据的编程语言。DQL是SQL(结构化查询语言)的子集,用于查询关系型数据库,例如MySQL、Oracle和SQL Server等。DQL提供了多种查询操作,如SELECT、FROM、WHERE、GROUP BY、HAVING、ORDER BY等。使用这些操作,可以根据特定的条件检索所需的数据,并按照特定的顺序进行排序和分组。DQL还支持多表查询和子查询,可以从多个表中联合检索数据,并在子查询中使用嵌套查询语句进行
2023-07-26 09:19:07
172
原创 YARN的设计思想
在1.x中JobTracker类似于之间HDSF结构的完全分布式的NameNode节点,单节点负载过重(既要分配任务也要资源管理)而且存在单点故障问题,在2.x中提供了Yarn的概念并且将JobTracker拆分成了两个单独的服务,一个是全局的资源管理器ResourceManager,另外一个就是每个程序都有的特定应用程序ApplicationManager,而且Yarn模式是支持(HA操作)所以也抗单点故障问题。Nodemanager整个集群有多个,负责每个节点上的资源和使用。
2023-07-25 09:15:19
170
原创 SQL语言书写与规则
即数据定义语言,是 SQL 语言的一个子集,用于定义数据库中的结构和约束。DDL 中常用的语句包括 CREATE、ALTER、DROP、TRUNCATE 等。
2023-07-25 09:13:08
154
原创 Mysql操作多表查询
有的时候,当一个查询语句A所需要的数据,不是直观在表中体现,而是由另外一个查询语句B查询出来的结果,那么查询语句A就是主查询语句,查询语句B就是子查询语句。这种查询我们称之为高级关联查询,也叫做子查询。- 返回单行单列 => 可以被视为一个数值来使用- 返回多行单列 => 可以被视为一个集合来使用- 返回单行多列 => 可以被视为一个虚拟表使用- 返回多行多列 => 可以被视为一个虚拟表使用- 在where子句中: 子查询的结果可用作条件筛选时使用的值。
2023-07-25 09:12:00
1368
原创 sqoop简介
Sqoop是一个用于Hadoop和结构化数据存储(如关系型数据库)之间进行高效传输大批量数据的工具。它包括以下两个方面: 可以使用Sqoop将数据从关系型数据库管理系统(如MySql)导入到Hadoop系统(如HDFS、Hive、HBase)中将数据从Hadoop系统中抽取并导出到关系型数据库(如MySql)
2023-07-24 09:24:28
192
原创 Hive压缩
map阶段的设置, 就是在MapReduce的shuffle阶段对mapper产生的中间结果数据压缩。在这个阶段,优先选择一个低CPU开销的算法。HQL语句最终会被编译成Hadoop的Mapreduce job,因此hive的压缩设置,实际上就是对底层MR在处理数据时的压缩设置。【千锋教育】大数据开发全套教程,史上最全面的大数据学习视频。即对reduce阶段的输出数据进行压缩设置。更多大数据精彩内容欢迎B站搜索“”或者扫码领取全套资料。
2023-07-24 09:21:31
151
原创 Linux二进制软件安装
学软件开发,各种台的软件熟练安装是必须要熟练掌握。大家都知道,Windows下安装软件时,只需用鼠标双击软件的安装程序,或者用Zip等解压缩软件解压缩即可安装;在android或者apple中安装软件时,只需要在手机应用商店点击安装即可。而在Linux下安装软件难度高于Windows、Android、ios和windows phone下软件安装。下面我就详细讲解Linux下如何安装软件。Linux下软件的安装大概可以分为如下几种:1 二进制程序的安装(最简单安装)
2023-07-21 09:12:43
201
原创 YARN的三种调度器
Scheduler即调度器,根据容量、队列等限制条件(如每个队列分配一定的资源,最多执行一定数量的作业等),将系统中的资源分配给各个正在运行的应用程序。
2023-07-21 09:11:02
210
原创 YARN的命令
类似于Linux的top命令,查看正在运行的程序资源占用情况。【千锋教育】大数据开发全套教程,史上最全面的大数据学习视频。查看指定队列使用情况,下文会讲解任务队列。更多大数据精彩内容欢迎B站搜索“”或者扫码领取全套资料。
2023-07-21 09:09:28
171
原创 Hive排名函数
第一种函数:row_number从1开始,按照顺序,生成分组内记录的序列,row_number()的值不会存在重复,当排序的值相同时,按照表中记录的顺序进行排列。第三种函数:DENSE(但是)_RANK() 生成数据项在分组中的排名,排名相等会在名次中不会留下空位。第二种函数:RANK() 生成数据项在分组中的排名,排名相等会在名次中留下空位。
2023-07-20 09:09:17
401
原创 Hive序列函数
(num)个桶中, 将桶号分配给每一行。如果不能平均分配,则优先分配较小编号的桶,并且各个桶中能放的行数最多相差1。ntile(n):把有序分区中的行发送到指定的组中(n是有几组),各个组有编号,编号是从1开始。可以看成是:它把有序的数据集合。【千锋教育】大数据开发全套教程,史上最全面的大数据学习视频。lead(列,行数,默认值):往后第n行数据。lag(列,行数,默认值):往前第n行数据。lead返回当前数据行的后第n行的数据。lag返回当前数据行的前第n行的数据。案例:求5分钟内点击100次的用户。
2023-07-20 09:07:30
113
原创 Hive_Shell操作
大多数的Hadoop, Job是需要Hadoop提供的完整的可扩展性来处理大数据集的。有的时候 Hive的输入数据量是非常小的。通过参数-f +file文件名就可以,经常用在以后的sql文件单独执行,导入数据场景中 【执行的的是hive默认的default数据库】用户可以在Hive的shell中执行HDFS的DFS命令,不用敲入前缀hdfs或者hadoop。小技巧1:可以在shell中输入set命令,可以看到hive已经设定好的参数。通过shell的参数 -e 可以执行一次就运行完的命令。
2023-07-20 09:05:30
540
原创 Linux之vi命令
建议使用vim命令,如果没有这个命令可以使用 yum install -y vim 进行安装。vim/vi是Unix / Linux上最常用的文本编辑器而且功能非常强大。【千锋教育】大数据开发全套教程,史上最全面的大数据学习视频。编辑模式:又称底行模式,命令行模式。更多大数据精彩内容欢迎B站搜索“插入模式: 可以编辑文本。命令模式:又称一般模式。”或者扫码领取全套资料。只有命令,没有菜单。使用替换命令添删注释。
2023-07-19 08:47:31
222
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人