- 博客(318)
- 收藏
- 关注
RSS订阅
原创 2023版大数据学习路线图（适合自学）
为数据存储与计算（离线场景），主要讲解协调服务ZK(1T)、数据存储hdfs(2T)、数据存储alluxio(1T)、数据采集flume、数据采集logstash、数据同步Sqoop(0.5T)、数据同步datax(0.5T)、数据同步mysql-binlog(1T)、计算模型MR与DAG(1T)、hive(5T)、Impala(1T)、任务调度Azkaban、任务调度airflow等。为BI系统，主要讲解Superset、Graphna两大技术，包括基本简介、安装、数据源创建、表操作以及数据探索分析。
2023-01-13 15:30:09
8633
原创 2023版软件测试学习路线图（超详细自学路线）
本课程是为自动化测试打下编程语言基础，从入门编程，基本的编程思想，语言语法，面向对象编程思维到利用这语言编写一些简单的程序，从编程序中学习逻辑思维，为后面的web自动化测试，移动端测试打下编程基础。本套课程全面解析鸿蒙系统特色功能，分析出鸿蒙系统应用在进行兼容性、稳定性、安全性、服务流转、功耗、性能、游戏测试时的测试点，从不同角度描述鸿蒙系统的关键特征，清楚鸿蒙系统应用相关的测试点分析过程。掌握能力：获得自动化测试的能力，掌握主流自动化测试工具的熟练使用能力，具有独立完成自动化测试脚本开发的能力。
2023-01-13 11:48:17
10008
4
原创 UI/UE设计学习路线图（超详细）
对于想要学习UI设计的人来说，学习路线是很重要的问题，因为只有有明确的规划和路线，加上好的方法，才能在学习的时候事半功倍，成为一名合格的UI设计师。下面，千锋UI设计培训小编就给大家分享一下UI学习路线。 预科：造型训练与基础课程。意在培养学生们的对素描的基础了解和色彩绘图原理的掌控，通过临摹素描和色彩搭配的学习，提升学生对造型能力的掌控。一、基础课程第一阶段：职场办公技能进阶-office办公软件 第二阶段：自媒体运营基础基础-动效，剪映-视频处理、AU-音频工具、秀米-公众号排版、稿定设计-封面主图 第
2022-11-09 18:15:21
1334
原创 全网完整版Python学习路线图（超详细适合零基础自学）
本文包含了千锋教育Python学习路线全阶段视频教程（从入门到精通），涵盖了你所需要掌握的所有前沿技术及知识点！
2022-11-09 16:01:32
2027
原创 2023版完整版web前端学习路线图（超详细自学路线）
跟着路线图认真坚持学习从前端小白到大神不是梦，0基础看这一篇足矣！前端计算机常识 ➾ html+css基础 ➾ html+css 项目实践JavaScript基础+进阶 ➾ Ajxa ➾ JavaScript应用项目实践 ➾ Node.js ➾ MongoDB项目实践Vue&React开发：Vue2.0+3.0 ➾ Vue项目实践 ➾ 数据可视化项目 ➾ React ➾ React项目实战 ➾ UmiJS项目公众号&小程序开发。
2022-09-09 13:19:51
49070
7
原创 2022年自学Java学习路线图（完整版）
1、掌握微服务架构开发思想与实现（Docker、Redis、Elasticsearch、MQ、Mycat/Sharding-Sphere、SpringCloud、微服务架构、分布式全局ID）1、掌握大型分布式项目开发经验（项目需求分析、项目任务分解、开发环境搭建、编码开发测试、站立会议进行项目进度控制、问题解决、验收项目、项目中面试问题分析和解答）3、掌握Java编程高级技术的运用（IO框架、多线程、网络编程、设计模式、Java新特性）4、掌握数据库设计项目能力（商品管理系统、员工管理系统、图书管理系统）
2022-09-02 14:50:40
2856
1
原创 40 道Typescript 面试题及其答案与代码示例（上）
延伸阅读：TypeScript 官方手册 — keyof Type Operator、TypeScript 官方手册 — in Operator(https://www.typescriptlang.org/docs/handbook/advanced-types.html#keyof-type-operator)延伸阅读：TypeScript 官方手册——接口（https://www.typescriptlang.org/docs/handbook/interfaces.html）
2023-11-13 11:10:19
547
1
原创 RABC权限模型与Spring Security
通过RABC权限模型、Java的权限战士们，以及Spring Security的守护者，我们共同经历了一场充满趣味性和挑战性的权限之战。这个探险之旅不仅让我们更好地理解了权限控制的本质，也锻炼了我们的编程技能。在未来的项目中，我们可以更从容地应对各种权限挑战，创造出更加安全、稳定、强大的系统。希望你也能够加入我们的权限之战，和我们一起探险，挑战无限可能！让我们一同开启这场权限之战的精彩探险吧！
2023-11-07 15:47:34
387
原创 带你快速认识Java异常和bug的解决过程
在日常开发中有一些BUG处理起来比较麻烦,那就是控制台不报错,还不输出结果,或者输出的结果与事实不符,这样的BUG在调试的时候就需要借助一些工具进行处理,比如 eclipse开发工具的DEBUG模式.以上的异常处理起来比较简单,无论是编译时异常还是运行时异常,在控制台只要报出来,Java语言的异常处理系统在异常定位,消息提示方面都是非常优秀的,根据提示可以很快定位给和解决问题.断点: 双击代码行数左侧的边,就会生成断点,在双击就会取消断点,如果添加断点,在DEBUG模式运行时，代码就会运行到断点处阻塞.
2023-08-18 09:10:29
547
原创 一文带你搞懂MySQL的隔离级别
最近遇到这样一个题目：【假设目前你们使用的数据库是MySQL，现在有一个事务A，在事务A开始时读取数据的结果是1；事务A中间有一段耗时操作，在事务A中做耗时操作的同时，有另外一个事务B把数据值改成了2并提交了。请问在事务A中，再一次查询该数据的结果应该是1还是2，并且说明原因。
2023-08-17 09:14:37
352
转载 oracle12C的概念及安装和卸
以前将数据用变量、数组、对象存在内存，而内存只能短暂存储数据。如果我们想长久存数据用文件将数据存在磁盘上，不方便存取和管理数据，因此可以使用数据库来存数据。
2023-08-14 08:59:52
876
原创 nginx动态同步配置模块nginx-upsync-module
nginx一般直接在配置文件里配置upstream即可实现负载均衡，但有些特定的环境下此种方式就显得有些局限性。比如后台动态调整节点的时候；调整节点后不想修改配置文件重启nginx。可以将配置文件从nginx本地迁移到其他第三方服务上如etcd、consul上，然后通过nginx-upsync-module模块实时同步到配置文件中，实现上下线节点动态同步到upstream配置中，再结合ngx_healthcheck_module实现后端健康检测。
2023-08-11 09:17:07
622
1
转载 10分钟学会阿里OSS对象存储
阿里云对象存储OSS，简单地说就是我们花钱在阿里购买一块存储空间，然后我们就可以将图片、音频、视频等各种文件资源存储在对象存储OSS服务器上。进入阿里云官网后，首先就是注册和登录，我们可以使用自己的支付宝账号登录，可以在阿里云手机客户端扫码登录，或者用账号密码登录，总之阿里云提供了多种登录形式。其实实现文件存储的技术有很多，如果我们在网上搜索一下，你会发现实现的技术简直是五花八门，比如有一种技术叫FastDFS就可以实现文件存储，但该方案需要自己搭建服务器，非常的麻烦。当然，首先我们得购买OSS服务！
2023-08-10 09:04:45
2700
原创 find命令用法及参数
find命令是在 Linux 和 Unix 系统中用于查找文件的强大工具。它可以递归地在指定的目录和子目录中搜索符合条件的文件，并执行一些操作。以下是find。
2023-08-09 15:13:14
464
转载 Mybatis 实体类属性名和表中字段名不一致怎么处理
最近耀哥有学生出去面试，被问到 “Mybatis实体类的属性名和表中的字段名不一致该怎么处理？”，这其实是一个很经典的面试题，接下来耀哥就为大家详细解析一下这道面试题。以前也经常有学生问耀哥，[既然实体类的属性名和数据库的列名对不上会有问题，那我们在创建实体类的时候，让实体类的属性名跟数据库的字段名保持一致不就解决问题了吗？其实这个事情是这样的，现在所有的公司对于Java变量的命名规范，和数据库列名的命名规范要求并不一致！
2023-08-04 09:20:41
783
原创 Dos常用命令有哪些？具体的使用方式是什么？
这里大家要注意，del * 或 del *.* 命令表示删除当前目录下的所有文件。Windows系统删除文件是从内向外删，文件夹内部的文件如果没有被完全删除，删除该文件夹时会失败。接下来壹哥结合上面的几个命令，给大家演示一下该如何具体使用这些命令。在DOS命令中，只有该文件夹下所有的文件及文件夹都是空的，才能成功地删除该文件夹。至此，就把dos命令行给大家介绍完了，现在你知道如何使用dos命令了吗？如果我们不知道某个命令的具体使用方法，可以输入help命令，可以查询到所有的命令功能。
2023-08-03 08:52:50
923
原创 xlrd与xlwt操作Excel文件详解
Python操作Excel的模块有很多，并且各有优劣，不同模块支持的操作和文件类型也有不同。对比会发现，其中的功能是最全最强大的，其实它的执行效率也是最高的。但是xlwings的学习难度相对比较大，而且里面的很多的概念和操作方式和平时操作Excel的时候不一样。的问题是不能操作老版本的excel文件(.xls)，以及在操作数据的时候必须以单元格为单位操作，无法直接以行或者列的方式操作文件内容。和。
2023-08-02 15:27:35
1407
转载 手撕SpringBoot的自定义启动器
哈喽，大家好，最近金九银十，又有不少小伙伴私信辉哥，说自己在面试时被问到SpringBoot如何自定义启动器，结果自己不知道该怎么回答。那么今天就手把手地带着大家，去看看在SpringBoot中到底该怎么实现自定义启动器。二. 什么是SpringBoot自动装配？在进行代码实现之前，我们先来看看什么是SpringBoot的自动装配。与自动装配对应的是手动装配，比如我们以前使用xml配置文件，引入spring或者引入mybatis时需要配置数据源、配置mybatis扫描、配置数据库连接池等。
2023-08-01 08:56:36
547
原创 Linux安装操作（Mac版本）
Parallels Desktop是Mac平台上的虚拟机软件，也是Mac平台最好的虚拟机软件之一。它允许用户在Mac OS X系统上同时运行其他操作系统，例如Windows、Linux等。Parallels Desktop为Mac用户提供了使用其他操作系统和软件的便利性，而无需使用双系统或者重新启动电脑。Parallels Desktop支持在Mac电脑上运行多个虚拟机，并且能够访问Mac和虚拟机之间的文件和应用程序。
2023-07-31 09:00:14
2326
转载 MySQL 8.0详细安装配置教程
究其原因，往往是安装MySQL时采用在线无脑安装，对MySQL的安装过程不明就里，后期又随意修改配置文件，更改或移动文件目录等因素导致的。杨哥最后要给大家提醒一下，许多初学者在学习过程中，喜欢整理资料，一不小心就把软件的目录修改或移除，这样和系统环境变量的配置信息不符，也会导致MySQL服务启动失败。在普通cmd窗口中，进入bin目录，执行 mysql -u root -p 命令，默认没有密码，回车进入；mysql服务的默认端口是3306，如果mysql服务的端口不是3306，则需要-P 端口 参数。
2023-07-28 09:57:27
1598
原创 Superset使用
如果出现连接失败问题（ERROR: Connection failed, please check your connection settings）添加你的表(mysql中对应数据创建一个表，表名随意，数据内容是id和times列，自行插入一些数据)官网：http://superset.apache.org/installation.html。”提示即表示连接成功。说明：对接不同的数据源，需安装不同的依赖，以下地址为官网说明。【千锋教育】大数据开发全套教程，史上最全面的大数据学习视频。
2023-07-27 09:15:04
1096
原创 Superset部署
说明：gunicorn是一个Python Web Server，可以和java中的Tomcat类比。：flask是一个python web框架，Superset使用的就是flask。说明：pip是python的包管理工具，可以和centos中的yum类比。在里面可以设置用户名与密码，其他的可以不用设置，直接enter就行。上面我每一个都设置的root，也就是以后我们登录Web界面的时候，采用的数据库是sqllite数据库，是一个轻量级的数据量。说明：-i的作用是指定镜像，这里选择国内镜像。
2023-07-27 09:12:32
370
原创 Superset基础安装
Superset快速，轻巧，直观，并带有各种选项，使各种技能的用户都可以轻松浏览和可视化其数据，从简单的折线图到高度详细的地理空间图。
2023-07-27 09:10:41
245
原创 Hive内部表和外部表
外部表：使用后数据不想被删除的情况使用外部表（推荐使用）所以，整个数据仓库的最底层的表使用外部表。2、drop时，内部表的表目录会被删除，但是外部表的表目录不会被删除。内部表: 平时用来测试或者少量数据,并且自己可以随时修改删除数据.就差两个关键字，EXTERNAL 和 LOCATION。在元数据库mysql创建相应表的描述数据（元数据）在Hive中,表类型主要分为两种。1、drop时，元数据都会被清除。默认创建的表就是内部表。在hdfs下创建表目录。
2023-07-26 09:26:13
1059
原创 Hive视图
hive的视图简单理解为逻辑上的表hive只支持逻辑视图，不支持物化视图视图存在的意义对数据进行局部暴露（涉及隐私的数据不暴露）简化复杂查询。
2023-07-26 09:22:30
1711
原创 Mysql遗忘密码
在任意的路径下，新建一个文本文件，其中添加修改密码的操作。将my.cnf中，刚刚添加的一行跳过权限检查删除掉。启动MySQL的服务，用新的密码登录即可。dmg直装 -> /etc/my.cnf。回车运行之后，就可以ctrl+c停止了。不需要密码登录到MySQL，并修改密码。使用管理员身份运行命令提示符。停止MySQL的服务。打开my.cnf文件。
2023-07-26 09:21:02
244
原创 Mysql操作DQL
DQL是数据查询语言（Data Query Language）的缩写，是一种用于从数据库中检索数据的编程语言。DQL是SQL（结构化查询语言）的子集，用于查询关系型数据库，例如MySQL、Oracle和SQL Server等。DQL提供了多种查询操作，如SELECT、FROM、WHERE、GROUP BY、HAVING、ORDER BY等。使用这些操作，可以根据特定的条件检索所需的数据，并按照特定的顺序进行排序和分组。DQL还支持多表查询和子查询，可以从多个表中联合检索数据，并在子查询中使用嵌套查询语句进行
2023-07-26 09:19:07
172
原创 YARN的设计思想
在1.x中JobTracker类似于之间HDSF结构的完全分布式的NameNode节点，单节点负载过重（既要分配任务也要资源管理）而且存在单点故障问题，在2.x中提供了Yarn的概念并且将JobTracker拆分成了两个单独的服务，一个是全局的资源管理器ResourceManager，另外一个就是每个程序都有的特定应用程序ApplicationManager，而且Yarn模式是支持（HA操作）所以也抗单点故障问题。Nodemanager整个集群有多个，负责每个节点上的资源和使用。
2023-07-25 09:15:19
170
原创 SQL语言书写与规则
即数据定义语言，是 SQL 语言的一个子集，用于定义数据库中的结构和约束。DDL 中常用的语句包括 CREATE、ALTER、DROP、TRUNCATE 等。
2023-07-25 09:13:08
154
原创 Mysql操作多表查询
有的时候，当一个查询语句A所需要的数据，不是直观在表中体现，而是由另外一个查询语句B查询出来的结果，那么查询语句A就是主查询语句，查询语句B就是子查询语句。这种查询我们称之为高级关联查询，也叫做子查询。- 返回单行单列 => 可以被视为一个数值来使用- 返回多行单列 => 可以被视为一个集合来使用- 返回单行多列 => 可以被视为一个虚拟表使用- 返回多行多列 => 可以被视为一个虚拟表使用- 在where子句中: 子查询的结果可用作条件筛选时使用的值。
2023-07-25 09:12:00
1368
原创 sqoop简介
Sqoop是一个用于Hadoop和结构化数据存储（如关系型数据库）之间进行高效传输大批量数据的工具。它包括以下两个方面： 可以使用Sqoop将数据从关系型数据库管理系统(如MySql)导入到Hadoop系统(如HDFS、Hive、HBase)中将数据从Hadoop系统中抽取并导出到关系型数据库(如MySql)
2023-07-24 09:24:28
192
原创 Hive压缩
map阶段的设置， 就是在MapReduce的shuffle阶段对mapper产生的中间结果数据压缩。在这个阶段，优先选择一个低CPU开销的算法。HQL语句最终会被编译成Hadoop的Mapreduce job,因此hive的压缩设置，实际上就是对底层MR在处理数据时的压缩设置。【千锋教育】大数据开发全套教程，史上最全面的大数据学习视频。即对reduce阶段的输出数据进行压缩设置。更多大数据精彩内容欢迎B站搜索“”或者扫码领取全套资料。
2023-07-24 09:21:31
151
原创 Linux二进制软件安装
学软件开发，各种台的软件熟练安装是必须要熟练掌握。大家都知道，Windows下安装软件时，只需用鼠标双击软件的安装程序，或者用Zip等解压缩软件解压缩即可安装；在android或者apple中安装软件时，只需要在手机应用商店点击安装即可。而在Linux下安装软件难度高于Windows、Android、ios和windows phone下软件安装。下面我就详细讲解Linux下如何安装软件。Linux下软件的安装大概可以分为如下几种：1 二进制程序的安装(最简单安装)
2023-07-21 09:12:43
201
原创 YARN的三种调度器
Scheduler即调度器，根据容量、队列等限制条件（如每个队列分配一定的资源，最多执行一定数量的作业等），将系统中的资源分配给各个正在运行的应用程序。
2023-07-21 09:11:02
210
原创 YARN的命令
类似于Linux的top命令，查看正在运行的程序资源占用情况。【千锋教育】大数据开发全套教程，史上最全面的大数据学习视频。查看指定队列使用情况，下文会讲解任务队列。更多大数据精彩内容欢迎B站搜索“”或者扫码领取全套资料。
2023-07-21 09:09:28
171
原创 Hive排名函数
第一种函数：row_number从1开始，按照顺序，生成分组内记录的序列,row_number()的值不会存在重复,当排序的值相同时,按照表中记录的顺序进行排列。第三种函数：DENSE（但是）_RANK() 生成数据项在分组中的排名，排名相等会在名次中不会留下空位。第二种函数：RANK() 生成数据项在分组中的排名，排名相等会在名次中留下空位。
2023-07-20 09:09:17
401
原创 Hive序列函数
（num）个桶中, 将桶号分配给每一行。如果不能平均分配，则优先分配较小编号的桶，并且各个桶中能放的行数最多相差1。ntile(n):把有序分区中的行发送到指定的组中(n是有几组),各个组有编号,编号是从1开始。可以看成是：它把有序的数据集合。【千锋教育】大数据开发全套教程，史上最全面的大数据学习视频。lead(列,行数,默认值):往后第n行数据。lag(列,行数,默认值):往前第n行数据。lead返回当前数据行的后第n行的数据。lag返回当前数据行的前第n行的数据。案例：求5分钟内点击100次的用户。
2023-07-20 09:07:30
113
原创 Hive_Shell操作
大多数的Hadoop， Job是需要Hadoop提供的完整的可扩展性来处理大数据集的。有的时候 Hive的输入数据量是非常小的。通过参数-f +file文件名就可以,经常用在以后的sql文件单独执行,导入数据场景中 【执行的的是hive默认的default数据库】用户可以在Hive的shell中执行HDFS的DFS命令,不用敲入前缀hdfs或者hadoop。小技巧1:可以在shell中输入set命令,可以看到hive已经设定好的参数。通过shell的参数 -e 可以执行一次就运行完的命令。
2023-07-20 09:05:30
540
原创 Linux之vi命令
建议使用vim命令，如果没有这个命令可以使用 yum install -y vim 进行安装。vim/vi是Unix / Linux上最常用的文本编辑器而且功能非常强大。【千锋教育】大数据开发全套教程，史上最全面的大数据学习视频。编辑模式：又称底行模式，命令行模式。更多大数据精彩内容欢迎B站搜索“插入模式: 可以编辑文本。命令模式：又称一般模式。”或者扫码领取全套资料。只有命令，没有菜单。使用替换命令添删注释。
2023-07-19 08:47:31
222
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人