L缶神-CSDN博客

原创 mysql测评指令

存储加密如果plugin是mysql_native_password则是SHA1加密，如果是caching_sha2_password则是SHA256加密；存储过程：select user,authentication_string,plugin from mysql.user;

2023-07-06 11:49:03 394

和上面的命令作用相同，相比于上面的命令更为推荐，并且当使用hadoop dfs时内部会被转为hdfs dfs命令。意思是说该命令可以用于其他文件系统，不止是hdfs文件系统内，也就是说该命令的使用范围更广。（9）将制定目录下的所有内容merge成一个文件，下载到本地。2、hadoop dfs常用命令。专门针对hdfs分布式文件系统。（2）上传文件或目录到hdfs。（10）使用du文件和目录大小。（11）将目录拷贝到本地。（12）查看dfs的情况。（4）创建一个空文件。

2022-09-06 14:43:58 609 1

原创 Spark面试题

目录1. Spark的三种部署模式2. RDD的理解（☆）3. Spark作业调度流程（☆）4. RDD的容错机制（☆）（1）Lineage机制（2）Checkpoint机制5. Spark的三种算子6. Spark shuffle（☆）（1）HashShuffle原始的 HashShuffle 机制优化后的 HashShuffle 机制（2）SortShuffle（3）bypass shuffle（4）UnsafeShuffle7. Spark数据倾斜（☆）8. spark streaming从kafka

2022-06-29 19:24:34 757

原创 Kafka面试题

Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。（1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。消息被消费以后，queue 中不再有存储，所以消息消费者不可能消费到已经被消费的消息。Queue 支持存在多个消费者，但是对一个消息而言，只会有一个消费者可以消费。（2）发布/订阅模式（一对多，消费者消费数据之后不会清除消息）消息生产者（发布）将

2022-06-29 19:21:21 433

原创 Flume面试题

1. 你是如何实现Flume 数据传输的监控的使用第三方框架 Ganglia 实时监控 Flume。2. Flume 的Source，Sink，Channel 的作用？你们Source 是什么类型？1. 作用（1）Source组件是专门用来收集数据的，可以处理各种类型、各种格式的日志数据，包括 avro、thrift、exec、jms、spoolingdirectory、netcat、sequence generator、syslog、http、legacy（2）Channel组件对采集到的数据进行缓存，可

2022-06-29 19:19:25 464

原创 HBase面试题

目录1. HBase数据模型（☆）2. HBase架构（☆） 3. HBase读写流程（☆）4. StoreFile Compaction相关5. Region Split相关6. HBase和Hive比较（☆）7. HBase优化（☆）8. RowKey的三个原则（☆）1）NameSpace命名空间，类似于关系型数据库的 DatabBase 概念，每个命名空间下有多个表。HBase有两个自带的命名空间，分别是 hbase 和 default，hbase 中存放的是 HBase 内置的表，default 表

2022-06-29 09:40:44 1947 2

原创 ZooKeeper面试题

目录1. ZooKeeper介绍2. ZooKeeper选举机制（☆）3. 节点类型4. 监听器原理（☆）5. 写数据流程6. ZooKeeper的部署方式有哪几种？集群中的角色有哪些？集群最少需要几台机器？7. CAP、BASE理论（☆）1. ZooKeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，ZooKeeper就将负责通知已经在ZooKeeper上注册的那些观察者做出相应的反应。2. 特

2022-06-27 09:00:42 166

原创 Hive面试题

Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。本质是：将 HQL 转化成 MapReduce 程序1）Hive 处理的数据存储在 HDFS2）Hive 分析数据底层的默认实现是 MapReduce3）执行程序运行在 Yarn 上1．用户接口：ClientCLI（hive shell）、JDBC/ODBC(java 访问 hive)、WEBUI（浏览器访问 hive）2．

2022-06-24 08:51:30 240

原创 Hadoop面试题

目录1. 集群的最主要瓶颈2. Hadoop运行模式3. Hadoop的组成4. block份数和大小默认配置5. HDFS读写数据流程（☆）6. 节点距离和机架感知（副本存储节点选择）（☆）7. Secondary NameNode8. 集群安全模式9. DataNode工作机制10. HDFS HA（☆）工作要点自动故障转移工作机制11. HDFS 防止脑裂问题（☆）12. Yarn HA（☆）13. Yarn 防止脑裂问题（☆）14. Hadoop序列化和反序列化介绍及不使用Java序列化的原因?15

2022-06-23 14:52:15 1267

原创看网页视频如何自定义倍速（b站举例）

我们在观看网页版视频时，绝大部分都是只有2倍速，但有时候我们需要更高的倍速，这时候我们应该怎么办呢？以b站的页面播放举例，我们可以看到最多只能选择2倍速。这时候我们在页面按F12键或Ctrl+Shift+i键进入开发者模式，如图所示然后点击Console，在下方控制台输入document.querySelector('video').playbackRate = 3.0，也就是输入框闪烁的地方，按Enter回车，这时候就可以发现页面视频变为了3倍速。同样如果你觉得还不够快，可以将代码中的3.0改成你想要的速

2022-06-14 01:35:16 4341 6

原创常用的dos命令总结

目录操作命令1、·md：创建新目录（makedirectory）2、cd：改变/进入目录（changedirectory）3、cd\：切换到磁盘根目录4、cd.. ：进入上级目录5、dir：列出目录内容（directory）6、dir c:\ :\不能省略7、dir /s:递归显示目录中的所有的子目录和文件，sub8、tree /f:目录名以倒立树的形式显示目录中的内容/f表示显示文件，默认只显示目录9、ren:源目录名新目录名改名（rename）10、xcop

2022-05-09 00:27:43 385

原创 hive（四）Hive中的窗口函数

后台启动Hive的JDBC连接0表示标准输入，1表示标准输出，2表示标准错误输出，nohup表示挂起，&表示后台启动nohup hive --service hiveserver2 > /usr/local/soft/hive-3.1.2/log/hiveserver2.log 2>&1 &关闭后台启动的jdbc用jps查看RunJob，使用kill -9 关闭RunJob对应的进程号Hive中的wordcount实例使用后台启动hive的jdb

2022-05-09 00:16:03 585

原创 hive（三）分区上传下载、加载导出数据类型、、普通查询语句分组排序、分桶函数、日期函数、字符串函数

一、开启HIVE中分区表支持中文字段 1.根据HIVE开启分区支持中文.txt中的操作步骤去MySQL中执行，修改HIVE元数据库中的编码格式 2. 插入数据INSERT INTO TABLE filetest.partition_student PARTITION(gender="女生") SELECT "1500100002","吕金鹏",24,"文科六班"二、分区表操作特点：分区表与其他表不同点在于，分区字段的值为表目录下的子目录格式为: 分区字段...

2022-04-14 21:39:35 619

原创 hive（二）hive中的hql基本语句

一、测试几种存储格式：1. mkdir /usr/local/soft/hive-3.1.2/data/2. 上传数据至data目录中3.创建TEXTFILE学生信息表create table students( id bigint comment '学生id', name string comment '学生姓名', age int comment '学生年龄', gender string comment '学生性别', clazz string commen...

2022-04-11 10:10:20 1598

原创 hive（一）hive的安装与基本配置

一、前提：安装hive所需要的虚拟机环境为虚拟机安装有Hadoop并且集群成功，同时Hadoop需要在启动状态下，同时需要安装有mysql。不需要有zookeeper和HA，由于HA中含有大量进程，启动会占用很多资源，建议不要有HA二、安装步骤：1、上传jar包至/usr/local/soft将hive-3.1.2上传到虚拟机中的/usr/local/soft目录下2、解压并重命名tar -zxvf apache-hive-3.1.2-bin.tar.gz# 重命名mv ap

2022-04-11 09:49:15 29065 7

原创 Hadoop（四）zookeeper的安装与搭建以及HA的搭建

安装与搭建1、上传安装包到master并解压tar -zxvf zookeeper-3.4.6.tar.gz这里所使用的zooKeeper-3.4.6的压缩包版本中可能没有zookeeper中的一些操作命令，建议安装zookeeper-3.5.7版本或者更新版本，里面会有更多的一些操作命令2、配置环境变量 vim /etc/profile进入到profile中添加以下内容: export ZOOKEEPER_HOME=/usr/local/soft/zookeeper...

2022-04-08 11:55:03 1690

原创 Hadoop（三）hdfs概述、hdfs体系结构、hdfs java调用、RPC和HDFS调用、hdfs文件读写流程分析

目录一、HDFS概述1、概述：2、hdfs架构二、在idea中用Java连接HDFS1、上传文件：2、下载文件：3、重命名文件：4、删除文件：5、查看文件信息：6、查看文件是否为目录三、Hadoop组件介绍1、HDFS架构：2、Yarn架构：3、MapReduce架构：四、HDFS的读写流程1、HDFS的读流程2、HDFS的写流程数据备份：机架感知：五、NameNode工作流程六、DataNode工作流程一、H...

2022-04-06 20:12:43 454

原创 hadoop（二）Hadoop概述、基本命令以及hafs shell

概述：Hadoop的三种运行模式：1.本地模式(学习) 1.没有HDFS,使用当前系统下的文件系统 2.没有YARN,使用的是Linux中的资源 3.使用了 Map-Reduce Framework2.伪分布式模式(学习) 1.只有单台机器 2.使用HDFS、Yarn、MapReduce3.分布式模式(企业级) 1.多台服务器 2.集群模式，包含整个Hadoop组件启动...

2022-04-05 23:39:48 1418

原创 Hadoop小知识：DataNode没有启动的原因和解决方法（同浏览器输入master：50070后不显示node节点问题）

问题：我们在使用Hadoop时，如果发现这个问题：图中的Node显示为空的情况。原因:我们在第一次安装完Hadoop后已经格式化了，但后来我们再次登录又进行格式化，就会形成多次格式化导致这种情况的发生。在配置文件中保存的是第一次格式化时保存的namenode的ID，因此就会造成datanode与namenode之间的id不一致。解决办法：1、进入Hadoop的安装目录，在进入logs目录，找到最新的一条日志文件2、进入这个日志文件3、复制红框信息4、...

2022-04-01 14:19:13 5573

原创 Python（三）pandas数据分析、Seaborn的数据可视化

一、Pandas1、pandas提供了使我们能够快速便捷地处理结构化数据的大量数据结构和函数2、pandas兼具NumPy高性能的数组计算功能以及电子表格和关系型数据库灵活的数据处理功能3、对于金融行业的用户，pandas提供了大量适合于金融数据的高性能时间序列功能和工具4、学统计的人会对R语言比较熟悉，R提供的data.frame对象功能仅仅是pandas的DataFrame所提供的功能的一个子集5、pandas含有使数据分析工作变得更快更简单的高级数据结构和操作工具，它是基于Num

2022-03-30 14:25:12 4635

原创 Python（二）pip的安装与使用以及Python中的选择、循环结构、连接mysql、封装继承多态、类、模块、异常及异常捕获处理、Numpy的安装以及jupyter notebook的下载与使用

一、if 选择结构1、格式：if ... elif ... elseif 表达式1：代码块1elif 表达式2：代码块2else：代码块32、举例：从键盘输入年龄，判断是否成年引入： python中从键盘录入为input，默认为str类型，想要输入int类型需要加入类型转换age = int(input("请输入年龄："))if age <= 0 | age >= 180: print("数...

2022-03-28 22:54:07 760

原创 Python（一）Python的安装和基本语法

一、Python概述python语言的优点：二、python运行环境的安装1、安装python3.7.92、安装PyCharm三、PyCharm的运行环境的配置项目的创建四、Python中的基本概念常量与变量注释print函数数据类型PyCharm中的五大数据类型数据类型之间的转换：字符串的操作：字符串的切片：反转字符串：格式化算术运算符五、数据的容器列表List列表的特点：列表中的一些操作：元组t

2022-03-26 23:46:34 1475

原创解决删除谷歌浏览器chrome注册表残留问题

当我们在删除谷歌浏览器时，可能会删不干净，当我们再次下载时就会出现“此电脑已安装更高版本”而导致下载失败。这时如果你使用Windows+r然后输入regedit进入注册表发现删除谷歌的注册表失败，可以使用下面的方法：将下面的代码复制下来并粘贴到命名为“remove.reg”的文件中，双击执行即可。（可以就用记事本然后更改名字就可以了）Windows Registry Editor Version 5.00 ;WARNING, this file will remove Goo...

2022-03-25 08:47:36 14286 13

原创 Hadoop（一）Hadoop的安装和基础配置

基础配置1、关闭防火墙 systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动查看防火墙状态 firewall-cmd --state systemctl status firewalld.service 启动防火墙 systemctl start firewalld.service2、修改主机名第一种 hostnamectl se

2022-03-24 21:22:38 118

原创 redis（四）redis集群搭建

1、创建安装目录在master ,node1 ,node2中分别创建mkdir /usr/local/soft/redis-cluster2、将redis 复制到redis-cluster 目录下修改名字为7000复制前删除单机版缓存文件rm -rf appendonly.aofrm -rf dump.rdbcp -r /usr/local/soft/redis /usr/local/soft/redis-clustermv /usr/local/soft/redis-clust

2022-03-23 09:40:35 129

原创 Redis（三）使用java操作redis，redis持久化以及主从分离机制

Java操作Redis导入依赖 <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>4.1.1</version> </depen

2022-03-22 21:52:12 223

原创 Redis（二）redis的基础语法和基本命令

插入数据set key value [EX seconds|PX milliseconds|EXAT timestamp|PXAT milliseconds-timestamp] [NX|XX]EX:多少秒后过期消失PX:多少毫秒后过期消失EXAT:指定时间戳过期PXAT指定毫秒时间戳过期NX:不存在再执行XX:存在再执行注意: set插入数据如果k存在会覆盖TTL生存时间查询生存时间TTL key注意: -1表示没有设置生存时间-2设置生存时间,但是已经消亡了

2022-03-21 19:05:58 143

原创 Redis（一）redis的安装与连接

1. 配置阿里云yum源下载配置文件wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo生成缓存yum makecache2、上传并解压tar -zxvf redis-6.2.6.tar.gz -C /usr/local/soft/3、安装编译所需的依赖yum install -y gcc-c++ gcc tcl4、编译并安装Rediscd 切换目录

2022-03-20 18:29:21 288

原创 springboot相关配置和基础知识

JDBC:MYSQLJDBC是连数据库的统称 ,不仅只能练mysqlfile->setting->project str…->moudle->depen…->选择包maven在pom.xml中自动导包Class.forname("com.mysql.jdbc.Driver");String url="jdbc:mysql://master:3306/shujia";String username="root";String password="1234

2022-03-19 11:18:20 405

原创 MySQL面试题

一、为什么用自增列作为主键1、如果我们定义了主键(PRIMARY KEY)，那么InnoDB会选择主键作为聚集索引。如果没有显式定义主键，则InnoDB会选择第一个不包含有NULL值的唯一索引作为主键索引。如果也没有这样的唯一索引，则InnoDB会选择内置6字节长的ROWID作为隐含的聚集索引(ROWID随着行记录的写入而主键递增，这个ROWID不像ORACLE的ROWID那样可引用，是隐含的)。2、数据记录本身被存于主索引（一颗B+Tree）的叶子节点上，这就要求同一个叶子节点内（大小为一

2022-03-14 22:35:15 223

原创 Linux（十）索引，事务，其他编程语言操作MySQL

索引提高查询效率每个字段都可以加索引给经常做查询的字段加索引主键默认包含索引alter table 表名 add index 索引名称(字段)alter table student add index nameindex(name);alter table student drop index nameindex;事务mysql批处理执行一批SQL语句原子性的不可再分割要成功都成功要失败都失败sql的执行每一条都是独立的事务可以对于多张表进行同时操作状态:开始结

2022-03-13 21:41:00 101

原创 Linux（九）MySQL中的where和having，表连接，连表联查，试图

where 和 havingwhere和having都是用做筛选where:处理元数据(from读取的数据)having:对from读取数据的处理结果进行再次筛选where->group by ->havingselect *,age-18 as c from student where c>2; # 报错select *,age-18 as c from student having c>2; # 正确select sex,count(*) as c fr

2022-03-11 19:39:19 1573

原创 Linux（八）MySQL时间函数，逻辑判断，排序，分页，三大范式

时间函数获取时间获取年月日获取时分秒获取年月日时分秒-- 获取所有select CURRENT_TIMESTAMP();select CURRENT_TIMESTAMP;-- 获取年月日select CURRENT_DATE();select CURRENT_DATE;-- 获取时分秒SELECT CURRENT_TIME();SELECT CURRENT_TIME;时间和varchar相互转换时间转str-- SELECT CURRENT_Date;--

2022-03-10 20:04:11 133

原创 Linux（七）MySQL增删改查常用命令

alter修改的作用修改库修改表修改字段修改库的编码集alter database shujia character set utf8修改表的编码集alter table students character set utf8修改表名alter table student rename to students修改字段:change(字段一旦包含数据:类型的变化)能修改字段的所有内容:可以修改成新的也可以在原字段上修改# 修改成一个新的字段alter table s

2022-03-09 21:05:39 1127

原创 Linux（六）MySQL和navicat的安装和使用

一、MySQL概述二、MySQL的安装1、安装MySQL的目的：2、安装步骤对MySQL服务的一些基本操作：3、MySQL的使用4、获取临时密码：5、登录mysql：6、关闭密码复杂验证：7、修改权限：8、卸载yum Repository9、mysql的卸载三、MySQL的操作1、数据库的创建：2、数据库的切换：3、显示数据库中所有的表的数据4、数据库的删除：四、Navicat1、Navicat连接mysql2、Navicat的基

2022-03-08 18:42:19 1426

原创 Linux小知识

1、使用vi时，查找字符可以使用 / 进行查找；2、使用root用户修改用户密码的命令是passwd appmon(用户)3、 .gz文件的解压命令gzip -d xxx.gz4、 mysql的启动、停止、重启命令service mysqld startservice mysqld stopservice mysqld restart5、查看进程ps -ef|grep xxxx6、.tar.gz文件的压缩与解压tar zcvf xxxx.tar.gz .

2022-03-06 22:20:19 980 1

原创 Linux（五）Linux-shell脚本中的循环，数组，函数等操作

目录1、if2、判断条件的写法3、for4、例如:获取1-100的奇数和偶数和5、数组:存储多个元素,数据类型可以不同,元素元素之间以空格切分6、read:键盘录入7、打印三角形8、函数9、获取当前日期时间10、格式化日期时间：11、加减日期时间12、重定向:执行命令的结果写写入到文件13、定时器:1、if 格式1: if 判断条件 then 判断为true执行的代码 ...

2022-03-05 16:00:00 838

原创 Linux （四） Linux中的Shell命令

目录1、shell概述：2、shell操作linux的桥梁3、变量(动态数据类型,没有数据类型的限制,并且必须初始化)4、$0...$n:表示接收外部参数(执行脚本时,传递的参数)5、引号:6、字符串7、运算符1、shell概述：Shell是一个使用C语言编写的程序，他既是一种命令语言，又是一种程序设计语言。他是一个应用程序，该应用提供了一个界面，用户通过这个界面访问操作系统内核的服务。Shell是用户与Linux操作系统沟通的桥梁。这个界面其实就是来自于文本。

2022-03-04 19:48:42 267

原创 Linux（三）用户组管理

Linux文件属性Linux为保护系统的安全性，对不同的用户访问同一文件的权限做了不同的规定文件类型：表示该文件是文件夹还是文件，若是文件夹，则加上d，否则不加d属主权限：表示权限最大的root用户可以进行的操作：可读可写可执行属组权限：表示指定某一个组内的成员用户可以进行的操作：可读可执行但不可写其他用户权限：表示除了上述两种用户的其他用户可以进行的操作：可读可执行不可写root root：第一个root表示主用户，第二个root表示组用户后面的数字表示存储空间大小，.

2022-03-04 19:36:51 1126

原创 Linux（二）虚拟机常用配置和常用命令

虚拟机常用配置和常用命令一、Linux的目录结构二、Linux基本功能:1、文件查看:2、创建、重命名文件\文件夹：3、切换目录：4、删除文件\文件夹5、复制粘贴\剪切6、内容查看7、远程复制8、配置映射：9、压缩与解压缩：10、tail命令11、文件大小查看：12、vi编辑器13、其他功能：防火墙networkmanage服务修改启动级别修改ip地址14、日期

2022-03-03 22:21:09 4713

空空如也

空空如也