自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(15)
  • 收藏
  • 关注

原创 将文本文件导入到Hive数仓表中

1、自创,编写假数据(分隔符用‘/t’)2、其他途径。

2024-03-16 10:36:29 349 1

原创 MySQL8.0更改密码为简单密码

1、 启动MySQL服务2、 查看MySQL服务是否启动成功3、 查看MySQL数据库初始密码4、 使用刚刚获得的初始密码登录MySQL数据库5、 先更改一个较为复杂的密码。

2024-03-15 16:11:10 468 1

原创 Sqoop的基本使用方法

注:使用 --split-by 参数指定一个列作为拆分列。

2023-12-10 23:19:13 395 1

原创 关于python安装第三方工具包方法

直接使用 pip install 进行安装,速度会很慢。

2023-12-07 20:46:28 424 1

原创 MapReduce环形缓冲区分析1以及知识点

bufstart是kvbuffer存放key,value数据部分的开始位置,bufend通常等于bufstart,在溢写时等于bufindex的当前值,kvstart和kvend用于管理meta数据,类似bufstart和bufend。1、当执行mapper子类的map()方法调用context.write(key,value)时,最终会调用MapTask的collect(key,value,partition)方法将key,value和meta数据写入上述的kvbuffer。bufindex一直在增加。

2023-10-31 15:39:59 193 1

原创 Hadoop中MapReduce阶段中,Patition分区、ReduceTask、输出文件之间的关系

该整数就是键(key)所对应的分区号,使得键(key)被映射到介于 0 到 numReduceTasks - 1 之间的分区,numReduceTasks 表示 Reduce 任务的总数,从而确定了键所属的分区。(4)、若ReduceTasks数 = 1,则不管有MapTask端输出多少个分区文件,最终结果都会交给这一个ReduceTask处理,所以也只会产生一个结果文件part-r-00000。的数量是一一对应的,但分区数与输出文件的个数之间没有直接的关系。)进行分区,不同的键会被分配到不同的分区中。

2023-10-28 09:36:52 328 1

原创 解决ERROR: Attempting to operate on hdfs namenode as root

这个错误提示表明你正在尝试以 root 用户身份操作 HDFS 的 Namenode,但是没有定义 HDFS_NAMENODE_USER 环境变量。1、在环境变量添加配置,我是在自己编写的my_env.sh中添加的(/etc/profile.d/my_env.sh)

2023-09-16 17:12:14 2540 2

原创 Linux中将自己编写的脚本文件路径放在Path中

1、打开 /etc/profile 文件,并在其中加入自己编写的脚本存放的路径。2、通过source /etc/profile 命令让文件生效即可。

2023-09-16 16:53:50 199 1

原创 IDEA报错:Error:Cannot determine path to ‘tools.jar‘ library for 17.0.2 (D:/Java/java-jdk/jdk-17.0.2)

一、前言:由于发布了JDK17版本,有点好奇,想看看怎么样,结果在IDEA中报错了。报错信息:Error:Cannot determine path to 'tools.jar' library for 17.0.2 (D:/Java/java-jdk/jdk-17.0.2)。图示如下: 二、报错原因:我使用的是IDEA 2020.1.2版本,由于版本原因,IDEA 2020.1.2版本不支持JDK17,JDK版本过高。IDEA 2020.1.2版本只支持到JDK14。 三、解决办法:降低JDK版本,

2023-08-11 10:44:32 2789 1

原创 String类、StringBuffer类、StringBuilder类三类之间的关系

1、String类定义的字符串是常量,一旦创建以后,内容和长度都是无法改变的。在操作字符串时,如果该字符串仅用于表示数据类型,则使用String类即可,但是如果需要对字符串的字符进行增删操作,则使用StringBuffer类。情况3、concat(xxx):不管是常量调用此方法,还是变量调用,同样不管参数是常量还是变量,总之,调用完concat()方法 都返回一个新new的对象。③、当调用字符串的replace()替换现有的某个字符时,需要重新开辟空间保存修改以后的字符串,不能在原有的位置修改。

2023-08-11 10:21:17 74 1

原创 IDEA在新建的类文件开头自动加注释信息以及描述信息

2、依次打开:File----->Settings----->Editor----->File and Code Templates----->Files----->Class。

2023-07-23 16:30:27 1600

原创 MySQL学习记录之X锁和S锁

3、当一个事务获取到了X锁后,其他事务如果尝试获取该记录的S锁,会被阻塞等待,直到持有X锁的事务释放锁。只有当持有X锁的事务释放锁之后,其他事务才能获取该记录的S锁,并且可能有多个事务同时持有S锁进行读取操作。1、在MySQL中,当一个事务获得了X锁(Exclusive Lock),它实际上是对特定的数据行或表进行了排他性的锁定,以防止其他事务修改或删除这些数据。1、当一个事务获得了一条记录的X锁(Exclusive Lock,排他锁),其他事务不能获取该记录的S锁(Shared Lock,共享锁)。

2023-07-17 21:12:01 417

原创 MySQL中聚簇索引和非聚簇索引的对比:

除了name字段本身之外,在该节点的叶子节点中,仅包含当前记录的主键ID,而不包含完整记录的信息。如果表中没有主键,InnoDB会选择一个合适的列作为聚簇索引,如果找不到合适的列,会使用一列隐藏的列DB_ROW_ID作为聚簇索引。非聚簇索引也叫辅助索引、普通索引,它的叶子节点只包含主键值,通过非聚簇索引查找记录要先找到主键,然后通过主键再到聚簇索引中找到对应的记录行,这个过程被称为回表。使用记录主键值的大小进行记录和页的排序,使用记录主键值的大小进行记录和页的排序。使用非聚簇索引需要进行两次索引的查找,

2023-07-10 12:35:14 429

原创 MySQL连接sqlyog报错2058解决方案:

加密规则发生了改变,在8.0之前用的是mysql_native_password,8.0以后用的是caching_sha2_password。首先在CMD登录MySQL中。然后切换到数据库MySQL中。最后希望对大家有所帮助!最后进行刷新就可以了。

2023-07-04 21:11:26 2108 5

原创 如何删除非系统盘生成的WindowsApps和Program Files文件夹

注意:我以上删除的是D盘中的Program Files文件夹,至于其他盘的WindowsApps和Program Files文件夹,只需替换一下路径和文件名即可。如果没有强迫症等,可以选择不删除,毕竟是系统自动生成的文件夹。我以前就因为随便删除,导致重装了两次系统。以上方法本人亲测有用,希望对大家能有所帮助。1、用管理员身份执行命令提示符(cmd)。回车,即可删除相应文件夹。

2023-06-14 20:30:53 8088 12

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除