自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(16)
  • 收藏
  • 关注

原创 Ubuntu安装JetBrains全家桶之IntlliJ IDEA安装

主要以以ubuntu安装idea作为例子。

2024-10-19 17:07:40 430

原创 error while loading shared libraries: libtinfo.so.5: cannot open shared object file: No such

环境中没有libtinfo.so.5组件。

2024-09-05 12:37:19 336

原创 Hive之Hiveserver2 metastore环境部署

Hive:由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具,可以将,并提供类SQL查询功能。1)Hive处理的数据存储在HDFS2)Hive分析数据底层的实现是MapReduce3)执行程序运行在Yarn上。

2024-09-05 08:57:08 1120

原创 Hadoop-3.1.3伪分布式部署

以前hadoop 2.X 版本,访问web界面,hdfs端口号是50070,现在3.X版本,端口号是9870(最好自己指定端口号)配置好后,即可直接查看hadoop 版本号。前提:已完成免密登录,jdk配置。分发完后去副节点刷新环境变量。我们只用修改其中的6条。

2024-09-05 08:53:30 786

原创 Hadoop3.1.3部署汇总

1.1 Hadoop 是什么(1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构(2)主要解决海量数据的存储和海量数据的分析计算问题(3)广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈1.2 Hadoop 优势(1)高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。(2)高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点。(3)高效性:在MapReduce的思想下,Hadoop是并行工作的,以加

2024-09-05 08:52:10 765

原创 解决VSCode安装Go tools失败的问题

测试环境安装Go后,打开VS Code,按照提示安装了微软官方的GO插件。但在安装go tools时,出现了下面的一大堆错误(日志)。解决方案设置完成后重启VS Code,按照提示安装即可。参考https://l2m2.top/2020/05/26/2020-05-26-fix-golang-tools-failed-on-vscode/

2024-05-09 19:53:06 460

原创 scala学习打卡05-函数式编程

1)函数定义(1)函数 1:无参,无返回值(2)函数 2:无参,有返回值(3)函数 3:有参,无返回值(4)函数 4:有参,有返回值(5)函数 5:多参,无返回值(6)函数 6:多参,有返回值2)案例实操// (1)函数 1:无参,无返回值println("1:无参,无返回值")test1()// (2)函数 2:无参,有返回值return "2:无参,有返回值"// test2()// (3)函数 3:有参,无返回值// (4)函数 4:有参,有返回值。

2024-02-10 21:08:30 913 2

原创 scala学习打卡04-流程控制

(2)for 推导式有一个不成文的约定:当 for 推导式仅包含单一表达式时使用圆括号,当包含多个表达式时,一般每行一个表达式,并用花括号代替圆括号,如下。(1)需求 1:需求:输入年龄,如果年龄小于 18 岁,则输出“童年”。如果年龄大于 等于 18 且小于等于 30,则输出“中年”,否则,输出“老年”。(2)需求 2:Scala 中 if else 表达式其实是有返回值的,具体返回值取决于满足条件的 代码体的最后一行内容。需求:输入人的年龄,如果该同志的年龄小于 18 岁,则输出“童年”

2024-02-09 01:20:00 449 2

原创 scala学习打卡03-运算符

(1)对于除号“/”,它的整数除和小数除是有区别的:整数之间做除法时,只保留整 数部分而舍弃小数部分。​ 用于连接多个条件(一般来讲就是关系表达式),最终的结果也是一个 Boolean 值。Scala 运算符的使用和 Java 运算符的使用基本相同,只有个别细节上不同。(2)对一个数取模 a%b,和 Java 的取模规则一样。(2)需求 2:Java 和 Scala 中关于==的区别。2)如果函数参数只有一个,或者没有参数,()可以省。1)当调用对象的方法时,点.可以省略。

2024-02-06 19:58:39 1383 1

原创 scala学习打卡02-变量和数据类型

(3)Nothing,可以作为没有正常返回值的方法的返回类型,非常直观的告诉你这个方 法不会正常返回,而且由于 Nothing 是其他任意类型的子类,他还能跟要求返回值的方法兼 容。​ 在将 String 类型转成基本数值类型时,要确保 String 类型能够转成有效的数据,比如我 们可以把"123",转成一个整数,但是不能把"hello"转成一个整数。(5)var 修饰的对象引用可以改变,val 修饰的对象则不可改变,但对象的状态(值) 却是可以改变的。或者将 String 类型转成 基本数值类型。

2024-02-05 15:06:58 890 2

原创 scala学习打卡01

1)Spark—新一代内存级大数据计算框架,是大数据的重要内容。2)Spark就是使用Scala编写的。因此为了更好的学习Spark, 需要掌握Scala这门语言。3)Spark的兴起,带动Scala语言的发展。

2024-02-04 16:30:41 824 3

原创 Ubuntu基础配置+Docker配置和使用+容器化centos7大数据环境准备

大数据技术与应用赛项平台环境模拟,使用ubuntu,利用docker搭建大数据集群

2023-08-12 20:00:32 1991 1

原创 关闭笔记本自带键盘

戴尔G15关闭笔记本自带键盘(其他品牌的还没试过)

2023-08-10 10:49:36 172 1

原创 OpenSSH升级版本(7.4升级到8.9)

笔记(ssh版本升级)

2023-08-10 10:43:49 2185 1

原创 spark完全分布式部署

Ubuntu环境,利用docker容器搭建spark集群(个人笔记)

2023-08-01 18:22:25 268 1

原创 hadoop-3.1.3完全分布式保姆级搭建

Ubuntu环境,利用docker容器搭建hadoop完全分布式保姆级教程(个人笔记)

2023-03-21 13:26:17 1108

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除