- 博客(16)
- 收藏
- 关注
原创 error while loading shared libraries: libtinfo.so.5: cannot open shared object file: No such
环境中没有libtinfo.so.5组件。
2024-09-05 12:37:19 336
原创 Hive之Hiveserver2 metastore环境部署
Hive:由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具,可以将,并提供类SQL查询功能。1)Hive处理的数据存储在HDFS2)Hive分析数据底层的实现是MapReduce3)执行程序运行在Yarn上。
2024-09-05 08:57:08 1120
原创 Hadoop-3.1.3伪分布式部署
以前hadoop 2.X 版本,访问web界面,hdfs端口号是50070,现在3.X版本,端口号是9870(最好自己指定端口号)配置好后,即可直接查看hadoop 版本号。前提:已完成免密登录,jdk配置。分发完后去副节点刷新环境变量。我们只用修改其中的6条。
2024-09-05 08:53:30 786
原创 Hadoop3.1.3部署汇总
1.1 Hadoop 是什么(1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构(2)主要解决海量数据的存储和海量数据的分析计算问题(3)广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈1.2 Hadoop 优势(1)高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。(2)高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点。(3)高效性:在MapReduce的思想下,Hadoop是并行工作的,以加
2024-09-05 08:52:10 765
原创 解决VSCode安装Go tools失败的问题
测试环境安装Go后,打开VS Code,按照提示安装了微软官方的GO插件。但在安装go tools时,出现了下面的一大堆错误(日志)。解决方案设置完成后重启VS Code,按照提示安装即可。参考https://l2m2.top/2020/05/26/2020-05-26-fix-golang-tools-failed-on-vscode/
2024-05-09 19:53:06 460
原创 scala学习打卡05-函数式编程
1)函数定义(1)函数 1:无参,无返回值(2)函数 2:无参,有返回值(3)函数 3:有参,无返回值(4)函数 4:有参,有返回值(5)函数 5:多参,无返回值(6)函数 6:多参,有返回值2)案例实操// (1)函数 1:无参,无返回值println("1:无参,无返回值")test1()// (2)函数 2:无参,有返回值return "2:无参,有返回值"// test2()// (3)函数 3:有参,无返回值// (4)函数 4:有参,有返回值。
2024-02-10 21:08:30 913 2
原创 scala学习打卡04-流程控制
(2)for 推导式有一个不成文的约定:当 for 推导式仅包含单一表达式时使用圆括号,当包含多个表达式时,一般每行一个表达式,并用花括号代替圆括号,如下。(1)需求 1:需求:输入年龄,如果年龄小于 18 岁,则输出“童年”。如果年龄大于 等于 18 且小于等于 30,则输出“中年”,否则,输出“老年”。(2)需求 2:Scala 中 if else 表达式其实是有返回值的,具体返回值取决于满足条件的 代码体的最后一行内容。需求:输入人的年龄,如果该同志的年龄小于 18 岁,则输出“童年”
2024-02-09 01:20:00 449 2
原创 scala学习打卡03-运算符
(1)对于除号“/”,它的整数除和小数除是有区别的:整数之间做除法时,只保留整 数部分而舍弃小数部分。 用于连接多个条件(一般来讲就是关系表达式),最终的结果也是一个 Boolean 值。Scala 运算符的使用和 Java 运算符的使用基本相同,只有个别细节上不同。(2)对一个数取模 a%b,和 Java 的取模规则一样。(2)需求 2:Java 和 Scala 中关于==的区别。2)如果函数参数只有一个,或者没有参数,()可以省。1)当调用对象的方法时,点.可以省略。
2024-02-06 19:58:39 1383 1
原创 scala学习打卡02-变量和数据类型
(3)Nothing,可以作为没有正常返回值的方法的返回类型,非常直观的告诉你这个方 法不会正常返回,而且由于 Nothing 是其他任意类型的子类,他还能跟要求返回值的方法兼 容。 在将 String 类型转成基本数值类型时,要确保 String 类型能够转成有效的数据,比如我 们可以把"123",转成一个整数,但是不能把"hello"转成一个整数。(5)var 修饰的对象引用可以改变,val 修饰的对象则不可改变,但对象的状态(值) 却是可以改变的。或者将 String 类型转成 基本数值类型。
2024-02-05 15:06:58 890 2
原创 scala学习打卡01
1)Spark—新一代内存级大数据计算框架,是大数据的重要内容。2)Spark就是使用Scala编写的。因此为了更好的学习Spark, 需要掌握Scala这门语言。3)Spark的兴起,带动Scala语言的发展。
2024-02-04 16:30:41 824 3
原创 Ubuntu基础配置+Docker配置和使用+容器化centos7大数据环境准备
大数据技术与应用赛项平台环境模拟,使用ubuntu,利用docker搭建大数据集群
2023-08-12 20:00:32 1991 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人