qq_61943943-CSDN博客

原创 Scala在IDEA上运行不了解决办法

⑤打开IDEA：File->project Structure->Global Libraries->Scala SDK->browse->找到你的Scala安装路径添加进去。本人JDK版本是1.8版本，我开始所下载scala是2.11.8版本，因此与我的JDK不兼容，所以运行程序一直报错。右键电脑->属性->查看高级系统设置->环境变量->新建SCALA_HOME 路径为你设置的路径。⑥创建一个文件夹自己取一个名->main方法下建一个取名为Scala的包->新建Scala.class。

2023-03-22 18:57:15 3002 1

原创用mapreduce统计重庆年龄大于25的人数？

【代码】用mapreduce统计重庆年龄大于25的人数？

2022-12-20 22:07:38 424

转载 Apache Hive DML语句与函数使用

如果对hiveServer2服务运行此命令即本地系统就是hive服务器所在的位置，源文件所在的位置，远程连接到的是node1的位置。第一种方法--step1:建表 --建表student_local 用于演示从本地加载数据 create table student_local(num int , name string , sex string , age int , dept string) row format delimited fields terminated by ',';

2022-11-15 22:20:11 597

转载 Hadoop YARN

可以把Hadoop理解为相当于一个分布式的操作系统平台，而MapReduce等计算程序则相当于操作系统之上的应用程序，YARN为这些程序提供运算所需的资源（内存、cpu）因为有了YARN，更多计算框架可以接入到HDFS中，而不单单是MapReduce,正是因为YARN的包容，使得其他计算框架能专注于计算性能的提升HDFS可能不是最优秀的大数据存储系统，但却是应用最广泛的大数据存储系统，YARN功不可没当用户向YARN中提交一个应用程序后，YARN将分为两个阶段运行该应用程序。

2022-11-05 10:54:53 173

转载 HDFS工作流程与机制和MapReduce

NameNode:Hadoop分布式文件系统的核心，架构中的主角色NameNode维护和管理文件系统元数据，包括名称空间目录数结构、文件和块的位置信息、访问权限的信息NameNode成为了访问HDFS的唯一入口NameNode内部通过内存和磁盘文件两种方式管理元素据。

2022-11-04 21:38:31 179

转载 Shell常用操着命令

Shell常用命令

2022-11-02 18:12:02 349

转载 HDFS主从结构

HDFS集群是标准的master/slave主从架构集群一般一个HDFS集群是有一个Namenodeh和一定数目的Datanode组成Namenode是HDFS主节点，Datanode是HDFS从节点，两种角色各司其职，共同协调完成分布式的文件存储。

2022-10-30 19:08:35 731

转载 Hadoop、HDFS

hadoop集群包括两个集群：HDFS集群、YARN集群两个集群逻辑上分离，通常物理上在一起：两个集群互相之间没有依赖，互不影响，某些角色进程往往部署在同一台物理服务器上两个集群都是标准的主从架构集群。

2022-10-27 17:32:23 669

转载【无标题】

date命令：用来显示或设定系统的日期与时间，在显示方面，使用者可以设定欲显示的格式，格式设定为一个加号后接数个标记cal命令:显示当前日历free命令：用于显示内存状态free -hdf命令：用于显示目前在Linux系统上的文件系统磁盘使用情况统计df -hps命令:用于显示当前进程的状态，类似于Windows的任务管理器jps命令:这是JDK自带的命令，专门用于查看本机运行的Java进程情况。

2022-10-27 15:12:59 94