- 博客(21)
- 收藏
- 关注
RSS订阅原创 在windows中运行Spark时，出现不能够识别集群主机master
将hosts.txt重命名为hosts，复制替换在C:\Windows\System32\drivers\etc目录下的hosts文件。需要在windos中添加 ip 映射，在C:\Windows\System32\drivers\etc目录下有个hosts文件中添加。由于该文件只有管理员权限才能更改，所以可以将文件复制粘贴到桌面，并将文件改为.txt文本格式，在文件末尾添加内容，如下图。在windos中运行Spark时，出现不能够识别集群主机master,如下图。master主机ip地址映射。
2024-06-18 11:06:02
169
原创 Hive运行高级操作时内存不够
如图1所示，运行一些涉及到mapreduce的HQL语句时，会报虚拟内存不够。以上文件涉及到组件分布式安装，记得分发给其他两个节点。重启集群，再尝试运行代码。4.给虚拟机增加内存。图 1 错误显示截图。
2023-12-27 10:26:26
603
1
翻译 Scala学习笔记(黑马视频)
常量指的是: 在程序的运行过程中, 其值不能发生改变的量。我们将来每一天编写scala程序都会定义变量, 那什么是变量, 它又是如何定义的呢?scala的语法要比Java简洁，我们可以使用一种更简洁的方式来定义变量。**示例**使用更简洁的语法定义一个变量保存一个人的名字"Tom"**参考代码**scala可以自动根据变量的值来自动推断变量的类型，这样编写代码更加简洁。 实际开发中, 我们会编写大量的代码, 这些代码中肯定会有变量, 方法, 类等。那它们该如何命名呢?
2023-03-17 18:58:29
388
原创 Hbase Shell操作
Info1Info2Row_keynamecityteladdr001Mikeshanghai130jiangxi002Bobbeijing120heinan 显示当前Hbase版本号显示各主节点的状态显示当前用户名退出Shell操作命令名称相关说明create创建表put插入或更新数据scan扫描或并返回表的所有数据describe查看表的结构get获取指定行中列的数据count统计表中数据的行数delete删除指定行或列的数据deteleall删除整个行或列的数据truncate清除表中数据drop删除
2023-02-21 19:44:17
1072
原创 zookeeper安装
进入/export/software目录，将zookeeper软件包导入该目录下。解压zookeeper软件包 到/export/servers目录下，并重命名为zookeeper。将zookeeper/conf下的zoo_sample.cfg文件修改为zoo.cfg，并配置zoo.cfg文件。在/export/servers/zookeeper这个目录下创建zkData，并配置myid文件。修改slave1和slave2节点上zkData文件夹下的myid文件内容，分别改为2和3。修改数据存储路径配置。
2023-02-20 19:16:43
1910
原创 IDEA中添加各种依赖pom.xml文件内容报错
问题描述如下图1所示，若在项目中pom.xml文件中添加依赖时，代码红色报错（已检查文件内容没有问题且下载完成）。图 1 pom.xml文件中添加依赖报错解决办法： 注释依赖 将pom.xml文件依赖内容注释，如图2所示。图 2 pom.xml文件依赖内容注释2.删除maven加载文件夹删除3.重新加载...
2022-04-07 18:25:08
3582
原创 spark集群配置
1.集群部署规划表1-1集群部署规划主机名 master slave1 slave2 HDFS NameNode SecondaryNameNode DataNode DataNode YARN NodeManage ResourceManager NodeManager Spark Master Worker Worker 2.安装Spark...
2022-03-21 15:15:37
4863
原创 Hadoop生态圈相关组件服务启动、关闭和查看脚本
1.查看进程[root@master ~]# cd /usr/bin/[root@master bin]# vi jps.sh切换到/usr/bin目录下，创建脚本文件jps.sh,并输入以下内容：#!/bin/bashfor i in master slave1 slave2 do echo "**********$i**********" ssh $i "/export/servers/jdk/bin/jps" done...
2021-12-29 20:13:16
3321
原创 hive项目实训
1.数据准备创建数据库store，在该数据库中创建customers和orders表 customers表字段描述 customer_id 用户id int first_name 名字 string last_name 姓氏 string gender ...
2021-12-27 14:37:38
3439
原创 Zeppelin安装配置
目录1.Zeppelin安装 利用Zeppelin工具操作hive,需确保电脑已经启动Hadoop集群和hiveserver2服务。 在master主机上的hive安装目录下启动hiveserver2服务[root@master hive]#bin/hiveserver21. Zeppelin安装 将压缩包zeppelin-0.8.2-bin-all.tgz上传到master主机的/export/software目录下,并解压到/e...
2021-12-26 21:18:53
2367
1
原创 hive高级操作
1.数据准备 创建数据库retail_db，在该数据库中创建多张表格hive (default)>create database retail_db;hive (default)>use retail_db;（1）创建customers顾客表，并插入数据。 customer_id 顾客编号 int customer_fname 顾客名字 ...
2021-11-26 19:34:32
4307
原创 hive数据库及表操作
1.数据库操作1.1 创建数据库（1）创建一个名为school数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.dbhive (default)> create database school;(2) 避免要创建的数据库已经存在错误，增加if not exists判断hive (default)> create database if not exists school_1;（3）创建一个数据库，指定数据库在HDFS上存放的位置.
2021-10-15 21:10:42
5976
原创 Hive安装
数据仓库工具hive是基于Hadoop集群运行的，在安装hive之前，确保电脑已经启动Hadoop集群。1.安装单用户模式对hive软件包进行上传解压，重命名后，输入命令启动hive。[root@master ~]# cd /export/software/[root@master software]# rz -be[root@master software]# tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /expo...
2021-10-01 15:23:11
4272
原创 Hadoop集群配置
1.集群部署规划表1-1集群部署规划主机名 master slave1 slave2 HDFS NameNode SecondaryNameNode DataNode DataNode YARN NodeManage ResourceManager NodeManager 2.安装JDK在/目录下创建文件夹来存放相对应的软件包、数据和软件。[ro...
2021-09-29 21:06:41
2070
原创 Linux系统主机名、静态IP等配置
目录2.主机名与IP地址映射3.设置静态IP1.更改主机名[root@localhost ~]# hostnamectl set-hostname master[root@localhost ~]# bash[root@master ~]# 2.主机名与IP地址映射[root@master ~]# vi /etc/hosts 使用 vi /etc/hosts指令配置IP映射时，IP地址必须在VMware虚拟机网络IP地址范围内（图1-1所示），且主机名...
2021-09-29 19:40:30
8679
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人