Hadoop
文章平均质量分 76
Lilianac
把简单的事情做好即为不简单
展开
-
hive报错:FAILED: NullPointerException null
hive报错:FAILED: NullPointerException null原创 2024-02-29 15:08:04 · 649 阅读 · 0 评论 -
Redis的安装和使用
Redis的五种数据结构: 字符串(STRING)、列表(LIST)、集合(SET)、哈希(HASH)、有序集合(ZSET)。结构类型存储的值STRING字符串、整数或浮点数LIST一个链表,上面的每个节点都是一个字符串SET包含若干个字符串的无序集合,且集合中的元素都是唯一的HASH包含键值对的无序散列表ZSET成员中的字符串与分值的有序映射,其排序由分值决定字符串STRING 拥有一些和其他键值存储相似的命令,比如 GET(获取值),SET(设置值),DEL(删除值)等。原创 2022-09-30 15:48:03 · 1259 阅读 · 0 评论 -
HDFS实训及遇见的常见问题解决
文件读写获取hadoop的系统设置,并在其中创建HDFS文件,文件路径为/user/hadoop/myfile;在myfile文件中添加字符串https://www.educoder.net;读取刚刚创建myfile文件中的内容,并输出。import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configurati原创 2022-06-28 09:30:26 · 1788 阅读 · 0 评论 -
解决本地连接不上虚拟机和虚拟机ping不同外网的问题
(记录一下本地连接不上虚拟机的问题)原本我是想在本地浏览器中打开hadoop0的hdfs网站,但是一直进不去,而在虚拟机的浏览器中却能进去,于是我打开cmd ping以下虚拟机,连接超时:通过百度查到了,是网关有了问题,首先使用命令查看本地电脑网关地址:虚拟机的网关:本地网关和虚拟机网关不一致,现在来修改虚拟机地址,先关闭虚拟机,我本机的IP地址是192.168.168.117打开网络和Internet做完这些步骤之后,打开虚拟机,输入ifconfig,没有出现ens33的ip地址,只原创 2022-06-27 16:36:41 · 7819 阅读 · 2 评论 -
实验四 HBase开发:使用java操作HBase
一、实验目的熟悉HBase数据库操作常用的Java API二、实验平台操作系统:CentOS 8Hadoop版本:3.2.3HBase版本:2.4.12jdk版本:1.8Java IDE:eclipse三、实验过程1. 创建表原创 2022-06-26 15:42:18 · 7933 阅读 · 0 评论 -
实验三 HBase的安装与简单操作
实验目的原创 2022-05-12 15:23:45 · 6332 阅读 · 0 评论 -
WinSCP连接不上虚拟机
问题今天我做实验时,想要把文件上传到linux虚拟机上,但winSCP连接了半天一直连接不上虚拟机,在网上找了很多资料,都说是防火墙的问题,还有远程服务的问题,但我并没有这两个有问题解决最后发现是网络配适器的问题,先关闭虚拟机,注意是关闭而不是挂起,然后找到“网络配适器”选项,选择“桥接模式”,点击确定后,开启虚拟机注: 重新开启虚拟机后ip地址可能会改变,输入ifconfig命令查看ip地址,回到winSCP,输入ip和用户名密码,连接虚拟机,然后就可以连接上了...原创 2022-05-11 15:36:31 · 6581 阅读 · 8 评论 -
实验二、熟悉常用的HDFS操作(HDFS JavaAPI之读取/上传/删除文件)
一、实验目的理解HDFS在Hadoop体系结构中的角色熟练使用HDFS操作常用的shell命令熟悉HDFS操作常用的Java API二、实验平台操作系统:CentOS 8Hadoop版本:3.3.1jdk版本:1.8Java IDE:Eclipse三、实验内容1. 使用Hadoop命令操作分布式文件系统。新建目录在本地和hadoop中分别创建文件夹:在本地创建目录:Hadoop创建目录:上传文件至dfs切换到本地input目录下,创建文件并添加数据:hel原创 2022-04-24 19:45:11 · 10164 阅读 · 0 评论 -
Hadoop3的resourceManager无法启动的问题
平台操作系统:CentOS 8Hadoop版本:3.3.1jdk版本:1.8Java IDE:Eclipse问题及解决在window下开发Hadoop程序,一切准备就绪之后,运行代码,没有出现预期的效果,而是一直在尝试连接在linux中jsp之后发现resourceManager没有启动:来到在linux中安装Hadoop的目录下,进入到logs目录下,找到resourcemanager的日志文件发现是端口号被占用:在网上找了很多,都说是需要杀死进程,最后我打开我的yarn-原创 2022-04-22 14:35:11 · 4501 阅读 · 2 评论 -
实验一、Hadoop 安装与配置管理
目标:掌握Hadoop安装过程原理Linux环境准备:安装VMware12 虚拟机部署Centos 64bit 操作系统PieTTY 0.3.26、winscp516setuphadoop-2.7.2.tar.gzjdk-7u7-linux-i586.tar.gz伪分布式模式的安装和配置步骤:一、准备与配置安装环境:安装虚拟机和linux虚拟机推荐使用vmware,PC可以使用workstation,服务器可 以使用ESXi,在管理上比较方便。ESXi还可以通过拷贝镜像文件复制虚拟机原创 2022-03-18 19:05:49 · 698 阅读 · 0 评论