大数据挖掘
文章平均质量分 54
北辰星Charih
学无止境
展开
-
Linux虚拟机IP地址查询
点击图中用红线圈起来的图案,点击【备份(系统快照)】,然后点击【生成】,备注好,备份好数据,就不怕后面操作错误。原创 2023-12-24 07:30:00 · 808 阅读 · 0 评论 -
重新使用hbase前
5.使用完先停止hbase,再停止hadoop。(要分别进入相关目录下)2.进入hadoop目录下启动hadoop。3.进入hbase目录下启动hbase。1.挂载共享文件夹到挂载点。4.进入shell界面。原创 2023-11-24 06:00:00 · 282 阅读 · 0 评论 -
hadoop在本地创建文件,然后将文件拷贝/上传到HDFS
3.拷贝本地文件到HDFS,$./bin/hdfs dfs -copyFromLocal {本地文件或者文件夹名} {HDFS上的文件或者文件夹名或者./}上传本地文件到HDFS,$./bin/hdfs dfs -moveFromLocal {本地文件或者文件夹名} {HDFS上的文件或者文件夹名或者./}4.查看HDFS,使用http://localhost:{端口号}或者$./bin/hadoop fs -ls /查看。回车之后没有显示什么东西,你可以通过$ls来查看前后本地文件的变化。原创 2023-11-23 06:00:00 · 1119 阅读 · 0 评论 -
基于VM虚拟机下Ubuntu18.04系统,Hadoop的安装与详细配置
与上面这个博客几乎差不多,就是java环境配置以及后面的hadoop的hdfs-site.xml文件有一些不同的地方。原创 2023-11-23 06:00:00 · 533 阅读 · 0 评论 -
It looks like you are making an HTTP request to a Hadoop IPC port. This is not the correct port for
在我的配置中,指定的NameNode Web界面端口是localhost:50070,因此要尝试在浏览器中输入以下地址来访问NameNode的Web界面:(其实我没有立刻改,而是检查防火墙去了,然后先出现了新的错误)提供错误提示的信息,报错提示表明我正在尝试通过HTTP请求访问Hadoop IPC端口,而不是正确的端口用于访问该守护进程的Web接口。根据提供的信息,你、我正在尝试通过浏览器访问Hadoop的NameNode界面,但遇到了连接失败的问题。根据我的配置,Hadoop的。原创 2023-11-22 15:01:43 · 2654 阅读 · 0 评论 -
格式化名称节点,启动Hadoop
能够看到有六个节点,我打码那个是我自己下载的eclipse,与内容无关,我直接不放出来。可以看到与前面启动的类似。原创 2023-11-22 14:02:46 · 521 阅读 · 0 评论 -
在Ubuntu18.04安装适合jdk8的eclipse
Eclipse IDE的最新版本现在很容易在Ubuntu 16.04和Ubuntu 18.04中安装,因为它被制作为snap包。snap应用程序在沙箱中运行,它们可以直接从Ubuntu软件安装。上网搜索方法,按教程说的修改eclipse.ini等都是不成功的,所以我干脆卸载了。然后我就去搜索在虚拟机Ubuntu18.04下载eclipse的方法,让我找到了一个不需要使用共享文件夹,一行命令就下载成功的方法。直接在Ubuntu软件那里下载的eclipse不能用,下载后启动会报错:Eclipse。原创 2023-11-22 11:32:30 · 882 阅读 · 1 评论 -
hadoop@bigdate-VirtualBox:/mnt/shared$ tar -xzvf hadoop-2.10.2.tar.gz tar (child): hadoop-2.10.2.tar
配置xshell远程连接失败,没有出现和他一样的界面,后面使用xshell也不成功,所以我使用共享文件夹的方式来安装Hadoop。报错:[写入etc/hadoop/hadoop-env.sh 出错:没有那个文件或目录],没有hadoop-env.sh 文件。如果文件确实存在,请确认文件名的大小写是否正确。Linux是区分文件名大小写的,因此确保文件名的大小写与实际文件一致。如下图,漏了后面红色划线,就一直报错,不成功。在virtualbox的ubuntu虚拟机上使用共享文件夹安装hadoop大数据软件。原创 2023-11-21 00:23:13 · 116 阅读 · 0 评论