![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据篇
鹏鹏写代码
执着勇敢,一如少年!
展开
-
xftp6安装完成打不开,提示:“要继续使用此程序,您必须应用最新的更新或使用新版本“问题解决
xftp6安装完成打不开,提示:“要继续使用此程序,您必须应用最新的更新或使用新版本“问题解决原创 2022-10-24 01:04:32 · 3404 阅读 · 2 评论 -
Hadoop启动以后,DataNode无法启动,不报错
这个就是当我们启动Hadoop时候,查看的时候会发现DataNode启动不了,但是也没有报错,那么这个问题怎么解决呢?解决办法1.先看hdfs-site.xml是否正确2.打开NameNode下的VERSION文件,复制其cluster ID一行,然后在粘贴到datanode下面的VERSION中。具体步骤如下:现在就打开了VERSION文件,我们将clusterID一行复制,然后按一下Esc按键,再按“:”,然后输入wq(保存并退出),按回车。我们再次用jps查看进程,发现进程中已经有D.原创 2020-11-09 19:45:18 · 1094 阅读 · 0 评论 -
Hadoop中怎么解决Starting secondary namenodes [0.0.0.0]
对于Ubtuntu安装的Hadoop的补充,安装教程见博客:https://blog.csdn.net/qq_44176343/article/details/106824922我在安装过程中遇到一个这么的错误,这个问题怎么解决呢?解决办法:1.打开用于设置HDFS分布式文件系统的hdfs-site.xml,一般是缺少下图蓝色框圈住的部分导致的,每个人的文件位置不一样,如果是按照我分享的教程安装的,则命令如下:sudo gedit /usr/local/hadoop/etc/hadoop/hdfs原创 2020-11-08 20:44:24 · 9671 阅读 · 1 评论 -
怎么解决VMware Workstation:Operation inconsistent cuurent state
让我们先看看这个错误:错误如下截图所示:我们有时候用到虚拟机的时候,都会出现上面这种情况,这时候我们应该怎么办呢?下面给大家介绍一下我的方法:首先这种情况是非常正常的情况,不要过于担心自己的虚拟机的问题:1.先关闭原先打开的虚拟机,然后在鼠标右击,以管理员身份运行VMware Workstations 。打开软件以后,选择你要打开的虚拟机,然后单击一下,就可以打开了,记住,一定要单击。...原创 2020-11-08 17:11:06 · 753 阅读 · 0 评论 -
安装和设置ssh无密码登录
Hadoop作为大数据存储和处理的平台,是Apache软件基金会的开放源码,免费且广泛使用的软件,Hadoop的名称来自于原作者的孩子的玩具,黄色小象因此是Hadoop的标志。大家也知道,Hadoop有多台服务器组成的,当我们启动Hadoop系统时候,必须DataNode连接并管理这些节点,此时系统会要求我们输入密码,为了让系统顺利而不是手动输入密码,需要将SSH设置成无密码登录,无密码登录不是不需要密码,而是以实现交换的ssh key(密钥)来进行身份验证。Hadoop使用ssh(secure she原创 2020-11-08 12:16:46 · 465 阅读 · 2 评论 -
Hadoop大数据开发实战(一)
大数据(巨型数据集合)Linux+Hadoop+mr+zookeeper+hive+sqoop+hbase+flume1 .Linux的目录结构2.三种网络模式:-bridged (桥接方式,默认是使用vmnet0虚拟网卡)-net (网络地址转换模式,默认为vmnet8虚拟网卡)-host-noly(仅主机模式,默认使用vmnet1虚拟网卡)4.虚拟网络配置5.linux中的命令(1)man 找出某个命令的帮助文档例如:ls的帮助文档我们就可以打开终端,输入 man ls ;原创 2020-06-16 12:51:20 · 2201 阅读 · 0 评论 -
Hadoop大数据实战(二)--ubtuntu14.0安装Hadoop最全教程
目录1.安装jdk2.下载Hadoop3.设置Hadoop环境变量4.Hadoop配置文件设置5.创建并格式化 hdfs目录6.关闭防火墙7.启动Hadoop8.打开Hadoop web界面1.安装jdk步骤1:启动终端:使用快捷键 Ctrl+Alt+T启动。也可以单击快捷工具栏的“终端”程序图标来启动。步骤2:查看java当前版本java -version为了获得最新软件包,首先进行更新sudo apt-get update下载和安装jdksudo apt-get inst原创 2020-06-18 12:22:56 · 558 阅读 · 1 评论