![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
有时间指导毕业设计
这个作者很懒,什么都没留下…
展开
-
MapReduce的核心思想
原创 2021-12-05 10:17:50 · 81 阅读 · 0 评论 -
分布式集群的ssh非密码启动
用ssh来启动一个总的文件start-dfs.sh(启动文件),stop-dfs.sh(停止文件)原创 2021-04-05 18:10:34 · 84 阅读 · 0 评论 -
hadoop相关操作的一些方法
FileSystem.get(url,configuration,user);CopyFromLocalFile();CopyToLocal();rename(path1,path2)delete(path1,true);import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.junit.After;import org.junit.Before;import org.juni原创 2021-03-31 22:41:12 · 220 阅读 · 0 评论 -
Hadoop考试相关题目
Hadoop考试题目复习大纲HDFS:Hadoop distribute File Sytem(hadoop文件分布式系统),它是一个文件系统用于通过统一的命名空间—目录树来定位文件数据块副本折存放策略是什么?1.副本放置策略第一副本:放置在上传文件的DataNode上;如果是集群外提交,则随机挑选一台磁盘不太慢、CPU不太忙的节点上;第二副本:放置在于第一个副本不同的机架的节点上;第三副本:与第二个副本相同机架的不同节点上;如果还有更多的副本:随机放在节点中;简述HDFS的架构。HDFS原创 2021-04-21 15:08:45 · 1551 阅读 · 0 评论 -
hadoop每台节点环境配置相关的命令
hadoop中每台机器的修改相关的命令大全修改网卡修改ip修改主机名关闭防火墙加上dev1用户的相关的权限重启find /etc -name *70 237 find /etc -name 70* 238 vim /etc/udev/rules.d/70-persistent-net.rules 239 find /etc -name *eth0 240 vim /etc/sysconfig/network-scripts/ifcfg-eth0 241 vi原创 2021-04-08 13:37:12 · 79 阅读 · 0 评论 -
CentoS的服务器同步上传的指令(Mysync重点,使用最方便)
scp指令全部复制过去scp -r /opt/module dev1@hadoop100:/opt/rsync : 快速同步的速度比scp要快(只对差异文件做更新)例如:rsync -rvl /opt/software/ dev1@hadoop102:/opt/softwareMysync指令:需要配置文件切换目录:cd /home/dev1mkdir bincd bin/vim Mysync在Mysync文件中加上#!/bin/bash#1 获取输入参数个数,如果原创 2021-03-18 11:40:28 · 198 阅读 · 0 评论 -
完全分布式的集群启动
完全分布式的集群启动准备ssh(可以免密码的登录)配置ssh无密钥的配置群起集群准备ssh用ssh连接另一台电脑的ip地址或者 主机名ssh hadoop100报错 Host key verification failed.无密钥的配置 ssh-keygen -t rsa敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)复制公钥到免登录的机器上ssh-copy-id hadoop101ssh-copy-id hadoop102ssh-co原创 2021-03-12 21:09:37 · 175 阅读 · 0 评论 -
完全分布式的单点启动启动
完全分布式的单点启动第一次启动需要格式化NameNode.如果失败则需要删除data文件夹,再格式化hadoop namenode -format这样表示启动成功。hadoop-daemon.sh start datanode表示 启动成功然后依次在hadoop102,103,104依次启动datanode节点...原创 2021-03-12 20:21:54 · 175 阅读 · 0 评论 -
hadoop完全分布式的的准备工作
Hadoop完全分布式的运行(重点)(1)准备3台客户机(关闭防火墙、静态ip、主机名称)(2)安装JDK(3)配置环境变量(4)安装Hadoop(5)配置环境变量(6)配置集群(7)单点启动(8)配置ssh(9)群起并测试集群虚拟机要进行以下的测试:hostnameping 当前的主机名测试ipifconfig测试防火墙service iptables status测试文件权限ll /optscp(secure copy)安全拷贝(from server1 to se原创 2021-03-12 20:08:15 · 86 阅读 · 0 评论 -
伪(一台主机上面实现)分布式的应用
配置集群齐心协力集群执行案例1.配置hadoop-env.sh文件把上面的路径写到文件中,vi或者NotePad++文件都可以。在/etc/hadoop/hadoop-env.sh中添加export JAVA_HOME=/opt/module/jdk1.8.0_144配置core-site.xml<property><name>fs.defaultFS</name> <value>hdfs://hadoop101:900.原创 2021-03-12 19:23:21 · 200 阅读 · 0 评论