![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
有时间指导毕业设计
这个作者很懒,什么都没留下…
展开
-
MapReduce的核心思想
原创 2021-12-05 10:17:50 · 81 阅读 · 0 评论 -
分布式集群的ssh非密码启动
用ssh来启动一个总的文件start-dfs.sh(启动文件),stop-dfs.sh(停止文件)原创 2021-04-05 18:10:34 · 84 阅读 · 0 评论 -
hadoop相关操作的一些方法
FileSystem.get(url,configuration,user); CopyFromLocalFile(); CopyToLocal(); rename(path1,path2) delete(path1,true); import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.junit.After; import org.junit.Before; import org.juni原创 2021-03-31 22:41:12 · 220 阅读 · 0 评论 -
Hadoop考试相关题目
Hadoop考试题目复习大纲 HDFS:Hadoop distribute File Sytem(hadoop文件分布式系统),它是一个文件系统用于通过统一的命名空间—目录树来定位文件 数据块副本折存放策略是什么? 1.副本放置策略 第一副本:放置在上传文件的DataNode上;如果是集群外提交,则随机挑选一台磁盘不太慢、CPU不太忙的节点上; 第二副本:放置在于第一个副本不同的机架的节点上; 第三副本:与第二个副本相同机架的不同节点上; 如果还有更多的副本:随机放在节点中; 简述HDFS的架构。 HDFS原创 2021-04-21 15:08:45 · 1550 阅读 · 0 评论 -
hadoop每台节点环境配置相关的命令
hadoop中每台机器的修改相关的命令大全 修改网卡 修改ip 修改主机名 关闭防火墙 加上dev1用户的相关的权限 重启 find /etc -name *70 237 find /etc -name 70* 238 vim /etc/udev/rules.d/70-persistent-net.rules 239 find /etc -name *eth0 240 vim /etc/sysconfig/network-scripts/ifcfg-eth0 241 vi原创 2021-04-08 13:37:12 · 79 阅读 · 0 评论 -
CentoS的服务器同步上传的指令(Mysync重点,使用最方便)
scp指令全部复制过去 scp -r /opt/module dev1@hadoop100:/opt/ rsync : 快速同步的速度比scp要快(只对差异文件做更新) 例如: rsync -rvl /opt/software/ dev1@hadoop102:/opt/software Mysync指令: 需要配置文件 切换目录: cd /home/dev1 mkdir bin cd bin/ vim Mysync 在Mysync文件中加上 #!/bin/bash #1 获取输入参数个数,如果原创 2021-03-18 11:40:28 · 198 阅读 · 0 评论 -
完全分布式的集群启动
完全分布式的集群启动 准备ssh(可以免密码的登录) 配置ssh 无密钥的配置 群起集群 准备ssh 用ssh连接另一台电脑的ip地址或者 主机名 ssh hadoop100 报错 Host key verification failed. 无密钥的配置 ssh-keygen -t rsa 敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥) 复制公钥到免登录的机器上 ssh-copy-id hadoop101 ssh-copy-id hadoop102 ssh-co原创 2021-03-12 21:09:37 · 175 阅读 · 0 评论 -
完全分布式的单点启动启动
完全分布式的单点启动 第一次启动需要格式化NameNode. 如果失败则需要删除data文件夹,再格式化 hadoop namenode -format 这样表示启动成功。 hadoop-daemon.sh start datanode 表示 启动成功 然后依次在hadoop102,103,104依次启动datanode节点 ...原创 2021-03-12 20:21:54 · 175 阅读 · 0 评论 -
hadoop完全分布式的的准备工作
Hadoop完全分布式的运行(重点) (1)准备3台客户机(关闭防火墙、静态ip、主机名称) (2)安装JDK (3)配置环境变量 (4)安装Hadoop (5)配置环境变量 (6)配置集群 (7)单点启动 (8)配置ssh (9)群起并测试集群 虚拟机要进行以下的测试: hostname ping 当前的主机名 测试ip ifconfig 测试防火墙 service iptables status 测试文件权限 ll /opt scp(secure copy)安全拷贝(from server1 to se原创 2021-03-12 20:08:15 · 86 阅读 · 0 评论 -
伪(一台主机上面实现)分布式的应用
配置集群 齐心协力集群 执行案例 1.配置hadoop-env.sh文件 把上面的路径写到文件中,vi或者NotePad++文件都可以。 在/etc/hadoop/hadoop-env.sh中添加 export JAVA_HOME=/opt/module/jdk1.8.0_144 配置core-site.xml <property> <name>fs.defaultFS</name> <value>hdfs://hadoop101:900.原创 2021-03-12 19:23:21 · 200 阅读 · 0 评论