大数据
文章平均质量分 68
李莲花*
一勤万事通 一懒万事空
展开
-
完全分布式集群调用hdfs
完全分布式集群调用hdfs完全分布式集群调用hdfs具体步骤如下:开启主从服务器上传文件到集群完全分布式集群调用hdfs具体步骤如下:开启主从服务器上传文件到集群上传小文件上传大文件拼接:将几个数据块的数据都写入到一个临时文件tmp.file,然后下载解压这里完全分布式集群调用hdfs 就完成了!!!上一章:完全分布式集群群起文章链接: https://blog.csdn.net/weixin_45992021/article/detail原创 2021-03-24 15:57:32 · 7338 阅读 · 0 评论 -
完全分布式集群群起
完全分布式集群群起完全分布式集群群起具体步骤如下:完全分布式集群ssh1.配置ssh2.无秘钥配置群起集群1.配置slaves2.启动集群完全分布式集群群起具体步骤如下:完成完全分布式集群配置后对虚拟机进行拍照(备份)hadoop102,hadoop103同理完全分布式集群ssh1.配置ssh在hadoop102登录hadoop103,此时不是无密登录2.无秘钥配置生成公钥和私钥打开NotePad++ 连接上hadoop102到 /home/dev1/.ssh/原创 2021-03-16 13:48:49 · 10045 阅读 · 0 评论 -
完全分布式集群配置与单点启动
完全分布式集群配置与单点启动完全分布式集群配置与单点启动具体步骤如下:配置完全分布式集群配置完全分布式集群单点启动完全分布式集群配置与单点启动具体步骤如下:配置完全分布式集群把hadoop101虚拟机关了并断开连接配置集群前先拍照(备份)Hadoop103同理使用NotePad++配置hadoop-env.sh文件配置core-site.xml文件保存之前一定要确定hadoop102是能ping通的配置hdfs-site.xml文件保存之前一定要确定had原创 2021-03-16 00:12:14 · 10093 阅读 · 0 评论 -
完全分布式虚拟机准备
完全分布式虚拟机准备完全分布式虚拟机准备具体步骤如下:1.准备3台客户机(关闭防火墙、静态ip、主机名称)2.虚拟机配置1.修改网卡2.修改静态ip3.修改host名称4.修改主机地址映射5.关闭防火墙6.sudo 设置普通用户具有root权限7.创建安装目录并设置权限8.测试3.克隆虚拟机配置1.修改网卡2.修改静态ip3.修改host名称4.安装JDK,安装Hadoop并配置环境变量5.完全分布式JDK与Hadoop同步6.同步程序Mysync完全分布式虚拟机准备具体步骤如下:1.准备3台客户机(原创 2021-03-15 23:48:12 · 9364 阅读 · 0 评论 -
伪分布式yarn上运行mr程序
伪分布式yarn上运行mr程序伪分布式yarn上运行mr程序具体步骤如下:1.配置集群2.启动集群3.集群操作伪分布式yarn上运行mr程序具体步骤如下:1.配置集群在NotePad++编译器内打开/opt/module/hadoop-2.7.2/etc/hadoop配置yarn的java环境变量配置yarn-site.xml文件如果能ping通自己的主机名说明你可以使用主机名来配置resourcemanager配置mapred-env.sh配置: (对mapred-si原创 2021-03-13 11:25:14 · 10831 阅读 · 0 评论 -
伪分布式调用hdfs运行yarn
伪分布式调用hdfs运行yarn伪分布式调用hdfs运行yarn具体步骤如下:伪分布式调用hdfs运行yarn具体步骤如下:启动SecureCRSecureFX启动namenode和DataNodebin/hdfs dfs -mkdir -p /user/dev1/input:在hadoop集群里面创建一个文件(mkdir:在Linux里面创建一个文件)打开Applications下的浏览器,输入如下网址打开网址后打开Overview>Browse the file syste原创 2021-03-13 11:03:25 · 13001 阅读 · 0 评论 -
大数据环境搭建—克隆虚拟机
大数据环境搭建—克隆虚拟机大数据环境搭建—克隆虚拟机克隆虚拟机修改克隆虚拟机的静态IP克隆虚拟机大数据环境搭建—克隆虚拟机克隆虚拟机修改克隆虚拟机的静态IP克隆虚拟机...原创 2021-03-10 23:19:55 · 10927 阅读 · 0 评论 -
虚拟机VMware15安装
虚拟机VMware15安装虚拟机VMware15安装具体步骤如下:虚拟机VMware15安装具体步骤如下:原创 2021-03-10 18:52:11 · 13954 阅读 · 0 评论