伪分布式搭建

HDFS是进行存储的,VARN是进行词度的。
1.切换到hadoop下面的etc(配置文件都在etc下面)2.在hadoop中配置core-site.xmlVicare-ste.xm维定HDFS中narmenode的地址,将命令到confguration标签中econligurat cnsl指定HDFS中NameNoce的地址→sproperty?snamesfs.defsutFSs/nameoevalueshdfs.//hadoop100:9820</vslbes/property<t指定Hadoop运行时产生文件的存博门录-→spropertysscnameshadoop.tmp.dire/nameseyal.ev/apt/modu/e/hadoop 3.1.3/data/tmpe/valbe/praperty?3.在hadoop中配置hdfs-site.xml合令:yihcfs-site.xml在configuration中指定HDF5的时量econficuratcned.指定HOFS副本的数量-→propertynamesdfs replication/name=syalse1syalugs 1</craperlyss/confiqurations4.格式化NameNode(第一次启动时格式化,以后就不要总格式化)格式化命令;hdfs namencde-format5. 启动namenode你令:hdls -daemon start nomenode6.启动datanode命令:hots daemon star datanoce7.配置yarn-site.xml作令:viyarmsite.xoelscpnfiguratia-Site specific YARN oon fgurstion properties eL Reducer获取数据的方式spropertys 2wnamg-yan.nodemanaqor.sux-sarvicese/naeswaluretranteiurs shisivaliee/poperlys指定YARN的RescurceManager的地址sprcpertywnomg-yam.resourcemanager.hostnames/namesevalueshadoop100k/values/poperty?spraperty?snamesvarr.nodemananer.cnv-whitelists/names cyalue:JAVA_HOME HADOOP_COMMONHOME,HADOOP HDES HOMEHACOCP CON DIR.CLASSPATH_PREPEND_DISTCACHEHADOOP_YARN_HOMEHADOOP_MAPREDHOMEvaluees/prapcrty></configurationa8.配置mapred-site.xml命令:[root@hpdocp100 hadcop)aii mapred-site.xmlsconfigurations也 指ZMR运行在YARN上-epropertysnaresmanreduce frameaork namesnamesevaluesyams/valusc/configurations39.启动resourcemanager命令:[roat@hadoop100 hadcop/ yam -damon start rescuroermanager10. 启动nodemanager作令:[rootghadocp100 hadoop a yam-daemon start nodemanage11. Jsp查看java进程介令:j3p12. 在HDFS中创建文件夹/user/input命令:hots dfs-mkdr-p /user/lnput13. 将文件上传到HDFS命学:hcls dfs -PUI爱上牌的文件名 上传的地址案例:hdfs dts put wcinputwc inout fuser/ nputr14. 查看hdfs的文件目录饰令:Hdfsdfs-ls 文件路径注高,这里面的根目录不是linux的很目录案例:hcfs dfs-s /user/input/15. 查看hdfs中文件内容命令:hllsdfs -cat 文件名案例:hofs dfs-cat/usetfinput/we input 316. 执行文件命令:hadoop jsr share/hadoup/mapreduce/hacoop-rapreduce-examples-3.1.3.jsrwordeount 执行的文件位置 锁出的文信位置案例:hadocp jar share/hadanp/mapraduce/hacoop mapreduce cxamplos 3.1.3.jarwordcount /user/ nput fuser/output17.查看执行后的结果命令:hcts dfs-cat 输出文件路径/“案例:hcfs dfs-cat /usen/output/18. 停止进程 hdfs -daemon stop namenodeHdfs维护了一个抽象的目录

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值