Hadoop
Hadoop架构、开发、和java、ptyhon结合编程
blueicex2020
走自己的路,少走弯路,让别人无路可走,让别人说去吧!
展开
-
Hadoop—— 4.JobHistory
JobHistory用来记录已经finished的mapreduce运行日志,日志信息存放于HDFS目录中,默认情况下没有开启此功能,需要在mapred-site.xml中配置并手动启动。1. 配置JobHistorymkdir -pv data/hadoop/mr-history/{done,mapred/tmp}vim mapred-site.xml<configurat...原创 2020-03-17 19:53:45 · 179 阅读 · 0 评论 -
Hadoop—— 5.将namenode与SecondNamenode分离在不同的主机上
1.增加master设置两个SecondNamenodevim master node2node12.修改hdfs-site.xmlvim hdfs-site.xml <property> <name>dfs.http.address</name> <value>node1:50070</value> ...原创 2020-03-17 19:53:27 · 173 阅读 · 0 评论 -
Hadoop—— 3.hdfs dfs命令
text将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream。hadoop fs -text testhadoop fs -test -[ezd] -e 检查文件是否存在。如果存在则返回0。-z 检查文件是否是0字节。如果是则返回0。-d 如果路径是个目录,则返回1,否则返回0。rmr递归删除hadoop fs -rmr put将本地文件上...原创 2020-02-10 09:10:51 · 1002 阅读 · 0 评论 -
Hadoop—— 2.java编程1
一、导入依赖包hadoop/share/hadoop/common目录下的:hadoop-common-xxxx.jarhadoop-nfs-xxx.jar/hadoop/share/hadoop/hdfs/hadoop-hdfs-client.xx.jar/usr/local/hadoop/share/hadoop/hdfshadoop-hdfs-xxx.jarhadoop-hd...原创 2020-02-09 21:40:26 · 537 阅读 · 0 评论 -
Hadoop——3.x安装部署
安装条件jdk1.8hadoop3.xssh互信firewalld关闭解压hadoop,部署hadoop按照以上步骤配置完成后,最好重启一下所有机器,确保所有的设置生效。然后利用joe账户分别登录三台机器。将事先下载好的hadoop压缩包复制到每台机器的/home/joe/目录下,然后在每一台机器上分别使用tar–zxvf /home/joe/ hadoop-3.0.0-alpha...原创 2020-02-08 14:38:48 · 960 阅读 · 0 评论