hadoop
猪猪猪猪猪鸭
十年磨一剑。
展开
-
CentOS7部署Hadoop2.7.5全分布式群集
思路安装虚拟机安装JDK克隆安装HADOOP配置ssh搭建hadoop集群 配置hadoop-env.sh配置hadoop-core-site.xm配置hadoop-hdfs-site.xm配置hadoop-mapred-site.xml配置hadoop-yarm-site.xml配置slave发送hadoop文件到所有机子上测试安装虚拟机VMware Workstation 12.5.7 PRO...原创 2018-04-11 23:24:00 · 225 阅读 · 0 评论 -
客户端向hdfs读写数据流程
写数据可以点击查看大图客户端上传文件会被分为128M一块上传 首先客户端像namenode请求上传,namenode响应可以上传。然后客户端像namenode发起rpc请求上传第一个block(0-128M),请返回datanode,客户端拿到namenode地址比如3个副本会有3台 分别为 dn1 dn2 dn3客户端向dn1建立channel, dn1 向dn2建立通道 在nio的byte...原创 2018-04-12 11:16:41 · 1405 阅读 · 0 评论 -
hadoop搭建和指令
hadoop-env.shcore-site.xmlhdfs-site.xml默认3mapred-site.xml.template // 记得把templete去掉yarn-site.xmlscp -r hadoop.-.. 192.168.11.1:/usr.local/src启动hadoophdfs 要先做格式化成功标识启动加一台认一台hadoop-daemon.sh start namen...原创 2018-04-07 01:13:20 · 275 阅读 · 0 评论