hadoop
文章平均质量分 91
qq_16563637
这个作者很懒,什么都没留下…
展开
-
hadoop集群安装到centos7
hadoop hdfs集群(负责文件读写) yam集群(负责为mapreduce分配硬件资源) name node 默认端口9000(客户端) resource manage (管理干活的) data node(node manage)(干活的) 准备4台虚拟机 最少每台1GB内存,推荐2GB sudo vi /etc/hosts修改所有虚拟机hosts,将之前系统默认的全部注释掉 ...原创 2018-08-09 08:56:27 · 211 阅读 · 0 评论 -
大数据日志分析项目mapreduce程序
总体思路:使用flume将服务器上的日志传到hadoop上面,然后使用mapreduce程序完成数据清洗,统计pv,visit模型.最后使用azkaban定时执行程序 原始日志如下:95367 后台首页 sw2 1529919971466 21 http://upms.zhangshuzheng.cn:1111 /manage/index http://upms.zh...原创 2018-08-09 09:42:24 · 998 阅读 · 1 评论 -
azkaban工作流调度器的安装
安装两个文件 azkaban web 服务器 azkaban-web-server-2.5.0.tar.gz azkaban 执行服务器 azkaban-executor-server-2.5.0.tar.gz azkaban 的mysql表结构 azkaban-sql-script-2.5.0.tar.gz上传三个文件到mini1的/home/hadoopmkdir az...原创 2018-08-09 09:58:45 · 167 阅读 · 0 评论 -
hadoop使用docker安装和使用(单节点适合开发环境)
本人亲测可用大家放心安装,本文适合开发环境搭建,不喜勿喷 安装环境 centos7.2 docker 18.06.0-ce 下载hadoop镜像docker pull sequenceiq/hadoop-docker:2.6.0查看镜像docker images运行hadoopdocker run -i -t -p 50070:50070 sequencei...原创 2018-08-15 13:30:22 · 5074 阅读 · 0 评论 -
hadoop常用命令
二、具体1、启动hadoop所有进程start-all.sh等价于start-dfs.sh + start-yarn.sh但是一般不推荐使用start-all.sh(因为开源框架中内部命令启动有很多问题)。2、单进程启动。sbin/start-dfs.shsbin/hadoop-daemons.sh --config .. --hostname .. start namenode ....原创 2018-09-22 17:11:38 · 286 阅读 · 2 评论