Hadoop
Moody丶
死后注定长眠,生前何必久睡。
展开
-
Hadoop集群配置ssh免密码登入
原文链接:https://www.cnblogs.com/ivan0626/p/4144277.html一、准备工作用客户端工具(ssh client或者putty)连接到linux服务器。在root用户下输入命令vi /etc/hosts,用vi编辑hosts文件,如下:#127.0.0.1 localhost localhost.localdomain localhost4 l...转载 2019-07-08 11:50:48 · 970 阅读 · 0 评论 -
记录在阿里云下使用Ambari搭建部署Hadoop集群
步骤有点冗余,用的是CentOS7效果图粗略步骤及参考链接和遇到的问题:1.阿里云服务器三台CentOS 7 64位Server:172.19.209.*Slave:172.19.240.* 172.19.96.*网络:NAT模式2.设置FQDN在各个节点上操作:vi /etc/hosts172.19.209.* hadoop1.com hadoop1172.19.24...原创 2019-06-30 10:24:16 · 1325 阅读 · 5 评论 -
大数据项目重温——电商数据仓库(一)数据生成模块
一、数据仓库1、数据仓库概念数据仓库(DataWarehouse),可简写为DW或DWH,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。为需要业务智能的企业,提供指导业务流程改进、控制成本、提高产品质量等服务。2、数据仓库的特点数据仓库的数据是面向主题的数据仓库的数据是集成的数据仓库的数据是不可更新的数据仓库的数据是随时...原创 2019-07-24 14:19:16 · 1363 阅读 · 1 评论 -
集群分发脚本
1、第一步以Root账户为例:cd /usr/local/bin创建各个脚本名称如:群起脚本touch startcluster.sh(注意:如果是用远程连接工具如notepad++,可能会报错-bash: ./bin/start.sh: /bin/bash^M: bad interpreter: No such file or directory解决方法:查看文件格式 用vim...原创 2019-07-29 16:48:40 · 228 阅读 · 0 评论 -
大数据项目重温——电商数据仓库(二)数据采集模块(上)
9、数据采集模块(一).Hadoop安装集群规划: 服务器hadoop102 服务器hadoop103 服务器hadoop104 HDFS NameNodeDataNode DataNode DataNodeSecondaryNameNode ...原创 2019-07-24 18:20:41 · 634 阅读 · 0 评论 -
大数据项目重温——电商数据仓库(三)数据采集模块(中)
9、数据采集模块(三).日志生成(1).日志启动1)代码参数说明// 参数一:控制发送每条的延时时间,默认是0 Long delay = args.length > 0 ?Long.parseLong(args[0]) : 0L;// 参数二:循环遍历次数 int loop_len = args.length > 1 ?Integer.parseInt(args[1])...原创 2019-07-24 19:46:25 · 1684 阅读 · 3 评论 -
大数据项目重温——电商数据仓库(四)数据采集模块(下)【完结】
9、数据采集模块(五).Kafka安装(1).Kafka集群启动停止脚本1)在/home/weiwei/bin目录下创建脚本kf.sh[weiwei@hadoop102 bin]$ vim kf.sh在脚本中填写如下内容#! /bin/bashcase $1 in"start"){ for i in hadoop102 hadoop103 hadoop104...原创 2019-07-24 20:37:37 · 902 阅读 · 0 评论 -
CM&CDH超详细完美成功安装学习记录(比Ambari好装多了-__-!)
1.1 CM简介1.1.1 CM简介Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具,使得安装集群从几天的时间缩短在几个小时内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率。1.1.2 CM架构1.2 环境准备1.2.1 虚拟机准备克隆三台虚拟机(hadoop102、hadoop103、hadoop104),配置好对应主...原创 2019-07-25 16:49:31 · 1417 阅读 · 1 评论