- 博客(13)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Kafka开源消息系统分布式集群搭建
Kafka开源消息系统分布式集群搭建1、KafKa是什么在流式计算中，KafKa一般用来缓存数据，Storm通过消费KafKa的数据进行计算KafKa + Storm + Redisa.Apache KafKa是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目b.kafka最初是由LinkedIn开发，并与2011年初开源。2012年10月从Apache I
2017-01-29 03:03:51
1425
原创 Azkaban工作流调度器
Azkanban工作流调度器1.为什么需要工作流调度系统一个完成的数据分析系统通常是由大量任务单元组成 shell脚本程序，java程序，mapreduce程序、hive脚本等各任务单元之间存在时间先后及前后依赖关系为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行例如：我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理1、通过Had
2017-01-25 18:20:23
3037
原创 Docker部署
Docker部署1.安装Docker1.1.配置YUM源[root@docker yum.repos.d]# vi rdo-release.repo[root@docker yum.repos.d]# yum clean allLoaded plugins: fastestmirrorCleaning repos: base epel extras foreman foreman-plugin
2017-01-20 12:22:15
770
1
原创 Mahout协同过滤
Mahout协同过滤1.Mahout是什么Mahout是一个算法库，集成了很多算法Apache Mahout是Apache Software Foundation(ASF)旗下的一个开源项目，提供一些可拓展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序Mahout项目目前已经有了多个公共发行版本。Mahout包含许多实现，包括聚类、分类、推荐过滤、频繁子项目挖掘
2017-01-20 11:23:30
5598
1
原创 虚拟化KVM
1.什么是系统虚拟化系统虚拟化是将底层物理设备与上层操作系统、软件分离的一种去耦合技术，在一台物理机器上逻辑的划分出多台机器虚拟化的目标是实现IT资源 利用效率和灵活性 的最大化1.1.系统虚拟化的好处1、资源利用率高(多个系统融合在一台服务器上)2、系统维护灵活(应用系统不在依赖特定的硬件)2.为什么需要系统虚拟化1、服务器资源利用率低 - 公司服务器越来越多，如何充分管理？
2017-01-16 12:37:20
919
原创 Ganglia分布式监控部署
Ganglia企业级系统监控1.现在有哪些分布式企业级监控？(1).Ganglia(无界面配置)(2).Nagios(无界面配置)(3).Zabbix(界面配置)2.Ganglia监控对象(1).监控Hadoop(在这方面用的比较多)(2).监控Hbase3.Ganglia简介Ganglia 是 UC Berkeley 发起的一个开源监视项目，设计用于测量数以千计的节点。每台计算机都运行
2017-01-16 12:34:03
927
原创 centos6.x忘记root密码解决方法
centos6.x忘记root密码解决方法1.启动系统时，在进入系统前，读秒的时候，按任意键出现这个界面，然后按e键 进入到下面界面2.选择kernel选项，再按e 进入到下面界面3.在quiet后面加上single参数或是加1（数字1），然后按回车,回到下面的界面4.按b键启动系统，进入到下面界面5.在此界面可以直接用passwd修改密码
2017-01-16 12:32:59
293
原创 ELK日志分析系统
1.解决问题处理大数据日志收集分析，随着搜索集群的快速膨胀，大量日志处理及情况反馈滞后带来一系列问题，急需一个工具能快速分析定位集群只能怪哪种日子或哪个机器出现了异常ELK就是一套完整的日志分析系统ELK=Logstash+Elasticsearch+Kibana2.架构简介Nginx产生数据，logstash日志收集分发到Elasticsearch集群，Elasticsearch进行数据
2017-01-16 12:31:48
1139
原创 Kvm安装及本地Yum源搭建
Kvm安装及本地Yum源搭建0.查看Linux运行级别[root@kvm ~]# runlevel1.更换yum源http://mirrors.aliyun.com/1.1.选择centos、epel镜像wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo1.2.修改默认yu
2017-01-16 12:30:31
4771
原创 Zabbix分布式集群监控
Zabbix分布式集群监控1.监控对象1、分布式文件系统HDFS2、分布式离线计算框架MapReduce3、分布式流式计算框架Storm4、分布式消息队列KafKa5、分布式内存计算框架Spark6、分布式列式数据库Hbase2.常见分布式企业级监控？1、Ganglia(无界面配置部署)/没有(电话，短信，微信，邮件)通知功能2、Nagios(无界面配置部署)3、Zabbix(界面配
2017-01-12 00:40:38
10387
2
原创 Marvel安装
Marvel安装Marvel介绍Marvel是Elasticsearch的管理和监控工具1.Install Marvel into Elasticsearch:[matrix@node01 elasticsearch-2.4.2]$ ./bin/plugin --help[matrix@node01 elasticsearch-2.4.2]$ chmod u+x ./bin/plugin[ma
2017-01-07 14:52:49
853
原创 Kibana安装
Kibana安装下载kibana[root@node01 software]# wget https://download.elastic.co/kibana/kibana/kibana-4.6.1-linux-x86_64.tar.gz1.解压安装[root@node01 software]# tar -zxvf kibana-4.6.1-linux-x86_64.tar.gz -C /opt/
2017-01-07 14:51:57
803
原创 ElasticSearch安装
ElaticSearch安装ElasticSearch介绍Elasticsearch是一个基于Lucene的实时的分布式搜索和分析引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。基于Restful接口- 普通请求是...get?a=1- rest请求...get/a/1ElasticSearch的用户- Github，Wikipedia，ebay等...1.解压
2017-01-07 14:49:52
319
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人