大数据
文章平均质量分 84
一休求索
路漫漫其修远兮,吾将上下而求索!
当一个人找不到出路的时候,最好的办法就是将当前能做好的事情做到极致,做到无人能及
展开
-
常见开源分布式存储系统
系统整体对比对比说明/文件系统TFSFastDFSMogileFSMooseFSGlusterFSCeph开发语言C++CPerlCCC++开源协议GPL V2GPL转载 2017-04-20 19:49:20 · 47971 阅读 · 5 评论 -
基于Flume的美团日志收集系统(一)架构和设计
基于Flume的美团日志收集系统(一)架构和设计 美团的日志收集系统负责美团的所有业务日志的收集,并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。第一部分架构和设计,将主要着眼于日志收集系统整体的架构设计,以及为什么要转载 2017-04-20 19:46:02 · 685 阅读 · 0 评论 -
Ambari——大数据平台的搭建利器
虽然大数据越来越流行,但其学习的门槛却一直阻碍着很多的分布式应用初学者或者大数据的业务应用开发者。多个产品之间的不兼容问题,快速集成和维护也显得比较困难。不管是 Hadoop V1 或者 V2 的安装,又或者 Spark/YARN 等的集成,都不是几行简单的命令可以完成的,而是需要手工修改很多的集群配置,这进一步增加了业务开发者的学习和使用难度。有了 Ambari,这些都不再是难题。4 评转载 2017-03-16 10:34:06 · 560 阅读 · 0 评论 -
基于Hadoop2.6.0搭建的大数据集群
1.集群环境的安装 1.1工具软件版本说明(软件尽量去官网下载): VMware Workstation : 10.0.7 build-2844087Ubuntn: ubuntu-gnome-15.04-desktop-i386.iso JDK:jdk-8u60-linux-x64.tar.gz(可以采用联网下载) Hadoop:hadoop-2.6.0.tar.gz Se原创 2017-03-16 10:04:10 · 482 阅读 · 0 评论 -
配置hadoop2.4.0记录
1. 设置Hadoop用户:sudo addgroup hadoop #创建hadoop用户组sudo adduser -ingroup hadoop hadoop #添加hadoop用户到hadoop组中sudo gedit /etc/sudoers #为hadoop用户添加权限在root设置权限的代码下添加一行:hadoopALL=(AL转载 2017-03-16 10:18:58 · 680 阅读 · 0 评论 -
Ambari大数据集群的搭建
Ambari——大数据平台的搭建利器 虽然大数据越来越流行,但其学习的门槛却一直阻碍着很多的分布式应用初学者或者大数据的业务应用开发者。多个产品之间的不兼容问题,快速集成和维护也显得比较困难。不管是Hadoop V1或者V2 的安装,又或者Spark/YARN 等的集成,都不是几行简单的命令可以完成的,而是需要手工修改很多的集群配置,这进一步增加了业务开发者的学习和使用难度。有转载 2017-03-22 11:37:29 · 3322 阅读 · 0 评论 -
Ambari大数据的搭建环境准备
1.网络设置如果是虚拟机可以采用默认NAT的方式不用设置网络下面采用静态IP配置vi /etc/sysconfig/network-scripts/ifcfg-eth0 #编辑配置文件,添加修改以下内容BOOTPROTO=static #启用静态IP地址ONBOOT=yes #开启自动启用网络连接IPADDR=192.168.0.54 #设置IP地址NETMASK原创 2017-03-22 11:36:00 · 678 阅读 · 0 评论 -
Ubuntu 15.04下apt-get安装JDK
.删除自带的2.安装Oracle官方的sudo add-apt-repository ppa:webupd8team/java sudo apt-get update sudo apt-get install oracle-java8-installer3.管理sudo update-alternatives --config java转载 2017-03-08 17:24:39 · 454 阅读 · 0 评论 -
大数据处理分析的六大最好工具
大数据是一个含义广泛的术语,是指数据集,如此庞大而复杂的,他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源:传感器、气候信息、公开的信息、如杂志、报纸、文章。大数据产生的其他例子包括购买交易记录、网络日志、病历、事监控、视频和图像档案、及大型电子商务。大数据分析是在研究大量的数据的过程中寻找模式,相关性和其他有用的信息,可以帮助企业更好地适应转载 2017-02-07 14:26:23 · 480 阅读 · 0 评论 -
qconf安装与配置
参照搭建之前请仔细阅读相关安装配置信息及注意事项:启动顺序,先启动数据库-->再启动zookeeper-->再启动zkdash在做qconfig管理的时候需要启动各个节点的qconfig客户端根据实际情况确定! qconf安装与配置一、安装QConf :1. 使用源码安装 1)git clonehttps://github.com/Qihoo360/QCo原创 2017-04-20 19:54:06 · 5667 阅读 · 0 评论