关闭

hadoop入门介绍

common hdfs    namenode    datanode    secondarynamenode yarn    resourcemanager     nodemanager    applicationmaster mapreduce     map     reduce...
阅读(33) 评论(0)

hadoop入门之hosts-hostname-ip修改

开机进入文本模式...
阅读(26) 评论(0)

hadoop相关认证

前言:      关于Hadoop课程及认证证书的事,想着整理一下,可能觉得有用的。      首先我所知道的在做Hadoop认证的有两家,Hortonworks跟Cloudera。因为工作的原因接触Cloudera比较多,所以就只能讲讲Cloudera的认证了。 主要认证       我只知道7门课:       1、CCAH(Cloudera Apache Hadoop管理员), ...
阅读(116) 评论(0)

linux时区设置

date                                       查看时间   cat /etc/sysconfig/clock         查看时区 cat  /usr/share/zoneinfo.          查看所有时区 vm.    /etc/sysconfig/clock         cp. /usr/share/zoneinfo/asia...
阅读(396) 评论(0)

linux网络配置

service networkmanager  stop ip地址:ifconfig -a 网关地址: netstat -rn dns 地址:cat /etc/resolv.conf 修改networks...
阅读(15) 评论(0)

linux的环境变量

linux的环境变量文件主要有 1。 /etc/profile   全局环境变量 每个用户第一次登陆时设置       ~/.bash_profile   用户环境变量,每一个用户第一次登陆时设置      ~/.profile. 2. ~/.bashrc.  用户级环境变量,用户登陆,打开新会话时设置 3. /etc/bashrc 4. ~/.bash_logout.    用户环境...
阅读(16) 评论(0)

linux系统的启动顺序

linux启动顺序主要分一下7步: 1.加载bios的硬件信息,执行bios的内置程序 2.读取MBR(master root record)中boot loader的引导信息 3.加载内核kernel boot到内存中 4.内核执行/sbin/init,并加载/etc/inittab,执行rc.sysinit进行初始化 5.启动核心的外挂模块/etc/modules.conf 6.按...
阅读(51) 评论(0)

linux操作系统体系

linux操作系统分为三层; 1.  application/shell 2.  system call 3.  kernel层 查看linux系统操作调用: vim /usr/include/bits/syscall.sh linux操作系统查看命令 cat /etc/issue                 查看发行版版本信息 uname -a        ...
阅读(36) 评论(0)

CDH基本概念

本文作为入手CDH的基础篇,主要介绍CDH的基本概念; cluster :集群。运行相互独立的服务主机的集群,在同一个集群中,所有服务必须要有同样的CDH版本。 services:服务。集群中提高某种特定能力的抽象实体,比如hdfs,hbase,yarn等。 role:角色。服务中扮演特定功能,被分配到某个主机。 role type:角色类型。主要区分角色进程的分类,比如hdfs的name...
阅读(35) 评论(0)

phoenix使用总结

前言:      HBase作为kv数据库,在大数据应用中扮演着越来越重要的角色,但是HBase给出的原生态API(Table,scan,put,get)的晦涩和关联查询的缺失,导致一些业务能力的不足。phoenix为HBase提供了sql访问接口,接下来我们将总结一下具体项目中phoenix整合hbase。 什么是phoenix:        phoenix是构建在HBase之上...
阅读(45) 评论(0)

hadoop源码

apache源码 http://hadoop.apache.org/releases.html CDH源码 http://archive-primary.cloudera.com/cdh5/cdh/5/ HDP源码 http://s3.amazonaws.com/public-repo-1.hortonworks.com/index.html#/HDP/centos6/2.x...
阅读(27) 评论(0)

sqoop数据加载

在大数据平台搭建完成之后,面对的第一个问题是怎么讲DB数据库的业务数据加载到hdfs/hive/hbase进行处理。sqoop提供了这种功能。下面我们介绍一些sqoop      sqoop基本概念:      sqoop原理:      sqoop具体操作:...
阅读(42) 评论(0)

大数据架构设计

来公司半年时间了,一开始研究sahara部署cdh,目的是将大数据服务云服务话。最近由于业务的迫切要求,最近在物理机上搭建了公司自己的大数据平台。         公司业务要求数据平台需要处理DB业务数据,ES日志数据和LOG日志数据,经过一个月的调研,公司的大数据环境基本搭建完成,且通过初步测试,并在平台上 运行了PoC案例。        公司的大数据平台架构如下:...
阅读(101) 评论(0)
    个人资料
    • 访问:931次
    • 积分:128
    • 等级:
    • 排名:千里之外
    • 原创:12篇
    • 转载:1篇
    • 译文:0篇
    • 评论:0条
    文章存档