我是菜鸟程序员的博客

原创 docker基础包安装

1.docker基础包安装yum install net-tools #ifconfigyum install vimvim ~/.bashrc添加alias ll = ‘ls -l’source ~/.bashrcyum install wget

原创 docker指定机器名和ip

原创 （六）hbase学习笔记——1.1hbase入门

（六）hbase学习笔记——1.1hbase入门1.Hbase的介绍2.Hbase的特点3.Hbase的安装4.Hbase的一般启动和停止5.Hbase的群启和群停1.Hbase的介绍Hbase建立在hdfs之上，支持随机写，随机的操作：Update+delete只允许客户端查询时返回时间戳最新的数据！Hbase支持海量数据的实时读写Hbase是基于hadoop的数据库，提供一个十亿级行*百万级列级别的表存储，对标准的数据提供实时的堆积读写操作！2.Hbase的特点优点：①高容错性，高扩展的

原创 （五）Kafka学习笔记——1.1Kafka基础

（五）Kafka学习笔记——1.1Kafka基础1.什么是kafka2.kafka的安装和配置1.什么是kafka2.kafka的安装和配置

原创 （四）flume学习笔记——1.2再识flume

（四）flume学习笔记——1.2再识flume1.SinkProcessor2.事物1.SinkProcessorDefault Sink Processor 如果agent中，只有一个sink，默认就使用Default Sink Processor，这个sink prrocessor是不强制用户，将sink组成一个组！ 如果多个sink，多个sinl对接一个channel，不能选择Default Sink ProcessorFailover Sink Processor Failo

原创 （四）flume学习笔记——1.1初识flume

（四）flume学习笔记——1.1初识flume1.Flume介绍2.安装flume3.使用flume4.agent配置文件的编写5.案例1.Flume介绍Flume的核心概念 Source:用户需要根据自己的数据源的类型，选择合适的source对象！ Sink:用户需要根据自己的数据存储的目的地的类型，选择合适的source对象！ Interceptors:在source将event放入到channel之前，调用拦截器对event进行拦截和处理！ Channel Selectors:当一个

原创 （三）hive学习笔记——1.3hive的函数

（三）hive学习笔记——1.3hive的函数1.Hive函数介绍2.hive常用函数1.Hive函数介绍函数有库的概念，系统提供的除外，系统提供的函数可以在任意库使用！hive (default)> show functions;#查看当前库所有的函数hive (default)> desc function year;#查看函数的使用hive (default)> desc function extended year;#查看函数的详细使用函数的分类 函数的分为

原创 （三）hive学习笔记——1.2hive基础

（三）hive学习笔记——1.2hive基础1.Hive常用的交互参数2.在hivecli中执行hdfs和linux命令3.Hive中的数据类型4.库的常见操作1.Hive常用的交互参数-d定义一个变量，hive启动后可以使用${变量名}引用变量。[hzhao@h2 ~]$ hive -d p=personhive (default)> select * from ${p};OKperson.name person.agehzhao 23Time taken: 0.981 second

原创 （三）hive学习笔记——1.1hive入门

（三）hive学习笔记——1.1初识hive1.Hive介绍2.Hive的安装1.Hive介绍Hive是一个数据仓库软件Hive可以使用sql来促进对已经存在分布式设备中的数据进行读，写和管理等操作！Hive在使用时，需要对已经存储的数据进行结构的投影（映射）Hive提供了一个命令行和JDBC，让用户可以连接到hive！注意：hive只能分析结构化的数据！Hive在hadoop上，使用hive的前提是安装hadoop！Hive的特点Hive不是一个关系型数据库Hive不是基

原创 （二）zookeeper学习笔记——1.1初识zookeeper

（二）zookeeper学习笔记——1.1初识zookeeper

原创 （一）hadoop集群搭建——1.4hdfs的操作

（一）hadoop集群搭建——1.4hdfs的操作1.HDFS优缺点1.HDFS优缺点

原创 （一）hadoop集群搭建——1.3hadoop安装与配置

（一）hadoop集群搭建——1.3hadoop安装与配置1.jdk安装2.hadoop安装1.jdk安装在机器h2上传jdk安装包到/opt/soft目录下，然后解压到/opt/module目录中。[hzhao@h2 ~]$ tar -zxvf /opt/soft/jdk-8u121-linux-x64.tar.gz /opt/module/2.hadoop安装...

原创 （一）hadoop集群搭建——1.2集群文件传输准备

（一）hadoop集群搭建——1.2集群文件传输1.scp命令介绍（全量同步）2.rsync命令介绍（增量同步）3.免输入密码配置1.scp命令介绍（全量同步）scp命令为安全拷贝命令，使用方式为：scp -r 源文件用户名A@主机名1:path1 目标文件用户名B@主机名2:path2要求：用户名A@主机名1对path1有读权限，用户名B@主机名2对path2有写权限2.rsync命令介绍（增量同步）rsync对比文件的修改时间，增量同步，只能将本机文件同步，使用方式为：rsyn

原创 （一）hadoop集群搭建——1.1虚拟机环境准备

@TOPIC(#)

原创 centos6.5加域

centos6.5加域1、安装samba服务2、安装包说明1、安装samba服务# yum install samba samba-client samba-swat2、安装包说明samba-3.6.23-43.el6_9.x86_64----》服务器端软件，主要提供samba服务器的守护程序，共享文档，日志的轮替，开机默认选项samba-common-3.6.23-43.el6_9.x86_64----》主要提供samba服务器的设置文件与设置文件语法检验程序testparmsamba-s

原创 （二十）离线数仓——2.1第一层采集通道启动脚本

（二十）离线数仓——2.1第一层采集通道启动脚本1.脚本编写1.脚本编写cd /usr/local/binvim f1脚本内容为#!/bin/bash#使用start启动脚本，使用stop停止脚本if(($#!=1))then echo 请输入start或stop exit;fiif([$1 = start]then fi...

原创 （二十）离线数仓——kafkamanager的使用

kafka的