2020年05月_INC随我

原创 Flume初识

本文是尚硅谷Flume课程随手笔记，记录课程的一些实战的操作步骤一、安装Flume并实现一个简易端口监控实现监控端口案例，通过Flume来监听端口数据，并将数据打印到控制台1. 首先进入官网下载Flume源码包2. 修改flume-env.sh文件export JAVA_HOME=/opt/module/jdk1.8.0_1443. 添加配置文件创建Flume Agent配置文件flume-netcat-logger.conf# Name the components on.

2020-05-26 14:29:15 299

原创 Hive初识

一、安装Hive并启动1. 下载源码包解压源码包后，配置hive-env.sh(a)配置 HADOOP_HOME 路径export HADOOP_HOME=${Hadoop的路径}(b)配置 HIVE_CONF_DIR 路径export HIVE_CONF_DIR=${Hive配置文件路径}2. 启动hadoop3. 启动Hive客户端调用bin/hive进入Hive的客户端启动Hive后会发现Hive源码包中多了derby.log和metastore_db这个就是Hive

2020-05-26 14:28:27 267

原创 YARN集群搭建

本文主要是记录集群搭建流程，具体细节较为简略一、YARN简介Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。二、集群规划主机名作用hadoop11NameNode & DataNode & NodeManager.

2020-05-24 22:45:02 364

原创 HDFS高可用集群搭建

环境CentOS 7JAVA 1.8Zookeeper 2.9.2Hadoop 3.4.14一、简单HDFS集群中存在的问题及解决办法如何解决NameNode的单节点问题多个NameNode备份原NameNode数据如何解决多个NameNode是集群脑裂问题使用QJM，QJM（Quorum Journal Manager）是Hadoop专门为Namenode共享存储开发的组件。其集群运行一组Journal Node，每个Journal 节点暴露一个简单的RPC接口，允许N.

2020-05-24 22:44:11 745

原创汉诺塔问题总结

一、基本递归实现下面是普遍的汉诺塔问题的递归解法代码public class Hanoi{ public static void hanoi(int n, String x, String y, String z){ if (n == 1){ System.out.println(x + " -> " + z); }else { hanoi(n - 1, x, z, y); System

2020-05-24 22:38:57 1369

原创 HBase中使用过滤器筛选数据

一、过滤器能干什么HBase为筛选数据提供了一组过滤器，通过过滤器可以在HBase中的数据的多个维度(行，列，数据版本)上进行对数据的筛选操作。通常来说，通过行键、列来筛选数据的应用场景较多。二、常见的过滤器基于行的过滤器PrefixFilter: 行的前缀匹配PageFilter: 基于行的分页基于列的过滤器ColumnPrefixFilter: 列前缀匹配FirstKeyOnlyFilter: 只返回每一行的第一列基于单元值的过滤器KeyOnlyFilt

2020-05-24 22:36:53 1796

原创使用Java操作HBase数据库

一、添加依赖首先我们在maven项目中添加下面两个依赖<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.4.10</version></dependency><!-- 单元测试依赖 --

2020-05-24 22:36:05 845

原创 HBase伪分布式集群安装

一、下载HBase安装包为了防止HBase和Hadoop版本间冲突，可以在CDH上下载和Hadoop兼容的HBase版本，本次搭建选择的是hbase-1.2.0下载路径：http://archive.cloudera.com/cdh5/二、配置伪分布式环境HBase相关配置文件在/conf文件之下,我们需要修改的配置文件有hbase-env.sh和hbase-site.xml我们先将hadoop中的hdfs-site.xml和core-site.xml文件复制HBase的/conf目录之

2020-05-24 22:34:42 615 1

原创 hadoop伪分布式集群安装

一、下载hadoop安装包hadoop安装包分为apache官方以及CDH，具体区别在此不做介绍，本次搭建选择的是hadoop-2.6.0-cdh5.7.0版本下载路径http://archive.cloudera.com/cdh5/二、配置hadoophadoop相关配置文件在/etc目录下我们需要修改的文件有core-site.xml，hadoop-env.sh，hdfs-site.xml对hadoop-env.sh文件中的JAVA_HOME进行一下配置在hdfs-site.x

2020-05-24 22:33:49 193

原创使用iTerm2和OhMyZsh实现一个强大终端

参考文章：https://blog.csdn.net/qianghaohao/article/details/79440961https://www.jianshu.com/p/9c3439cc3bdbhttps://www.jianshu.com/p/d194d29e488c?open_source=weibo_searchhttps://www.jianshu.com/p/a78845c3f476首先我们看一下最终效果一、下载iTerm2官网下载地址：https://www.iterm

2020-05-24 22:32:43 1267

原创 Kafka初试

二、安装Kafka安装Java安装Zookeeper启动命令： zkServer.sh start停止命令： zkServer.sh stop安装Kafka启动命令： kafka-server-start.sh config/server.properties启动命令： kafka-server-stop.sh config/server.properties三、代码实践添加Maven依赖<dependency> <groupId>org

2020-05-24 22:30:19 162

原创创建一个基于redis的id生成器

参考文章：https://blog.csdn.net/hengyunabc/article/details/44244951https://www.jianshu.com/p/955909e1bd71https://tech.meituan.com/2017/04/21/mt-leaf.html参考项目：https://github.com/hengyunabc/redis-id-generator值。evalsha教程：https://www.runoob.com/redis/scripti

2020-05-24 22:28:36 1675

原创手写SpringMVC，剑指优秀开源框架灵魂

由于Spring官方就是选择gradle作为自动化构建工具，所以我们在本次尝试中就按照spring的选择也是用gradle在整个项目中，我们一共包含两个模块framework模块用于首先实现我们springmvc的常见功能，test模块则是用来测试我们手写的模块是否正确项目链接：https://github.com/ZhangJia97/Mini-Spring下面是项目结构，只保留了我们用到的文件结构├── build.gradle├── framework│ ├── build.grad

2020-05-24 22:27:19 163

随我的博客