自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

随我的博客

菜鸟的日常学习记录,CSDN更新不勤,主要更新个人博客https://suiwo.xyz,我会不定期的将个人博客的文章copy到CSDN中。

  • 博客(13)
  • 收藏
  • 关注

原创 Flume初识

本文是尚硅谷Flume课程随手笔记,记录课程的一些实战的操作步骤一、安装Flume并实现一个简易端口监控实现监控端口案例,通过Flume来监听端口数据,并将数据打印到控制台1. 首先进入官网下载Flume源码包2. 修改flume-env.sh文件export JAVA_HOME=/opt/module/jdk1.8.0_1443. 添加配置文件创建Flume Agent配置文件flume-netcat-logger.conf# Name the components on.

2020-05-26 14:29:15 297

原创 Hive初识

一、 安装Hive并启动1. 下载源码包解压源码包后,配置hive-env.sh(a)配置 HADOOP_HOME 路径export HADOOP_HOME=${Hadoop的路径}(b)配置 HIVE_CONF_DIR 路径export HIVE_CONF_DIR=${Hive配置文件路径}2. 启动hadoop3. 启动Hive客户端调用bin/hive进入Hive的客户端启动Hive后会发现Hive源码包中多了derby.log和metastore_db这个就是Hive

2020-05-26 14:28:27 265

原创 YARN集群搭建

本文主要是记录集群搭建流程,具体细节较为简略一、YARN简介Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。二、集群规划主机名作用hadoop11NameNode & DataNode & NodeManager.

2020-05-24 22:45:02 362

原创 HDFS高可用集群搭建

环境CentOS 7JAVA 1.8Zookeeper 2.9.2Hadoop 3.4.14一、简单HDFS集群中存在的问题及解决办法如何解决NameNode的单节点问题多个NameNode备份原NameNode数据如何解决多个NameNode是集群脑裂问题使用QJM,QJM(Quorum Journal Manager)是Hadoop专门为Namenode共享存储开发的组件。其集群运行一组Journal Node,每个Journal 节点暴露一个简单的RPC接口,允许N.

2020-05-24 22:44:11 741

原创 汉诺塔问题总结

一、基本递归实现下面是普遍的汉诺塔问题的递归解法代码public class Hanoi{ public static void hanoi(int n, String x, String y, String z){ if (n == 1){ System.out.println(x + " -> " + z); }else { hanoi(n - 1, x, z, y); System

2020-05-24 22:38:57 1367

原创 HBase中使用过滤器筛选数据

一、过滤器能干什么HBase为筛选数据提供了一组过滤器,通过过滤器可以在HBase中的数据的多个维度(行,列,数据版本)上进行对数据的筛选操作。通常来说,通过行键、列来筛选数据的应用场景较多。二、常见的过滤器基于行的过滤器PrefixFilter: 行的前缀匹配PageFilter: 基于行的分页基于列的过滤器ColumnPrefixFilter: 列前缀匹配FirstKeyOnlyFilter: 只返回每一行的第一列基于单元值的过滤器KeyOnlyFilt

2020-05-24 22:36:53 1793

原创 使用Java操作HBase数据库

一、添加依赖首先我们在maven项目中添加下面两个依赖<!-- hbase依赖 --><dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.4.10</version></dependency><!-- 单元测试依赖 --

2020-05-24 22:36:05 842

原创 HBase伪分布式集群安装

一、下载HBase安装包为了防止HBase和Hadoop版本间冲突,可以在CDH上下载和Hadoop兼容的HBase版本,本次搭建选择的是hbase-1.2.0下载路径:http://archive.cloudera.com/cdh5/二、配置伪分布式环境HBase相关配置文件在/conf文件之下,我们需要修改的配置文件有hbase-env.sh和hbase-site.xml我们先将hadoop中的hdfs-site.xml和core-site.xml文件复制HBase的/conf目录之

2020-05-24 22:34:42 613 1

原创 hadoop伪分布式集群安装

一、下载hadoop安装包hadoop安装包分为apache官方以及CDH,具体区别在此不做介绍,本次搭建选择的是hadoop-2.6.0-cdh5.7.0版本下载路径http://archive.cloudera.com/cdh5/二、配置hadoophadoop相关配置文件在/etc目录下我们需要修改的文件有core-site.xml,hadoop-env.sh,hdfs-site.xml对hadoop-env.sh文件中的JAVA_HOME进行一下配置在hdfs-site.x

2020-05-24 22:33:49 191

原创 使用iTerm2和OhMyZsh实现一个强大终端

参考文章:https://blog.csdn.net/qianghaohao/article/details/79440961https://www.jianshu.com/p/9c3439cc3bdbhttps://www.jianshu.com/p/d194d29e488c?open_source=weibo_searchhttps://www.jianshu.com/p/a78845c3f476首先我们看一下最终效果一、下载iTerm2官网下载地址:https://www.iterm

2020-05-24 22:32:43 1263

原创 Kafka初试

二、安装Kafka安装Java安装Zookeeper启动命令: zkServer.sh start停止命令: zkServer.sh stop安装Kafka启动命令: kafka-server-start.sh config/server.properties启动命令: kafka-server-stop.sh config/server.properties三、代码实践添加Maven依赖<dependency> <groupId>org

2020-05-24 22:30:19 160

原创 创建一个基于redis的id生成器

参考文章:https://blog.csdn.net/hengyunabc/article/details/44244951https://www.jianshu.com/p/955909e1bd71https://tech.meituan.com/2017/04/21/mt-leaf.html参考项目:https://github.com/hengyunabc/redis-id-generator值。evalsha教程:https://www.runoob.com/redis/scripti

2020-05-24 22:28:36 1669

原创 手写SpringMVC,剑指优秀开源框架灵魂

由于Spring官方就是选择gradle作为自动化构建工具,所以我们在本次尝试中就按照spring的选择也是用gradle在整个项目中,我们一共包含两个模块framework模块用于首先实现我们springmvc的常见功能,test模块则是用来测试我们手写的模块是否正确项目链接:https://github.com/ZhangJia97/Mini-Spring下面是项目结构,只保留了我们用到的文件结构├── build.gradle├── framework│ ├── build.grad

2020-05-24 22:27:19 163

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除