- 博客(56)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 sqoop
sqoop1 Sqoop 简介2 Sqoop 原理3 Sqoop 安装3.1 下载并解压3.2 修改配置文件3.3 拷贝 JDBC 驱动3.4 验证 Sqoop3.5 测试 Sqoop 是否能够成功连接数据库4 Sqoop 的简单使用案例4.1 导入数据4.1.1 RDBMS 到 HDFS4.1.2 RDBMS 到 Hive4.1.3 RDBMS 到 Hbase4.2、导出数据4.2.1 HIVE/HDFS 到 RDBMS4.3 脚本打包5 Sqoop 一些常用命令及参数5.1 常用命令列举5.2 命令&a
2021-08-11 14:23:01
304
原创 flume
flume1 Flume 概述1.1 Flume 定义1.2 Flume 基础架构1.2.1 Agent1.2.2 Source1.2.3 Sink1.2.4 Channel1.2.5 Event2 Flume 快速入门2.1 Flume 安装部署2.1.1 安装地址2.1.2 安装部署2.2 Flume 入门案例2.2.1 监控端口数据官方案例2.2.2 实时监控单个追加文件-exec2.2.3 实时监控目录下多个新文件-spooldir2.2.4 实时监控目录下的多个追加文件-taildir3 Flum
2021-08-07 21:41:00
324
原创 kafka
1 Kafka 概述1.1 定义Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于 大数据实时处理领域。1.2 消息队列1.2.1 传统消息队列的应用场景使用消息队列的好处1）解耦允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2）可恢复性系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所 以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。3）缓冲有助于控制和优化数据
2021-08-02 15:18:39
270
原创 HBase
HBase1.1 HBase 定义1.2 HBase 数据模型1.2.1 HBase 逻辑结构1.2.2 HBase 物理存储结构1.2.3 数据模型1.3 HBase 基本架构2 HBase 快速入门2.1 HBase 安装部署2.1.1 Zookeeper 正常部署2.1.2 Hadoop 正常部署2.1.3 HBase 部署2.1.4 HBase 服务的启动2.2 HBase Shell 操作2.2.1 基本操作2.2.2 表的操作3 HBase 进阶3.1 架构原理3.2 写流程3.3 MemSto
2021-07-22 17:43:43
666
2
原创 自定义 HBase-MapReduce
自定义 HBase-MapReduce1 hdfs -> table1) mapper2) reducer3) driver4) 打包上传并执行2 table -> table1) mapper2) reducer3) driver1 hdfs -> table需求: 从hdfs读取数据,插入到hbase的表中1) mapperpublic class FruitMapper extends Mapper<LongWritable, Text,LongWritable, Te
2021-07-20 17:49:01
235
原创 hbase-api
HBase-apiHBase-api1 依赖2 java-api操作HBase-api1 依赖<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>1.3.1</version></dependency><dependency>
2021-07-20 15:45:56
199
原创 Hive入门
Hive入门1 Hive 基本概念1.2Hive 的优缺点1.2.1 优点1.2.2 缺点1.3 Hive 架构原理1.4 Hive 和数据库比较1.4.1 查询语言1.4.2 数据更新1.4.3 执行延迟1.4.4 数据规模2 Hive 安装2.1 Hive 安装地址2.2Hive 安装部署2.2.1 安装 Hive2.2.2 启动并使用 Hive2.3 MySQL 安装2.4 Hive 元数据配置到 MySQL2.4.1 再次启动 Hive2.5 使用元数据服务的方式访问 Hive2.6 使用 JDBC
2021-07-13 17:03:25
377
2
原创 Hadoop-生产调优手册
Hadoop-生产调优手册1 HDFS—核心参数1.1 NameNode 内存生产配置1.2 NameNode 心跳并发配置1.3 开启回收站配置2 HDFS—集群压测2.1 测试 HDFS 写性能2.2 测试 HDFS 读性能3 HDFS—多目录3.1 NameNode 多目录配置3.2 DataNode 多目录配置3.3 集群数据均衡之磁盘间数据均衡4 HDFS—集群扩容及缩容4.1 添加白名单4.2 服役新服务器4.3 服务器间数据均衡4.4 黑名单退役服务器5 HDFS—存储优化5.1 纠删码5.1
2021-07-06 15:39:44
420
原创 Hadoop-Yarn
Hadoop-Yarn1 Yarn 资源调度器1.1 Yarn 基础架构1.2 Yarn 工作机制1.3 作业提交全过程1.4 Yarn 调度器和调度算法1.4.1 先进先出调度器（FIFO）1.4.2 容量调度器（Capacity Scheduler）1.4.3 公平调度器（Fair Scheduler）1.5 Yarn 常用命令1.5.1 yarn application 查看任务1.5.2 yarn logs 查看日志1.5.3 yarn applicationattempt 查看尝试运行的任务1.5
2021-07-03 21:53:41
184
1
原创 Hadoop-MapReduce
Hadoop-MapReduce1 MapReduce 概述1.1 MapReduce 定义1.2 MapReduce 优缺点1.2.1 优点1.2.2 缺点1.3 MapReduce 核心思想1.4 MapReduce 进程1.5 官方 WordCount 源码1.6 常用数据序列化类型1.7 MapReduce 编程规范1.8.1 本地测试1.8.2 编写测试类1.8.3 提交到集群测试2 Hadoop 序列化2.1 序列化概述2.2 自定义 bean 对象实现序列化接口（Writable）2.3 序列
2021-07-02 10:39:39
352
原创 Hadoop-HDFS
Hadoop-HDFS1 HDFS 概述1.1 HDFS 产出背景及定义1.2 HDFS 优缺点1.3 HDFS 组成架构1.4 HDFS 文件块大小（面试重点）2 HDFS 的 Shell 操作（开发重点）2.1 基本语法2.2 命令大全2.3 常用命令实操2.3.1 上传2.3.2 下载2.3.3 HDFS 直接操作3 HDFS 的 API 操作3.1 客户端环境准备总结1 HDFS 概述1.1 HDFS 产出背景及定义1）HDFS 产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，
2021-06-25 09:17:42
148
原创 Hadoop入门
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档Hadoop1 Hadoop概述1.1 Hadoop是什么1.2 Hadoop 发展历史（了解）1.3 Hadoop 三大发行版本（了解）1.4 Hadoop 优势（4 高）1.5 Hadoop 组成（面试重点）1.5.1 HDFS 架构概述1.5.2 YARN 架构概述1.5.4 HDFS、YARN、MapReduce 三者关系1.6 大数据技术生态体系1.7 推荐系统框架图2 Hadoop 运行环境搭建（开发重点）2.1 下载安装2.2
2021-06-23 08:59:47
262
1
原创 Java NIO 编程
Java NIO 编程1 I/O模型基本说明2 BIO、NIO、AIO适用场景分析3 Java BIO 基本介绍3.1 Java BIO 应用实例3.2 Java BIO 问题分析4 Java NIO 基本介绍4.1 NIO 和 BIO 的比较4.2 NIO 三大核心原理示意图4.3 缓冲区(Buffer)4.4 通道(Channel)4.5 Selector(选择器)4.6 NIO 网络编程应用实例-群聊系统5 Java AIO 基本介绍总结1 I/O模型基本说明I/O 模型简单的理解：就是用
2021-06-21 20:09:59
150
原创 mycat
mycat1 概述1.1 mycat是什么1.2 能干什么1.3 原理2 安装启动2.1 配置读写分离2.2 配置mysql的主从复制2.2 配置mysql的双主双从2.3 mycat实现双主双从读写分离3 垂直拆分-分库4 水平拆分-分表4.1 实现分表4.2 mycat的分片join4.3 全局表4.4 常用的分片规则4.4.1 取模4.2.2 分片枚举4.2.3 范围约定4.2.4 按日期（天）分片4.5 全局序列4.5.1 本地文件4.5.2 数据库方式(重点)4.5.3 时间戳方式4.5.4 自主
2021-06-19 22:08:22
216
原创 shardingsphere
shardingsphere1 基本概念1.1 什么是shardingsphere1.2 分库分表1.2.1 分库分表的方式1.2.2 分库分表应用和问题2 sharding-jdbc2.1 sharding-jdbc简介2.2 sharding-jdbc实现(java操作)2.2.1 环境搭建2.2.2 水平分表2.2.3 水平分库2.2.4 垂直分库2.2.5 公共表2.2.6 实现读写分离3 sharding-proxy3.1 sharding-proxy简介3.2 sharding-proxy配置(
2021-06-17 21:35:50
482
1
原创 elasticsearch
elasticsearch1 概述1.1 Elastic Stack的核心1.2 Elasticsearch And Solr(对比图)2 入门2.1 安装2.2 数据格式2.3 java操作api3 环境3.1 Linux单机版3.2 Linux集群部署3.1 elasticsearch-head chrome插件安装3.2 kibana安装总结1 概述1.1 Elastic Stack的核心The Elastic Stack,包括ElasticSearch,Kibana,Beats和Logsta
2021-06-15 20:14:08
242
3
原创 activemq
activemq前言使用步骤1.安装2.java操作activemq2.1 队列模式2.1 主题模式2.3 topic和queue的对比总结3.jms4.发布订阅5.事务6.签收7.broker8.springboot整合activemq8.1 activemq-produce(生产者)8.2 activemq-consumer(消费者)8.3 topic模式9.传输协议9.1 nio协议(重点)9.2 auto+nio10.activemq存储机制10.1 kahaDB消息存储10.2 jdbc消息存储
2021-06-12 19:45:04
1343
2
原创 zookeeper
zookeeper1 zookeeper入门1.1 zookeeper特点1.2 据结构1.3应用场景1.4 下载地址2 zookeeper安装2.1 安装部署2.2 配置参数解读3 zookeeper内部原理3.1 选举机制3.2 节点类型4 zookeeper实战(重点)4.1 伪分布式集群4.2 客户端命令行操作4.3 写数据流程4.4 java连接zookeeper总结1 zookeeper入门zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目1.1 zook
2021-06-11 21:37:04
1004
2
原创 kubernates入门
kubernates前言二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。二、使用步骤1.引入库代码如下（示例）：import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as snsimport warningswarnin
2021-06-07 22:07:49
260
原创 Jenkins进阶
Jenkins进阶使用步骤1.环境准备2.下载harbor3.将docker镜像push到harbor4.把镜像从harbor pull下来5.下载harbor6.下载harbor7.下载harbor8.下载harbor9.下载harbor10.下载harbor11.下载harbor总结使用步骤1.环境准备需要一个springcloud项目需要会使用Dockerfile构建镜像需要四台centos(一台push image,一台harbor服务器,一台pull image,还有一台Jenkin
2021-06-07 13:20:50
510
1
原创 JWT入门
JWT入门前言使用步骤1.编写测试demo2.封装通用模板总结前言JWT是什么json web tokenJWT能做什么授权认证JWT结构标头(Header)通常由两部分组成:令牌类型和签名算法有效载荷(Payload)声明有关实体类(通常是用户)和其他数据声明签名(Signature)使用编码后的Header和Payload以及我们提供的一个密匙,然后使用header中指定的签名算法进行签名Header和Payload不管哪一个被改动,都会导致Signatur
2021-06-04 12:07:30
63
原创 Jenkins入门
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档Jenkins前言使用步骤1.官网下载2.角色-权限插件安装：3.Git创建仓库,idea创建项目push到gitee4.Jenkins凭证管理查件5.Linux上安装maven(官网下载):6.Linux上安装tomcat(官网下载):7.持续集成8.Jenkins构建maven类型项目9.读入数据10.读入数据11.读入数据12.读入数据总结前言什么是敏捷开发:迭代开发将开发过程拆分成多个小周期,即一次大开发变成多次小开发
2021-06-01 20:51:04
801
原创 subversion
svn使用步骤1.安装2.创建并配置版本库3.启动服务4.命令行客户端5.检出操作6.提交操作7.冲突8.减少冲突的发生总结使用步骤1.安装代码如下（示例）：#yum安装yum install -y subversion#查看SVN版本svn --version2.创建并配置版本库代码如下（示例）：#创建版本库目录mkdir -p /var/svn/repository#进入目录cd /var/svn/repository/#创建具体项目目录mkdir pro_oa &
2021-05-31 10:11:48
81
原创 vue-cli封装axios
vue-cli封装axios基于rest风格封装axios1.编写BaseRequest.js2.在main.js中引用3.编写测试4.后端接口总结最终效果基于rest风格封装axios1.编写BaseRequest.js代码如下（示例）：// 配置API接口地址(因为这里做了反向代理,baseURL可有可无,如果是后端做的跨域,baseURL还是有用的)//const root = 'http://127.0.0.1:8080'// 引用axiosimport axios from 'ax
2021-05-30 12:13:09
213
原创 docker-swarm
docker-swarm使用步骤1.需要环境2.创建swarm总结使用步骤1.需要环境4台Linux服务器这里使用一台虚拟机克隆3台2.创建swarm代码如下（示例）：#ip为本机ip(管理者)docker swarm init --advertise-addr 192.168.249.131#生成一个加入worker的tokendocker swarm join-token worker#生成一个加入manager的tokendocker swarm join-token man
2021-05-17 10:28:57
44
原创 docker-compose
docker-compose使用步骤1.下载2.Get started总结使用步骤1.下载代码如下（示例）：#下载curl -L https://get.daocloud.io/docker/compose/releases/download/1.25.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose#查看版本docker-compose version2.Get started创建文件夹：
2021-05-17 08:40:44
48
原创 seata-server
seata-server文章使用seata版本1.31.修改配置文件seata\conf\file.conf2.修改配置文件seata\conf\registry.conf3.修改配置文件seata\conf\logback.xml4.将seat-server配置文件注册进nacos总结文章使用seata版本1.31.修改配置文件seata\conf\file.conf代码如下（示例）：#修改存储类型store { ## store mode: file、db、redis mode =
2021-05-15 15:20:22
1132
1
原创 alibaba-sentinel
alibaba-sentinel核心概念1.流控2.降级3.热点规则4.系统规则5.持久化总结核心概念1.流控代码如下（示例）：流控QPS:每秒请求数,当超过阈值,触发熔断线程数:字面意思,超过阈值,出发熔断关联:当关联A达到阈值,自己熔断warm up(预热):预热时间内真实阈值=期望阈值/3,预热结束后,慢慢增长到期望值排队等待:字面意思,设置指定时间,当请求达到阈值同时超过设定等待时间,触发熔断2.降级代码如下（示例）：降级:RT:当1s内持续进入5个请求(Q
2021-05-11 22:52:21
113
原创 nacos
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档nacos-serverLinux环境1.下载总结Linux环境1.下载官网下载#解压tar -zxvf nacos-server-1.1.4.tar.gz#进入可执行文件目录cd nacos/bin#开启单机模式sh startup.sh -m standalone总结提示：这里对文章进行总结：例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据
2021-05-06 17:55:35
1193
原创 springboot-rabbitmq
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档springboot-rabbitmq使用步骤1.引入依赖2.配置yml3.声明交换机,队列,并绑定关系4.业务类(provider="发送消息")5.业务类(consumer="消费消息")高级特性1.TTL(设置过期时间)2.DLX(死信队列)3.LIM(最大队列长度)单机集群搭建使用步骤1.引入依赖核心依赖（示例）： <dependency> <groupId>o
2021-05-03 18:42:36
91
原创 rabbitMQ
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档rabbitMQ准本环境1.下载rabbitMQ和erlang2.读入数据总结准本环境1.下载rabbitMQ和erlangrabbitMQ官网这里使用的centos7（示例）：2.读入数据代码如下（示例）：#解压erlangrpm -Uvh erlang-22.3-1.el7.x86_64.rpm#安装erlangyum install erlang#查看erlang版本erl -v#安装rabbitMQ所需插件
2021-05-02 15:36:32
163
原创 elasticSearch-api
ElasticSearch+kibana使用步骤1.环境准备2.针对索引操作2.针对doc操作(增删改)2.针对doc操作(查)==重要==总结使用步骤1.环境准备用的是windows版,没太多说的,自行下载链接: 下载2.针对索引操作这里是kibana上操作的(kibana有代码提示和代码补全,懂的都懂）：#创建索引,指定文档idPUT /test1/type1/1{ "name":"张三", "age":30 }#创建索引规则(类似数据库建表)PUT /test.
2021-04-28 22:10:42
152
原创 docker网络
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档docker网络重在理解1.在宿主容器查看ip2.在docker容器查看ip3.当docker容器启动后,在宿主容器再次查看ip总结重在理解1.在宿主容器查看ip代码如下（示例）：2.在docker容器查看ip这里可以使用docker exec -it 容器id ip addr来查看docker容器ip（示例）：3.当docker容器启动后,在宿主容器再次查看ip代码如下（示例）：这里发现该处使用的url网络请求的
2021-04-24 22:43:49
96
原创 docker创建一个阿里云镜像仓库
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档docker创建一个阿里云镜像仓库使用步骤1.创建一个容器镜像服务实例2.点进实例,创建一个命名空间3.创建一个镜像仓库4.得到一个使用帮助总结使用步骤1.创建一个容器镜像服务实例2.点进实例,创建一个命名空间3.创建一个镜像仓库镜像仓库创建完成之后(点击仓库名称)4.得到一个使用帮助这里就不上图了总结一只勤奋的菜鸡...
2021-04-23 21:33:51
236
原创 Docker
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档docker使用步骤1.下载docker2.镜像命令3.容器命令4.常用其他命令总结使用步骤1.下载docker代码如下（示例）：#所需安装包yum install -y yum-utils#设置镜像仓库(阿里云)yum-config-manager \--add-repo \http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo#更新yum软件包索
2021-04-23 11:23:03
167
原创 Dockerfile
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档Dockerfile使用步骤Dockerfile文件常用命令1.Dockerfile-12.Dockerfile-23.Dockerfile-3总结使用步骤Dockerfile文件常用命令代码如下（示例）：#基础镜像,一切从这里构建FROM#镜像是谁写的(姓名+邮箱)MAINTAINER #镜像构建时候需要运行的命令RUN#添加内容ADD#镜像的工作目录WORKDIR#挂载的目录VOLUME#暴露端口EX
2021-04-23 11:21:45
61
原创 spring-cloud-config-client
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档spring-cloud-config-server使用步骤1.引入依赖2.application.yml3.bootstrap.yml总结使用步骤1.引入依赖代码如下（示例）： <!-- spring-cloud-starter-config --> <dependency> <groupId>org.springframework.clou
2021-04-19 21:31:44
432
原创 spring-cloud-config-server
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档spring-cloud-config-server使用步骤1.引入依赖2.主程序3.application.yml4.远程仓库文件总结使用步骤1.引入依赖代码如下（示例）： <!-- spring-cloud-config-server --> <dependency> <groupId>org.springframework.cloud&l
2021-04-18 16:26:59
697
原创 zuul(路由网关)
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档zuul使用步骤1.引入依赖2.主程序2.application.yml总结使用步骤1.引入依赖代码如下（示例）： <!-- zuul --> <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring
2021-04-18 15:56:18
61
空空如也
宿主容器访问不到docker
2021-04-21
TA创建的收藏夹 TA关注的收藏夹
TA关注的人