美美的大猪蹄子的博客

原创 Frp实现外网访问内网服务

博主在本地电脑（Windows）上安装了一款BS架构的软件，现在想要其他人通过域名直接访问本地电脑的web服务。

原创 docker搭建gitlab

Gitlab搭建前置条件已安装docker和docker compose配置docker-compose#1.创建目录 /opt/docker/gitlab#2.创建配置文件vim docker-compose.yml内容为：version: '3'services: gitlab: image: 'gitlab/gitlab-ce' restart: unless-stopped hostname: '172.xx.xxx.x'

原创 大数据总结

知识点文章目录知识点0. 介绍1. HDFS1.1 读数据1.2 写数据1.3 块大小1.4 Yarn调度1.4.1 Job提交流程1.4.2 调度器2. MapReduce、Hive2.1 运行过程2.1 切片大小2.2 CombineTextInputFormat2.3 压缩方式2.5 数据倾斜2.6优化2.5.1 慢的原因2.5.2 优化方案2.7 如何设置maptask、reducetask个数2.8 笛卡尔积的优化2.9 四种排序2.10 UDF、UDAF、UDTF 的区别2.11 行列转换2.

原创 Word学习记录

1.文字间距太大无法缩小1.1 情形一：存在隐藏的格式符号方案：【段落】-【显示/隐藏编辑标记(ctrl+*)】1.2 情形二：段落对齐方式为分散对齐方案：改为两端对齐，【段落】功能区设置ps：markdown图片并排技巧1.3 情形三：字符间距被设置为【加宽】方案：调整为标准。选中文字【右键】-【字体】-【高级】-【间距】-选择【标准】1.4 情形四：网址默认不能中途换行导致方案：设置允许网址换行。选中文字【右键】

原创 JavaServer

1 Tomcat1.1 目录结构和配置1.下载：http://tomcat.apache.org/2.安装：解压压缩包即可。 * 注意：安装目录建议不要有中文和空格3.卸载：删除目录就行了4.启动bin/startup.bat ,双击运行该文件即可访问：浏览器输入：http://localhost:8080 回车访问自己http://别人的ip:8080 访问别人5.启动过程中可能碰到的问题1. 黑窗口一闪而过： * 原因： 没有正确配置JAVA_HOME环境变量

原创 数据中台初识

数据中台1. 中台产生业务发展前期，为了快速实现需求，烟囱式开发导致企业不同业务线不同的应用之间，数据是割裂的（数据孤岛）。两个数据应用的相同指标，展示的结果是不一致的，导致运营对数据信任度下降。另外数据割裂导致了大量的重复计算，浪费了人力和物力成本。数据中台是指通过数据技术对海量数据进行采集、计算、存储，同时统一标准和口径，形成全域级、可复用的数据资产中心和数据存储能力中心，形成大数据资产层，进而为客户提供高效的服务。狭义上的数据中台是一套实现数据资产化的工具，广义上的数据中台是一套利用数据帮助企

原创 Flink

Flink1. Flink基础1.1 简介Apache Flink是一个用于对无边界和有边界数据流进行有状态计算的框架和分布式处理引 擎。Flink设计为运行在所有常见的集群环境中，并且以内存速度和任意规模执行计算。无边界的数据集无边界流定义了开始但没有定义结束。它们不会在生成时终止提供数据。必须持续地处理无边界流，即必须在拉取到事件后立即处理它。无法等待所有输入数据到达后处理，因为输入是无边界的，并且在任何时间点都不会完成。处理无边界数据通常要求以特定顺序（例如事件发生的顺序）拉取事件，

转载 数据仓库的MPP架构

数据仓库的MPP架构1.MPP架构的大数据计算引擎Impala、ClickHouse、Druid、Doris，采用MPP架构的很多OLAP引擎号称：亿级秒开2.MPP架构MPP是系统架构角度的一种服务器分类方法。目前服务器分类大概有三种：SMP(对称多处理器结构)NUMA（非一致存储访问结构）MPP（大规模并行处理结构）SMP即对称多处理器结构，就是指服务器的多个CPU对称工作，无主次或从属关系。SMP服务器的主要特征是共享，系统中的所有资源（如CPU、内存、I/O等）都是共享的

原创 数据仓库建模方法论

一、ER实体模型概念定义：在信息系统中，将事物抽象为“实体”、“属性”、“关系”来表示数据关联和事物描述；实体：Entity，关系：Relationship，这种对数据的抽象建模通常被称为ER实体关系模型实体：通常为参与到过程中的主体，客观存在的，比如商品、仓库、货位、汽车，此实体非数据库的实体表属性：对主体的描述、修饰即为属性，比如商品的属性有商品名称、颜色、尺寸、重量、产地等关系：现实的物理事件是依附于实体的，比如商品入库事件，依附实体商品、货位，就会有“库存”的属性产生；用户购买商品，依附实

原创 ArrayList源码分析

ArrayList源码分析1. 接口1.1 Serializable标记性接口作用: 类型的序列化1.2 Cloneable标记性接口作用: 克隆已有数据,分为浅克隆和深克隆区别: 浅克隆基本类型完全复制,引用类型只复制引用; 深克隆两者都完全复制ArrayList<String> list = new ArrayList<String>();list.add("人生就是旅途");list.add("也许终点和起点会重合");list.add("但是一开始就站在起

原创 Hadoop源码分析笔记(NameNode启动流程)

一、准备工作安装idea下载hadoop源码https://archive.apache.org/dist/hadoop/common/hadoop-2.7.0/hadoop-2.7.0-src.tar.gz将源码导⼊idea⼯具（直接导⼊即可,具体方法百度）二、开始！冲！(一)NameNode启动流程跟踪NameNode启动的主流程源码1） Ctrl + N 搜索类名 NameNode，查看类注释,line 133/**********************************

原创 数据结构_线性表

线性表1.什么是线性表线性表是 n 个数据元素的有限序列，最常用的是链式表达，通常也叫作线性链表或者链表。在链表中存储的数据元素也叫作结点，一个结点存储的就是一条数据记录。每个结点的结构包括两个部分：第一是具体的数据值；第二是指向下一个结点的指针。仔细观察上图，你会发现这个链表只能通过上一个结点的指针找到下一个结点，反过来则是行不通的。因此，这样的链表也被称作单向链表。有时候为了弥补单向链表的不足，我们可以对结点的结构进行改造：对于一个单向链表，让最后一个元素的指针指向第一个元

原创 数据结构_队列

队列1.队列是什么一种特殊的线性表,特点是先进先出:先进，表示队列的数据新增操作只能在队尾进行先出，表示队列的数据删除操作只能在队头进行存储方式可以分为:链式存储和顺序存储顺序存储会存在“假溢出”的现象，即数组中元素并未存满（队首移除了元素，但是队尾指针已指向最后一个数组下标）两个粗暴的解决方案为：消耗O(n)的时间复杂度去移动数据（向队头方向）开辟足够大的空间保证数组不会越界还有通过队列的一个特殊变种来解决，叫做循环队列。循环队列进行新增数据元素操作时，首先判断队列是否为

原创 HDFS的高可用机制和联邦机制

1.HDFS的高可用机制1.1 HDFS高可用介绍​ 在Hadoop 中，NameNode 所处的位置是非常重要的，整个HDFS文件系统的元数据信息都由NameNode 来管理，NameNode的可用性直接决定了Hadoop 的可用性，一旦NameNode进程不能工作了，就会影响整个集群的正常使用。​ 在典型的HA集群中，两台独立的机器被配置为NameNode。在工作集群中，NameNode...

原创 数据结构_稀疏数组

稀疏数据1.应用场景当一个数组中大部分元素为0或者为同一个值的数组时，可以用稀疏数组来保存该数组。例如：棋盘、地图2.处理方法1）记录原数据共有几行几列，多少个不同的值2）把不同值的元素的行列及值（data)记录在一个数组中3.图解4.代码实现4.1Java实现package cn.iyhome;public class SparseArr { public static void main(String[] args) { //创建原始数组

原创 HashMap源码解析及常见问题

主要方法解析package cn.iyhome.hashmap;import java.io.Serializable;import java.util.*;public class MyHashMap<K, V> extends AbstractMap<K, V> implements Map<K, V>, Cloneable, ...

原创 Docker容器

1, 安装docker安装docker社区版, 以CentOS为例:docker新老版本不兼容, 安装新版本前卸载老版本yum更新sudo yum update安装需要的软件包， yum-util 提供yum-config-manager功能，另外两个是devicemapper驱动依赖的sudo yum install -y yum-utils device-mapper-persi...

原创 Scala_5

scala-day05公众号推荐：菜鸟学Python机器学习算法与自然语言处理CSDN程序猿程序员头条程序员大咖java葵花宝典码农有道过往记忆大数据高效运维spark学习技巧大数据猿map相关操作var map = Map[String,Int]() val list = List("k1","k2","k3") map += ("k1" -...

原创 Scala_4

scala-day0413.正则表达式定义一个正则表达式，来匹配邮箱是否合法参考代码scala> var str = "119829381@163.com"str: String = 119829381@163.comscala> str.matches("^([0-9]*|[a-z]*)@([a-z]*|[0-9]*)\\..*$")res3: Boolean =...

原创 scala_3

scala-day03方法传入函数参数scala> def m1(f:Int => Int)={ | f(2)}m1: (f: Int => Int)Intscala> val f1 = (x:Int) => x*10f1: Int => Int = <function1>scala> m1(f1)res0: I...

原创 Scala_2

scala_day0201.学习目标掌握scala类与object的用法掌握继承的用法字符串转Intscala> "2".toIntres0: Int = 2Map的循环scala> for(k <- map.keys) println(k + "->" +map(k) )name->banzhangxingge->meng...

原创 Scala_1

Scala11.方法定义语法def methodName (参数名:参数类型, 参数名:参数类型) : [return type] = { // 方法体：一系列的代码}scala定义方法可以省略返回值，由scala自动推断返回值类型。这样方法定义后更加简洁。示例定义递归方法（求阶乘）参考代码scala> def m2(x:Int) = { | if(...

原创 RDD算子

Transformation functionExplainmap(f: T ⇒ U): RDD[U]sc.parallelize(Seq(1, 2, 3)).map( num => num * 10 )flatMap(f: T ⇒ List[U]): RDD[U]sc.parallelize(Seq("Hello lily", "Hello lucy", "H...

原创 Hadoop总结

Hadoop架构详解请点击:架构图解Hadoop架构(主从)NameNode active集群中的主节点,管理元数据,包括文件位置,权限,大小,副本等,周期性接收心跳和块的状态报告信息NameNode standby主节点的备用节点,当主节点宕机时,备用节点可以接替主节点工作;定期合并fsimage和fseditsSecondaryNameNode非HA模式下,用来对...

原创 zookeeper总结

知识点总结,深入剖心请点击深入浅出Zookeeper.概念分布式协调服务框架,主要是用来解决分布式集群中应用系统的一致性问题(ZAB协议)和数据管理管理本质上是一个分布式文件系统,适合存放小文件分布式锁用于控制分布式系统之间同步访问共享资源的一种方式,可以保证系统访问资源的一致性排它锁获取锁   需要获取锁的客户端申请在/exclusive...

原创 数据仓库-Hive(一)

数据仓库-Hive1. 数据仓库1.1. 基本概念英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。数据仓库是存数据的，企业的各种数据往里面存，主要目的是为了分析有效数据，后续会基于它产出供分析挖掘的数据，或者数据应用需要的数据，如企业的分析性报告和各类报表等。可以理解为：面...

原创 集群服务启动/停止脚本

zk start#!/bin/bashecho "****zookeeper starting****"for i in node01 node02 node03do ssh $i "source /etc/profile;/export/servers/zookeeper-3.4.9/bin/zkServer.sh start"doneecho "***Succ***"zk s...

原创 HBase总结

概念建立在hdfs上,是高可靠性、高性能、列存储、稀疏、易扩展、实时读写的nosql(not only sql)的数据库系统仅能通过 rowkey和来检索数据,仅支持单行事务hbase的数据类型都是byte[]和Hadoop的关系HBase列存储随机读写多次写、多次读依赖HDFS架构zookeeper保证任何时候集群中只有一个master实...

原创 Apache Impala

impala概念cloudera提供的高效率的SQL查询工具,和hive类似,但是执行效率极高,提供实时的查询效果与hive的最大不同之处在于impala不把sql编译成MapReduce程序运行,而是编译成计划树但是impala底层依赖于hive,与hive是公用一套元数据存储.所以在使用impala的时候,要保证hive服务正常可用,至少保证metastore服务可用impala的...

原创 Hadoop的架构模型

Hadoop1.Hadoop的介绍Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。——分布式文件系统（GFS），可用于处理海量网页的存储——分布式计算框架...

原创 Hadoop-Mapreduce

Hadoop-Mapreduce1. MapReduce 介绍MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。Reduce负责“合”，即...

原创 Hadoop核心(一) 入门

Hadoop 核心-HDFS1. HDFS概述1.1 介绍在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统 。HDFS（Hadoop Distributed File System）是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS ...

原创 Hadoop核心(二)-HDFS-API操作

1.HDFS 的 API 操作1.1 配置Windows下Hadoop环境在windows系统需要配置hadoop运行环境，否则直接运行代码会出现以下问题:缺少winutils.exeCould not locate executable null \bin\winutils.exe in the hadoop binaries 缺少hadoop.dlUnable to load n...

原创 深入浅出Zookeeper

文章目录Zookeeper1.Zookeeper 的概述2.Zookeeper的特点3.Zookeeper的应用场景3.1 数据发布/订阅3.2 命名服务3.3 分布式协调/通知3.4分布式锁3.5 分布式队列4.Zookeeper的架构4.1 写请求流程5.Zookeeper的选举机制5.1. 服务器启动时期的Leader选举5.2.服务器运行时期的Leader选举Zookeeper1.Zo...

原创 mybatis(一)单表思维导图

原创 SSM-Mybatis(一)单表CURD

第1章 SSM的学习路线第一部分：mybatis（3阶段）第二部分：spring（4阶段）第三部分：springmvc（3阶段）第2章 Mabatis阶段介绍第一阶段：mybatis的入门+mybatis的基本操作​ mybatis环境搭建（xml）​ * 操作数据库CRUD的实现​ * mybaits中的参数和结果集封装​ * 分析mybatis中两种dao的编写方式​...

原创 SSM-Mybatis(二)多表CURD

未完待续..

原创 JDBC原始方法(未封装)

public class JDBCDemo { public static void main(String[] args) { try { //加载驱动 Class.forName("com.mysql.jdbc.Driver"); //获取连接对象 Connection conn = Dr...

原创 Maven初级思维导图

原创 Maven-初级

Maven基础学习目标能够了解Maven的作用（第一章，1.1）能够理解Maven仓库的作用（第一章，1.2）能够理解Maven的坐标概念（第一章，1.2）能够掌握Maven的安装（第二章，2.1）能够掌握IDEA配置本地Maven（第二章，2.2）能够使用IDEA创建javase的Maven工程（第三章，3.1）能够使用IDEA创建javaweb的Maven工程（第三章，3.2）...