HHHBan的博客

原创 单机多线程模拟 MapReduce 思想完成超大文件的 WordCount 计算

之前看过一些 MapReduce 的源码，所以按照源码中的思路进行了回答，感觉还不错，于是回来后尝试写了代码。最近面试遇到了一个问题，就是有个 100G 的文件，里面的内容都是单词，请问在单机笔记本的情况下，怎么使用 MapReduce 的思想完成 WordCount 的计算。大概耗时变成了 15 秒左右，大约快了 3 倍左右。由于都是空格，也不涉及什么正则啥的，于是换成 StringTokenizer 类来切割，代码如下。1）首先，需要模拟出对应的数据，我这里模拟了 1G 左右的数据测试，代码如下。

原创 集群机器之间 SSH 免密登录的一键脚本

创建 /root/host_list 文件，内容如下：分别是IP地址、用户、密码、用户的家目录、主机名。

原创 CentOS 7.x 升级 Linux 内核版本实操

注意：Linux 支持多版本内核共存，也意味着系统启动时具体使用什么版本的内核是由用户决定的。1）导入公钥，下载并安装elrepo仓库，以及加速镜像。3）清除旧内核（可选）

原创 一键安装 ZooKeeper 集群脚本

【代码】一键安装 ZooKeeper 集群脚本。

原创 用 Python 清理 Markdown 文档中多余图片

在用 MD 文档记录笔记的时候，一般我都是把引用的图片都是在相对路径下，但发现目录下有些历史遗留下来没有使用的图片，就写了个小程序用于清理一些不被 MD 文档引用的图片。

原创 Ubuntu 一键安装 miniconda

用于在 Ubuntu 一键安装 miniconda。

原创 安装WSL2和Ubuntu22.04版本

安装WSL2并安装Ubuntu22.04发行版

原创 Docker笔记01：常用命令、数据卷、部署应用、制作镜像

文章目录一、Docker 简介1.1 应用部署的环境问题1.2 Docker 如何解决问题1.2.1 解决依赖兼容1.2.2 解决操作系统环境1.3 什么是 Docker1.4 虚拟化技术1.5 容器与虚拟机比较1.6 Docker 概念与架构1.6.1 Docker 基本概念1.6.2 Docker 基本架构二、Docker 安装与启动2.1 安装2.2 Docker 守护进程相关命令2.3 镜像加速三、Docker 中常用命令3.1 镜像相关命令3.1.1 搜索镜像3.1.2 拉取镜像3.1.3 查看镜

原创 SpringCloud笔记02：Nacos配置中心、Feign、Gateway

文章目录一、Nacos 配置管理1.1 统一配置管理1.1.1 添加配置文件1.1.2 微服务拉取配置1.2 配置热更新1.2.1 方式一：RefreshScope1.2.2 方式二：ConfigurationProperties1.3 配置共享1.3.1 添加共享配置1.3.2 读取共享配置1.3.3 不同 profile 测试1.3.4 配置共享的优先级1.3.5 不同微服务配置共享1.4 搭建 Nacos 集群1.4.1 初始化数据库表1.4.2 配置 nacos 集群1.4.3 启动 nacos 集

原创 SpringCloud笔记01：Eureka、Ribbon、Nacos注册中心

文章目录一、认识微服务1.1 单体架构1.2 分布式架构1.3 微服务1.4 微服务技术对比1.5 SpringCloud1.6 总结二、服务拆分和远程调用2.1 服务拆分原则2.2 服务拆分示例2.2.1 导入 SQL 语句2.2.2 导入项目工程2.3 实现远程调用案例2.3.1 案例需求2.3.2 注册 RestTemplate2.3.3 实现远程调用2.3.4 测试总结2.4 服务调用关系三、Eureka 注册中心3.1 Eureka 的结构和作用3.2 搭建 eureka-server3.2.1

原创 Vue学习笔记09：Vuex的基本使用

文章目录一、Vuex 概述1. Vuex 是什么2. Vuex 好处与用处二、Vuex 的核心概念三、Vuex 的基本使用1. 安装配置 Vuex2. state2.1 定义数据2.2 使用数据3. mutations3.1 定义 mutations3.2 使用 mutations4. actions4.1 定义 actions4.2 使用 actions5. getters5.1 定义getters5.2 使用getters6. modules6.1 定义modules6.2 使用带命名空间的模块四、Vu

原创 Vue学习笔记08：Vue Router 路由的基本使用

文章目录一、前端路由的概念与原理1. 什么是路由2. 前端路由的工作方式3. 实现简易的前端路由二、vue-router 的基本使用1. 什么是 vue-router2. vue-router 4.x 的基本使用步骤2.1 在项目中安装 vue-router2.2 定义路由组件2.3 声明路由链接和占位符2.4 创建路由模块三、vue-router 的高级用法1. 路由重定向2. 路由高亮3. 嵌套路由3.1 声明子路由链接和子路由占位符3.2 通过 children 属性声明子路由规则4. 动态路由匹配4

原创 Vue学习笔记07：ref 、动态组件、插槽、自定义指令

文章目录一、ref 引用1. 什么是 ref 引用2. 引用 DOM 和组件实例3. this.$nextTick(cb) 方法二、动态组件1. 什么是动态组件2. 动态组件渲染和 keep-alive三、插槽1. 什么是插槽2. 插槽的基础用法3. 具名插槽4. 作用域插槽4.1 表格使用作用域插槽四、自定义指令1. 什么是自定义指令2. 声明私有自定义指令的语法3. 声明全局自定义指令的语法4. updated 函数5. 指令的参数值五、table 案例1. 案例效果2. 实现步骤3. 搭建项目基本结构

原创 Vue学习笔记06：监听器、生命周期、数据共享

文章目录一、watch 侦听器1. 什么是 watch 侦听器2. watch 侦听器的基本语法3. axios + watch 检测用户名是否可用4. immediate 选项5. deep 选项6. 计算属性 vs 侦听器二、组件的生命周期1. 组件运行的过程2. 如何监听组件的不同时刻3. 组件中的生命周期函数4. 完整的生命周期图示三、组件之间的数据共享（重点）1. 组件之间的关系2. 父子组件之间的数据共享2.1 父组件向子组件共享数据2.2 子组件向父组件共享数据2.3 父子组件之间数据的双向同

原创 Vue学习笔记05：props、计算属性、自定义事件

一、props 验证1. 什么是 props 验证指的是：在封装组件时对外界传递过来的 props 数据进行合法性的校验，从而防止数据不合法的问题。使用数组类型的 props 节点的缺点：无法为每个 prop 指定具体的数据类型。2. 对象类型的 props 节点使用对象类型的 props 节点，可以对每个 prop 进行数据类型的校验，示意图如下：对象类型的 props 节点提供了多种数据验证方案，例如：基础的类型检查可以直接为组件的 prop 属性指定基础的校验类型，从而防止组

原创 Vue学习笔记04：组件思想、vite、vue-cli

文章目录一、单页面应用程序1. 什么是单页面应用程序2. 单页面应用程序的特点3. 单页面应用程序的优点4. 单页面应用程序的缺点5. 如何快速创建 vue 的 SPA 项目二、vite 的基本使用1. 什么是 vite2. 创建 vite 的项目3. 梳理项目的结构4. vite 项目的运行流程三、vue-cli 的基本使用1. 什么是 vue-cli2. 安装 vue-cli2.1 解决 Windows PowerShell 不识别 vue 命令的问题3. 基于 vue ui 创建 vue 项目4. 基

原创 Vue学习笔记03：Vue基础入门

Vue 基础入门一、Vue 简介1. 什么是 vue官方给出的概念：Vue (读音 /vjuː/，类似于 view) 是一套用于构建用户界面的渐进式框架。渐进式框架：Vue 不强求你一次性接受并使用它的全部功能特性，我们可以在项目中一点点来引入和使用 Vue，而不是用 Vue 的一个小功能，就必须用 Vue 来开发整个项目。1.1 解读核心关键词：构建用户界面前端开发者最主要的工作，就是为网站的使用者（又称为：网站的用户）构建出美观、舒适、好用的网页。1.2 构建用户界面的传统方式在传统

原创 Vue学习笔记02：前端工程化、webpack

前端工程化与 webpack一、前端工程化1. 小白眼中的前端开发 vs 实际的前端开发小白眼中的前端开发：会写 HTML + CSS + JavaScript 就会前端开发需要美化页面样式，就拽一个 bootstrap 过来需要操作 DOM 或发起 Ajax 请求，再拽一个 jQuery 过来需要快速实现网页布局效果，就拽一个 Layui 过来实际的前端开发：模块化（js 的模块化、css 的模块化、资源的模块化）组件化（复用现有的 UI 结构、样式、行为）规范化（目录结构

原创 Vue学习笔记01：ES6模块化与异步编程

ES6模块化与异步编程高级用法一、ES6 模块化1. 回顾：node.js 中如何实现模块化node.js 遵循了 CommonJS 的模块化规范。其中：导入其它模块使用 require() 方法模块对外共享成员使用 module.exports 对象模块化的好处：大家都遵守同样的模块化规范写代码，降低了沟通的成本，极大方便了各个模块之间的相互调用，利人利己。2. 前端模块化规范的分类在 ES6 模块化规范诞生之前，JavaScript 社区已经尝试并提出了 AMD、CMD、Common

原创 Kudu与Spark集成API操作

文章目录导入Maven坐标使用RDD对表CD操作使用RDD对数据CRUD操作使用SQL对Kudu操作导入Maven坐标<!-- Kudu Client依赖 --><dependency> <groupId>org.apache.kudu</groupId> <artifactId>kudu-client</artifactId> <version>1.9.0</version>&l

原创 Kudu常用Java API操作

文章目录导入Maven坐标对表操作API对数据CRUD操作API导入Maven坐标<dependency> <groupId>org.apache.kudu</groupId> <artifactId>kudu-client</artifactId> <version>1.9.0</version></dependency><dependency> <gr

原创 Centos7搭建Canal 1.1.4采集数据到Kafka

1.安装JDK、Zookeeper、Kafka单机版安装准备# 切换为命令模式systemctl set-default multi-user.targetreboot# 配置域名映射vim /etc/hosts192.168.88.10 node1# 关闭防火墙，并开机禁用systemctl stop firewalld.servicesystemctl disable firewalld.service JDK的搭建# 卸载自带的JDKrpm -qa | grep j

原创 Spark-Core基础练习题30道

Spark-Core练习题1、创建一个1-10数组的RDD，将所有元素*2形成新的RDDval inputRDD = sc.parallelize(1 to 10)val newRDD = inputRDD.map(_ * 2)2、创建一个10-20数组的RDD，使用mapPartitions将所有元素*2形成新的RDDval inputRDD = sc.parallelize(10 to 20)val newRDD = inputRDD.mapPartitions(iter => {

原创 Kafka知识点思维导图小结（Xmind）

原创 数据仓库简单概念

文章目录1. 数据仓库介绍1.1 数据分析的问题2.2 解决问题2.3 满足条件的组件2.4 数仓的简单概念2.5 数仓的特点2.6 数仓的标准概念2.7 总结3. OLTP 和 OLAP 的区别3.1 OLTP3.2 OLAP4. 数仓的常见基础架构模式4.1 ETL4.2 数据仓库与数据集市5. 维度分析5.1 维度5.2 指标5.3 总结与举例5.4 维度的分层和分级5.5 维度的上卷和下钻6. 数仓建模6.1 两种常见的数仓设计6.2 维度建模的概念6.3 事实表6.3.1 事实表的分类6.4 维度

原创 Hive HQL SQL经典练习题50道

基于Hive1.1语法1. 四张表结构学生表student(s_id,s_name,s_birth,s_sex) –学生编号,学生姓名, 出生年月,学生性别课程表course(c_id,c_name,t_id) – –课程编号, 课程名称, 教师编号教师表teacher(t_id,t_name) –教师编号,教师姓名成绩表score(s_id,c_id,s_score) –学生编号,课程编号,分数2. 建表与创建文本--学生表create table student(s_id s

原创 SQL经典练习题47道（简单）

【代码】SQL经典练习题47道（简单）

原创 org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String；I)Z 解决方案

解决下面两种异常的思路及其方案：org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z(null) entry in command string: null chmod 0700发现问题：在windows上运行WordCount程序报错Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativ

原创 SQL经典练习题45道

【代码】SQL经典练习题45道。

原创 Linux常用命令速查表-Centos6常用命令-大数据入门版本Linux

1.终端命令格式command [-options] [parameter]说明:command : 命令名, 相应功能的英文单词或单词的缩写[-options] : 选项, 可用来对命令进行控制, 也可以省略parameter : 传给命令的参数, 可以是 零个、一个 或者 多个1.1 常用Linux命令的基本使用序号命令对应英文作用01lslist查看当前目录下的内容02pwdprint working derectory查看当前所在文件夹

原创 Linux入门环境配置-安装虚拟机-Centos6配置网络

目录1.开启电脑虚拟化1.1检查电脑是否开启虚拟化1.2未开启,进入BIOS打开虚拟化功能1.3开启Intel Virtual Technology虚拟化2.安装VMWare虚拟机软件2.1下载软件2.2安装软件2.3检查是否安装完全成功2.4永久激活虚拟机并检查3.创建虚拟机4.安装Centos6操作系统4.1设置需要安装的镜像4.2安装虚拟机5.设置虚拟机快照6.配置虚拟机网络6.1(动态获取)6.2(静态配置)7. ifcfg-eth0各参数详解8.复制/克隆多个虚拟机,并配置上网8.1配置网络(方式