- 博客(19)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Hive系列一（什么是Hive、为什么需要Hive）
通过简单的Hive SQL就能实现统计功能。了解MapReduce编程的都知道，MR程序三板斧：Mapper、Reduce、Driver。本身写代码比较繁琐，而且具有一定的重复工作量。Hive分析数据底层的实现是MapReduce（也可配置为Spark或者Tez）。Hive的本质：Hive是一个Hadoop的客户端，用于将HSQL转换成MR程序。
2023-12-27 10:32:13
416
1
原创 Hadoop系列十（yarn工作机制)
Yarn是一个资源调度平台。负责为运算程序提供相应的运算资源，相当于一个分布式的操作系统平台，而MapReduce是运行再平台上的应用。Yarn主要由ResourceManager、NodeManager、ApplicationMaster、Container等组件构成。
2023-12-27 09:54:09
384
1
原创 Hadoop系列九（MapReduce工作机制）
MapReduce最核心的部分是它的MapTask阶段和ReduceTask阶段。可以简单的理解MapTask阶段用于将一行数据拆分成一个KV的数据，ReduceTask阶段是对Map阶段生成的KV数据做统计。Hadoop的MapReduce的大致流程。
2023-12-26 16:38:54
1311
1
原创 Hadoop系列八（自定义OutputFormat）
try {//获取文件系统对象//用文件系统对象创建两个输出流对应不同的目录@Override//根据一行的log数据是否包含atguigu,判断两条输出流输出的内容} else {@Override//关流@Override//创建一个自定义的RecordWriter返回。
2023-12-26 10:33:42
387
1
原创 Hadoop系列七（Combiner + Shuffle简单理解）
Mapper之后，Reducer之前，Hadoop对数据的操作称为Shuffle。Mapper处理结束的数据，会先存放在环形缓冲区中（内存中）环形缓冲区将内存一分为二，比如预设了环形缓冲区的内存为100M，那么每部分就是50M的内存，mapper向缓冲区写入数据时会先在一个分区内写入数据，当该分区的数据达到80%时，会切换分区，后续所有的数据都写入另外一个分区。数据达到80%的分区会进行一次数据分区，然后对分区内的数据做排序，之后会产生一次数据的溢写，所谓的溢写就是将数据由内存写到磁盘的过程。
2023-12-25 17:27:46
401
原创 Hadoop系列六（Hadoop 排序）
排序是Hadoop的默认行为，不管你是否需要，MapReduce的MapTask和Task都会对输出的结果的Key进行排序，默认的排序顺序是按照字典顺序排列，实现的方法是快速排序。自定义排序需要继承compareTo方法就完成了自定义排序。下面介绍几种排序的场景。
2023-12-25 15:57:54
469
原创 Hadoop系列五（hadoop 序列化与分区）
Data//上行流量//下行流量//总流量//4 实现序列化和反序列化方法,注意顺序一定要保持一致@Override@Override//5 重写ToString@Override。
2023-12-22 16:26:08
459
原创 Hive系列二（Hive 安装与测试）
将下载的 apache-hive-3.1.3-bin.tar.gz 拷贝到 hadoop服务器上 /soft/下。可以在web页面上查看到数据。
2023-12-21 14:44:00
344
原创 Hadoop系列四（hadoop mapreduce 代码+本地测试+集群测试）
参数1：输入文件路径，参数2：最终输出文件夹（文件夹存在会报异常，每次运行都需要将文件夹删除，或者指定一个不存在的文件夹）会在项目路径下多一个target文件夹，jar包就在target文件夹下。将jar包拷贝到hadoop服务器上，每个hadoop节点都需要拷贝一份。将输入文件上传到集群环境的HDFS上。
2023-12-21 10:20:35
498
原创 Hadoop系列二（hadoop 集群配置）
可以登录HDFS的web页面查看：http://hadoop100:9870。可以直接在页面查看文件系统的数据。每台服务器都需要修改一下内容。
2023-12-19 15:14:41
473
1
原创 Hadoop系列一（Hadoop 单节点安装）
hostnamectl set-hostname my-hostname 或者编辑 /etc/hosts。ssh localhost 如果提示需要输入密码则执行以下指令。hostname 可以验证修改是否成功。
2023-12-18 17:25:03
349
原创 vue+Element-Plus+Upload+axios多文件同时上传
vue+Element-Plus+Upload+axios多文件同时上传
2023-11-03 15:17:21
1355
1
原创 springboot集成spring.data.redis
spring.data.redis 使用+RedisTemplate bean对象的加载逻辑+自定义RedisTemplate bean对象
2023-10-18 09:38:52
124
原创 springboot-shiro Session/SessionDao/SessionManager/Cache
shiro本身提供了很多场景的sessionmanager，我们这里主要讨论web场景。web场景下的sessionmanager：DefaultWebSessionManager。这里介绍一下sessionmanager。如果对源码不感兴趣，可以跳过本小节。SessionManage 本身是一个接口，定义了start和getSeesion 两个方法。先看一下getSession ，确认一下session 是如何缓存的，又如何取获取session。再次强调一下，这里研究是的web场景。
2023-10-14 22:58:08
235
1
原创 java 线性、4参数（自定义）。。。曲线拟合的简单使用
除了jdk自带的曲线拟合，jdk还提供了自定义的曲线拟合1、实现ParametricUnivariateFunction 接口value方法用于申明函数gradient 则是对函数遍历参数（本例中是a、b、c、d）的求导/*** * 指数函数的求导： f(x) = a^x => f'(x) = a^x * ln(a)* 密函数的求导：f(x) = x^a => f'(x) = a * x^(a-1)
2023-09-12 14:34:11
1709
4
原创 kuboard-spray 安装k8s集群
这里需要注意，版本latest-amd64，不同版本的kuboard-spray能够安装的k8s版本不一样，如果发现版本不匹配，可以卸载重新安装。可以帮助我们快速搭建k8s集群。配置ip，登录密码，etcd节点配置etcd名称，老版本可能还需要配置ssh的信息，新版版直接在全局配置里默认好了，其他配置选择配置。别名、角色配置，要求至少有一个etcd节点，etcd节点数量为奇数，从节点数量必须为奇数，我这里配置了一主一从。资源导入，根据你选定的k8s版本、系统选择合适的资源，yum安装，如果安装过可以忽略。
2023-08-30 10:37:20
362
1
原创 k8s 环境安装
这里说明一下，containerd 、kubelet、kubeadm、kubectl的安装是每个节点都需要的，这个是k8s运行环境，，我们可以拿一台虚拟机安装好上述步骤后，关闭虚拟机，使用vm的克隆拷贝出一个模板主机，这样就可以用这个模板克隆更多的虚拟机，就不需要每个虚拟机都安装一次了。这里选择一主三从的模式，所以需要至少4台虚拟机，这里演示一台linux的配置，其余一样设置，不同的虚拟机只需要别名（hostname）和ip地址不同（但是必须在同一个网段内），k8s 版本使用的是1.27.5-0。
2023-08-28 15:27:17
256
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人