- 博客(15)
- 收藏
- 关注
RSS订阅
原创 部署CNI网络插件 The connection to the server raw.githubusercontent.com was refused - did you specify the r
访问不了：解决方案：1、找到域名对应的ip地址域名ip查询链接链接：http://ip.tool.chinaz.com/2、/etc/hosts中添加主机ip映射信息3、重新获取：kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml...
2020-10-22 22:12:16
11194
7
原创 2021-04-01
在这里插入代码片`package mian.java.com.caojiebing.test;import java.util.*;public class Test { public static void main(String[] args) { Scanner scanner = new Scanner(System.in); String line1 = scanner.nextLine(); String line2 = scann
2021-04-01 21:44:57
101
原创 Yarn的Job提交流程
Yarn的Job提交流程看完yaorn的job提交流程后，以一个看病的案例去理解这个流程：拿一个看病的案例来解释yarn的job提交流程最近感觉腰酸、背痛、腿还抽筋需要看下医生，来到医院，第一步首先需要到一楼大厅去给医生说你有病，需要看下病；一楼大厅的美女办事人员说，给你一个号00000000198（applicationId），这个是你的唯一标记，你拿这个号先去做下登记，再给你一个地址///…staging/xxx/xxx ，把登记的信息提交到云端这个地址下你拿到这个号后，去自
2021-02-19 19:50:33
233
1
原创 HDFS客户端操作
1．根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径（例如：D:\Develop\hadoop-2.7.2），如图所示。2.2．配置HADOOP_HOME环境变量，如图所示3.配置Path环境变量，如图所示4.创建一个Maven工程HdfsClientDemo5．导入相应的依赖坐标+日志添加<dependencies> <dependency> <groupId>junit</groupId> <
2021-02-13 23:57:35
130
原创 java几种排序
Java的几种排序快速排序public static void quickSort(int left, int right, List<Integer> array) { int l = left; int r = right; int pivot = array.get((left + right) / 2); int temp = 0; while (l < r) { //
2021-02-13 22:38:48
90
1
原创 FileInputFormat切片机制
FileInputFormat切片机制FileInputFormat的切片方法getSplits本示例以1G的一个文件来进行分析，块大小为128M，则1G数据有8个块 public List<InputSplit> getSplits(JobContext job) throws IOException { long minSize = Math.max(this.getFormatMinSplitSize(), getMinSplitSize(job));//若不进行配
2020-10-17 18:41:36
313
原创 MapReduce的Job提交流程
编写一个简单的WordCount程序Mapperimport org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;import java.util.Arrays;public class WordCountMapper extends Mapper<LongWrita
2020-10-17 15:13:32
379
原创 hdfs常用的文件操作
hdfs常用的文件操作maven依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEASE</version> </dependency>
2020-10-09 21:33:00
64
原创 hadoop服役与退役节点
服役新数据节点背景：随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。原来数据节点有三个（hadoopc1h1、hadoopc1h2、hadoopc1h3），需要扩充两个数据节点（hadoopc1h4、hadoopc1h4）1.准备两个新的数据节点2.修改IP地址和主机名称3.安装jdk并配置环境变量4.copy一份数据节点的hadoop安装目录到新的数据节点上并配置环境变量5.source一下配置文件[root@ha
2020-10-08 16:52:11
215
原创 hadoop三种模式的配置与启动
hadoop三种模式的简单配置一、local模式1.安装jdk2.解压hadoop包到安装目录3./etc/profile中配置jdk和hadoop环境变量（如有需要）4.检查hadoop是否安装成功二、伪分布式运行模式1.配置并启动hdfs1、按照上述local模式安装步骤2、hadoop的安装目录下的/etc/hadoop/hadoop-env.sh中修改java的环境变量3、hadoop的安装目录下的/etc/hadoop/目录下修改配置如下4、启动hdfs2.配置并启动yarn1、hadoop的安装
2020-10-08 13:53:49
829
原创 这样理解NN和2NN工作机制
NamoNode:介绍：NameNode管理文件系统的命名空间。它维护着文件系统树及整棵树内所有的文件和目录。这些信息以两个文件形式永久保存在本地磁盘上：命名空间镜像文件和编辑日志文件。NameNode也记录着每个文件中各个块所在的数据节点信息，但它并不永久保存块的位置信息，因为这些信息在系统启动时由数据节点重建。拿一本书作类比，namenode就是这本书的目录，你想看哪一章，通过目录检索就可以定位到章节所在页。首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行
2020-10-05 23:08:19
274
原创 Netty核心技术
Netty核心技术提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录Netty核心技术前言一、Netty介绍和应用场景1.介绍2. Netty的应用场景二、JAVA的BIO1.介绍2.应用实例1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学
2020-10-01 01:44:35
540
原创 NIO的文件读写操作
import java.io.*;import java.net.InetSocketAddress;import java.nio.ByteBuffer;import java.nio.MappedByteBuffer;import java.nio.channels.FileChannel;import java.nio.channels.ServerSocketChannel;import java.nio.channels.SocketChannel;import java.util.
2020-09-26 23:09:32
434
原创 NIO之Buffer的简单使用
NIO之Buffer的简单使用import java.nio.IntBuffer;public class BufferTest { public static void main(String[] args) { IntBuffer buffer = IntBuffer.allocate(5); System.out.println("插入数据前： "+buffer.mark());//做标pos、lim、cap标记记用 int[] ints =
2020-09-26 20:01:27
150
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人