总分全班倒数第一-CSDN博客

原创 java学习-八大排序算法

关系复杂度1.直接插入排序基本思想：将新的数据插入已经排好的数据列中。将第一个和第二个数排序，构成有序数列然后将第三个数插进去，构成新的有序数列，后面的数重复这个步骤算法描述1、设定插入的次数，即是循环次数,for(int i=1;i<length;i++)，1个数的那次不用插入。2、设定插入的数和得到的已经排好的序列的最后一个数,insertNum和j=i-1。3、从最后一个数向前开始循环，如果插入数小于当前数就将当前数向前移动一位4、将当前位置放置到空的位置，即j+1。

2021-04-22 23:38:48 3613 16

原创 java学习-泛型

1、泛型概述泛型即是参数化类型，定义方法时候传入形式参数，调用方法时候传入实际参数，泛型的本质是为了参数化类型（在不创建新的类型的情况下，通过泛型指定的不同类型来控制形参具体限制的类型）。2、一个例子List arrayList = new ArrayList();arrayList.add("aaaa");arrayList.add(100);for(int i = 0; i< arrayList.size();i++){ String item = (String)arra

2021-04-22 21:11:45 202 1

原创 java学习-数据结构

1常见数据结构2、数组数组是相同数据类型元素的集合，get和set的操作都是O(1),add和remove的操作都是O(N),int data[] = new int[3];int data[] = {1, 2, 4};3、链表链表是一种非连续、非顺序的结构，数据元素的逻辑顺序是通过链表中的指针链接次序实现的，链表由一系列结点组成。链表的优点是：add和remove操作时间上都是O(1)的；缺点是：get和set操作时间上都是O(N)的，而且需要额外的空间存储指向其他数据地址的项。查找操作

2021-04-22 14:29:15 206

原创 java学习-网络编程

1、概述计算机通过传输介质，通信设施和网络通信协议，把不同的计算机连接起来，实现资源共享和传输，网络编程就是不同计算机之间进行通信传输。2、网络分层计算网络分为网络协议和体系结构2.1网络体系结构通过网络发送数据这个过程靠的是计算机网络通信完成的。分为多层，每层之间通过接口连接，层次实现功能是协议数据单元（PDU）来描述。ISO制定OSI模型是不基于具体机型，操作系统和公司的网络体系结构称为开放系统互联参考模型但是这个模型过于庞大，复杂，美国国防部提出了TCP/IP协议参考模型

2021-04-22 14:26:52 136

原创 java学习-多线程

1、进程和线程的区别进程：程序一次动态加载的过程，代码执行到执行完毕的一个过程线程：比进程更小的单元，1.2java线程的五种状态新建（new）:如：Thread t = new MyThread();就绪（Runnable）:t.start()线程进入就绪状态，随时准备cpu调度运行（Runing）:cpu开始调度处于就绪状态的线程阻塞（Blocked）:运行状态的线程由于某种原因，放弃对cpu的使用权，进入阻塞状态1.等待阻塞：线程执行wait()方法2.同步阻塞：线程在获取synch

2021-04-21 22:19:17 77 1

原创 java学习-集合

1、集合和数组的区别集合数组长度可变固定内容只能是引用类型基本数据类型，引用类型元素内容可以存储不同的数据类型只能存储同一种数据类型2、List接口2.1 list的特点1 元素存储有序2 元素可以重复3 可以通过索引查找元素2.2常见子类（1）ArrayList：底层数据结构是数组，查询快，增删慢，线程不安全，效率高，可以存储重复元素（2）LinkedList 底层数据结构是链表，查询慢，增删快，线程不安全，效率高，可以存储重复元素（

2021-04-20 22:46:36 86

原创 java学习-反射机制

1、反射的概述1.1、什么是反射反射就是在运行时才知道要操作的类是什么，并且可以在运行时获取类的完整构造，并调用对应的方法。JAVA反射机制是在运行状态中，对于任意一个类，都能够知道这个类的所有属性和方法；对于任意一个对象，都能够调用它的任意一个方法和属性；这种动态获取的信息以及动态调用对象的方法的功能称为java语言的反射机制。要想解剖一个类,必须先要获取到该类的字节码文件对象。而解剖使用的就是Class类中的方法.所以先要获取到每一个字节码文件对应的Class类型的对象。反射就是将java中的

2021-04-20 19:28:31 117

原创 Java学习-注解

1、注解的定义注解通过 @interface 关键字进行定义注解的本质就是一个Annotation接口public @interface TestAnnotation {}它的形式跟接口很类似，不过前面多了一个 @ 符号。上面的代码就创建了一个名字为 TestAnnotaion 的注解。你可以简单理解为创建了一张名字为 TestAnnotation 的标签。@TestAnnotation()public class Test { @TestAnnotation public

2021-04-20 19:08:16 97 1

原创 java基础-类和对象的基本概念学习

1、面向对象与面向过程面向过程一种较早的编程思想，顾名思义就是该思想是站着过程的角度思考问题，强调的就是功能行为，功能的执行过程，即先后顺序，而每一个功能我们都使用函数（类似于方法）把这些步骤一步一步实现。使用的时候依次调用函数就可以了。（效率高）面向对象一种基于面向过程的新编程思想，顾名思义就是该思想是站在对象的角度思考问题，我们把多个功能合理放到不同对象里，强调的是具备某些功能的对象。（易扩展，低耦合）引入例子：先用面向过程的方式来写（c语言版）#include <stdio.h&g

2021-04-20 13:38:24 225

原创 java基础-常用类

java常用类1、Object类Object类是所有类的父类，也就是说任何一个类在定义时如果没有明确地继承一个父类，那它就是Object类的子类，所以任何java对象都可以调用Object类的方法。主要方法：方法说明Object clone()创建与该对象的类相同的新对象boolean equals(Object o)比较两个对象是否相等。默认比较的是地址值。void finalize()当垃圾回收器确定不存在对该对象的更多引用时，对象的圾回收器调用该方法。目前

2021-04-19 08:19:27 143

原创 docker版fastdfs单机版搭建

fastdfs介绍FastDFS是一个以C语言开发的开源轻量级分布式文件系统，由阿里巴巴开发并开源。它对文件进行管理，功能包括：文件存储、文件同步、文件访问（上传、下载）等。解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。优点FastDFS作为一个分布式服务器，对轻量级、横向扩展、容灾备份、高可用、高性能、负载均衡都有着充分的考虑组成FastDFS由跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端..

2020-09-27 10:17:12 428 3

原创 Harbor仓库的简单使用

接着上一篇介绍了harbor的搭建，这篇将介绍harbor的上传和下载1、修改docker client配置修改/etc/docker/daemon.json，其中修改内容如下{"registry-mirrors": ["https://zkscx4sa.mirror.aliyuncs.com"],"insecure-registries":["192.168.201.132"]}然后重启docker服务systemctl restart docker2、创建镜像可以根据基础镜像制作

2020-09-22 22:15:18 469

原创 Harbor私有仓库搭建

1、docker安装首先安装docker和docker-composedocker安装参考上一篇链接docker一键安装脚本2、安装docker-compose[root@localhost ~]# yum install python-pip[root@localhost ~]# pip install docker-compose其中执行第二条命名可能失败，执行以下命令升级pip install --upgrade pip测试 docker-compose --version

2020-09-22 21:09:45 108

原创利用keepalived实现nginx的高可用

配置多个nginx，当其中一个nginx挂了，自动切换到另一个nginx1、环境准备10.46.2.30：nginx+keepalived master10.46.2.31：nginx+keepalived backup虚拟ip：10.46.2.233（vip）对外提供服务的ip如下图各个组件的关系2.1、keepalived安装两台nginx都需要安装keepalived[root@master ~]# yum install keepalived -y下面是一些安装后的文件/etc

2020-09-21 11:46:52 126

原创 jenkins+gitee+docker自动化构建springcloud多模块(二)

1、环境说明接着上一篇的jenkins安装，本篇将采用参数化构建参数和pipline语法完成一个简单的流水线构建的过程。参数化构建效果如下图项目结构大致如下2、必须安装插件Extended Choice Parameter安装好重启jenkins，如图所示，这里我已经安装好了插件。3、新建一个流水线任务如下图所示4、参数化构建配置如下图，我们首先选择了我们刚刚安装的插件其中下面就是我配置上图我们配置了选择发布的分支如有需要，类似我们可以配置需要发布的服务器然后我们再配

2020-09-13 16:30:43 1059

原创一键更换dockerdata目录脚本

1、迁移到目录为/app/dockerdata/lib/2、脚本内容如下#!/bin/shset -eecho "停止docker服务"systemctl stop dockerecho "创建新的docker目录"mkdir -p /app/dockerdata/libecho "下载rsync"yum install rsync -y echo "迁移docker目录"rsync -avz /var/lib/docker /app/dockerdata/lib/ec

2020-07-06 14:59:07 430

原创 docker一键安装脚本

#!/bin/shset -eecho "安装需要的软件"yum install -y yum-utils \ device-mapper-persistent-data \ lvm2 echo "设置稳定仓库"yum-config-manager \ --add-repo \ https://download.docker.com/linux/centos/docker-ce.repoecho "安装指定版本的docker"yum install -y doc

2020-07-06 14:55:16 449

原创 centos7更换yum源为阿里云源

新下来的机器原本以为能ping通外网就能下载了，结果发现使用yum下载软件报错解决方案如下，更换yum的下载源为阿里云具体脚本如下#!/bin/sh cd /etc/yum.repos.d && \mv CentOS-Base.repo CentOS-Base.repo.bak && \wget -O CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo && \yum cl

2020-07-05 18:29:22 578

原创 jenkins+gitee+docker自动化构建springcloud多模块(一)

一、需要提前安装的环境本次项目是基于centos7.x安装1、git(拉取代码)2、java8(基本环境)3、maven（编译项目）二、jenkins安装1、获取jenkins.repo[root@kedouer~]# wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat-stable/jenkins.repo[root@kedouer ~]# rpm --import https://pkg.jenkins.

2020-07-05 18:20:12 782

原创 git的安装

最早Git是在Linux上开发的，很长一段时间内，Git也只能在Linux和Unix系统上跑。不过，慢慢地有人把它移植到了Windows上。现在，Git可以在Linux、Unix、Mac和Windows这几大平台上正常运行了。由于开发机大多数情况都是windows，所以本文只讲解windows下的git的安装及使用。1、下载官网地址：https://git-scm.com/下载地址：htt...

2019-12-07 11:51:11 111

原创 git介绍

1，git历史Linux 内核开源项目有着为数众广的参与者。绝大多数的 Linux 内核维护工作都花在了提交补丁和保存归档的繁琐事务上（1991－2002年间）。到 2002 年，Linux系统已经发展了十年了，代码库之大让Linus很难继续通过手工方式管理了，于是整个项目组开始启用分布式版本控制系统 BitKeeper 来管理和维护代码。到 2005 年的时候，开发 BitKeeper 的商...

2019-12-07 11:42:58 207

原创 docker的安装以及使用

1，docker的介绍1.1，docker和虚拟机的区别虚拟机的性能比较依靠于硬件，而docker开源且轻量化，构建在操作系统中，更加轻便docker的轻量化适用于部署少量的应用，例如说一个docker容器部署一个redis，一个docker和虚拟机的区别mysqldocker基于dockerfile来进行构建容器，程序开发人员可以手动编写dockerfile来指定相应的系统环境和依赖1.2...

2019-12-07 11:18:30 329 1

原创数据结构之直接插入排序

1，思路：将数组分为有序区和无序区，从无序区间的第一个数作为临时变量（tmp），从后向前扫描有序区间，直到临时变量(tmp)小于有序区间的数，则插入，类似于扑克牌的斗地主，每次选牌后就要和手中已经有的牌进行比较2，算法实例：初始的数组【63 4 24 1 3 15】第一轮排序 63【4 24 1 3 15】第二轮排序 4 63【24 1 3 15】第三轮排序 4 24 63...

2019-08-30 19:55:27 298

原创数据结构与算法的基本知识点

一算法1.1 算法的概念：解题方案的准确而又完整的描述。1.2 算法的基本特征：可行性确定性有穷性有效性1.3 算法设计的基本方案：列举法归纳法递推递归1.4 算法复杂度：时间复杂度指的是执行算法所需要的计算工作量。空间复杂度指的是执行算法所需要的内存空间。二数据结构2.1 数据结构的基本概念指的是相互有关联的元素的集合。2.1.1...

2019-06-29 17:30:15 1888

原创 sqoop 导入数据到hive报错数据库不存在，但是我在hive已经创建了数据库

1，报错日志如下19/05/25 22:18:43 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `back` AS t LIMIT 119/05/25 22:18:43 INFO hive.HiveImport: Loading uploaded data into Hive19/05/25 22:18:...

2019-05-26 10:34:05 1991 1

原创 centos安装mysql5.6或者mysql5.7

本次用centos7安装mysql5.7为例1，首先贴出不同centos对应的mysql的版本连接mysql5.7 centos7:https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpmmysql5.7 centos6:https://dev.mysql.com/get/mysql57-community...

2019-05-19 21:03:20 366

原创 flume传送数据到hdfs上报错

1，错误主要日志如下2019-05-19 08:38:58,582 (agent-shutdown-hook) [INFO - org.apache.flume.instrumentation.MonitoredCounterGroup.stop(MonitoredCounterGroup.java:178)] Shutdown Metric for type: CHANNEL, name: c...

2019-05-19 20:50:34 1967

原创 sqoop从hive导出到mysql报错 ERROR mapreduce.ExportJobBase: Export job failed!

1，错误日志关键如下19/05/17 11:48:15 INFO mapreduce.Job: Running job: job_1558105459102_000719/05/17 11:48:42 INFO mapreduce.Job: Job job_1558105459102_0007 running in uber mode : false19/05/17 11:48:42 INF...

2019-05-18 00:06:52 11568 15

原创 centos6.5如何设置ntp时间同步

1，环境linux操作系统：centos6.5主机名ipmaster000(主节点·)192.168.137.170master001192.168.137.171master002192.168.137.1722，三台机器都要下载ntpyum -y install ntp在主节点上执行以下命令cp /usr/share/zoneinfo/A...

2019-04-10 20:47:58 1884

原创 sqoop从hive导出到mysql数据缺失的解决方法

1，hive创建表的语句CREATE TABLE `olympic_data`( `name` string, `age` int, `state` string, `year` string, `date` string, `project` string, `gold` int, `silver` int, `bronze` int, `total` ...

2019-03-16 20:25:44 3751 5

原创 numpy多种创建数组的方法

numpy是python科学计算的核心工具包之一，它提供了高性能多维数组结构–ndarray和用来操控这些数组的各种工具和函数。#导入包import numpy as np#维度方向#创建数组##创建一维数组：import numpy as np np.zeros((2)) //两个0的一维数组结果如下：array([0., 0.])np.empty((3)) /...

2019-01-22 21:44:59 1878 1

原创用hive做一个简单的单词统计

1，开始学习Hadoop的时候为了练习单词统计，排序，每次都得用java编写MapReduce程序，常常一个单词统计的代码都得写很久，所以我就提前练习了一下hive语法，做一个单词的统计。2，首先本地构造数据，数据内容如下：[hadoop@master ~]$ cat count.txthello,world,welcomehello,welcomeworld,hello,hi[had...

2018-11-17 15:14:18 841

原创 java实现直接选择排序

1，思路：将数组分为有序区和无序区，无序区间找最大的数与无序区间的最后一个交换，作为有序区间的第一个数2，算法实例：初始的数组【63 4 24 1 3 15】第一轮排序【15 4 24 1 3】 64第二轮排序【15 4 3 1】24 63第三轮排序【1 4 3 】15 24 63第四轮排序【1 3】4 15 24 633，算法实现：public class Selct...

2018-11-15 23:36:18 446 1

原创 mysql基础语法

1、新建用户：CREATE USER name IDENTIFIED BY '123456'; // 新建一个用户名为name，密码为123456的用户2、更改密码：SET PASSWORD FOR name=PASSWORD('654321'); // 更改用户名为name的密码3、权限管理：SHOW GRANTS FOR name; //查看name用户权限GRANT...

2018-11-08 16:45:28 187

原创 MapReduce的优缺点

优点1，开发简单：用户不用考虑进程间的通信和套接字编程2，可扩展性强：当集群资源不能满足计算需求时，可以增加节点的方式达到线性扩展集群的目的。3，容错性强：对于节点故障导致失败的作业，MapReduce计算框架会自动将作业安排到健康的节点进行，直到任务完成。缺点1，执行速度慢：普通的MapReduce作业几分钟完成，数据量大的可能几个小时甚至一天的时间。2，MapReduce过于低层化...

2018-10-26 22:51:26 12302

原创 HDFS的优缺点

优点：（1）适合存储超大文件：存储级别基本都是GB甚至TB以上。（2）服务器廉价（3）流式数据访问：一次写入后，多次读取，当数据作为分析对象后，以后的读取时间比第一次读取少很多时间。缺点：（1）实时的数据访问弱：由于存储量大，所以读取数据慢。（2）大量小文件：因为Namenode把文件系统的元数据放置在内存中，所以文件系统所能容纳的文件数目是由Namenode的内存大小来决定，影响性...

2018-10-26 22:37:25 2478

原创 datanode和namenode几种重要jps进程的简单介绍

1，Namenode和SecondaryNameNode:NameNode简称NN,SecondaryNameNode简称SNN,（1）NN是名字节点，是HDFS的主从架构的主的扮演者，相当于HDFS的大脑，维护整个文件系统的目录树，以及目录树的所有文件和目录，他们以两种文件存储在本地文件FSImage和edit log,FSImage称为命名空间镜像也叫文件系统的镜像（File Syste...

2018-10-26 22:18:13 949

原创 HDFS写流程

1，几种hdfs读取命令的区别：hdfs dfs -ls / //读取的hdfs系统的根目录，hdfs dfs -ls hdfs://hadoop:9000/ //hdfs://hadoop:9000/来自配置文件core-site.xml的hdfs dfs -ls //读取当前操作用户的路径例如 /user/用户/2.写流程图：hdfs dfs -put xx...

2018-10-26 21:49:49 309

原创 HDFS读流程

1，读流程：1）初始化FileSystem,然后向客户端（client）用FileSystem的open（）函数打开文件，2）FileSystem用RPC调用元数据节点，得到文件的数据块信息，对于每一个数据块，元数据节点返回数据块的数据节点的地址。3）FileSystem返回FSDataInputStream给客户端，用来读取数据，客户端调用stream的read()函数开始读取数据。4...

2018-10-25 23:21:36 164

原创 Centos6.5最快捷安装mysql

1,（root用户主节点执行）安装mysql客户端：[root@master ~]# yum install mysql2，安装mysql服务器端(期间会弹出窗口设置root用户的密码)：[root@master ~]# yum install mysql-server[root@master ~]# yum install mysql-dever3，启动mysql服务，并且以r...

2018-10-17 23:26:22 114

空空如也

空空如也