- 博客(42)
- 收藏
- 关注
RSS订阅原创 Nginx代理页面报错NET::ERR_INCOMPLETE_CHUNKED_ENCODING 200(ok)/NET::ERR_ERR_CONTENT_LENGTH_MISMATCH
NET::ERR_INCOMPLETE_CHUNKED_ENCODING 200(ok)NET::ERR_ERR_CONTENT_LENGTH_MISMATCH
2022-06-17 10:26:15
1162
1
原创 如何根据pom文件创建自己的本地仓库
离线/内网环境下，当我们拿到一个maven项目，并没有给我们相关lib包和maven仓库，我们如何根据pom文件创建自己的本地仓库根据pom文件的坐标去下载单个jar包依赖往往会出现还依赖其他包的情况，pom文件不报错但是打包失败。这种情况下在外网通过pom文件直接下载依赖包环境准备:JDK,MAVEN,IDEA（JDK,MAVEN需配置好环境变量）操作过程:环境准备完毕后，使用idea打开一个maven项目，把pom文件替换，配置好自己本地的maven仓库新建一个maven仓库路径
2022-05-13 10:53:23
2492
原创 dos2unix离线安装
liunx系统没有dos2unix命令如何离线安装安装包位置:百度网盘 请输入提取码百度网盘为您提供文件的网络备份、同步和分享服务。空间大、速度快、安全稳固，支持教育网加速，支持手机端。注册使用百度网盘即可享受免费存储空间https://pan.baidu.com/s/1TIFoquLaQcIJPH_FHX4kzA提取码:si02安装包拷贝到linux环境下目录执行命令:rpm -ivh dos2unix-7.4.0-3.el8.x86_64.rpm...
2022-05-11 10:32:42
2203
1
原创 统计一个字符串中每个字符出现的次数，并按出现的次数降序输出统计结果
/*** 统计一个字符串中每个字符出现的次数，并按出现的次数降序输出统计结果 如统计 abdc2223333ddd 输出如下统计结果 字符3出现了4次 字符d出现了4次 字符2出现了3次 字符b出现了1次 字符c出现了1次 字符a出现了1次*/public class CharacterCountTest {...
2022-05-11 09:32:20
1590
原创 按照一个字段去重之后再对另一个字段进行分组统计
例如表t、字段a、字段bselect count(*),a from (select a,b from t group by a,b) as t2 group by a;使用到了列转行的思想
2021-12-09 15:39:37
975
原创 Linux文件非正常退出问题如何解决
如何在Linux文件编辑过程中非正常退出（例如断电断网），再进入就会显示如下界面。可以先按enter进入直接文件编辑，编辑完成后再解决这个问题，即去掉隐藏的.swp文件。可以通过ls -a查看隐藏文件，找到.swp文件。然后通过rm -f删除隐藏文件，再进入文件就可以了。...
2019-03-08 13:39:24
1374
2
原创 hdfs的常用命令
查看某个文件：hdfs dfs -cat +绝对路径（/tmp/index.html）创建目录：hdfs dfs -mkdir +hdfs绝对路径（/tmp/niudir）删除目录：hdfs dfs -rmr +hdfs绝对路径（/tmp/niudir）下载文件：hdfs dfs -copyFromLocal +hdfs绝对路径（下载到当前路径）上传文件：hdf...
2019-03-06 19:36:28
163
转载 Hadoop组件？Hadoop由什么组成？
Hadoop的三大核心组件：hdfs、yarn、MapReduceHadoop核心组件包括：基础组件:hdfs、yarn、MapReduce常用组件:hive、hbase、streaming、zookeeperHdfs分布式海量数据存储功能yarn提供任务调度和资源管理功能资源管理：协调平衡集群中的计算节点，合理分配任务调度：一个作业对应多个任务，负责任务调度，状...
2019-03-06 19:06:16
1964
转载 grep用法
字符匹配: 1 2 3 4 .： 匹配任意单个字符； []： 匹配指定范围内的任意单个字符 [^]：匹配指定范围外的任意单个字符 [:digit:] [:lower:] [:upper:] [:alpha:] [:alnum:] [:punct:] [:space:] 匹配次数：用在要指定次数的字...
2019-01-27 00:24:44
239
转载 Linux的三大高级指令
文本文件student姓名 学号 语文成绩 数学成绩 英语成绩 总成绩张三 001 80 90 95 265李四 002 1 85 90 245赵五 003 65 90 70 225王六 ...
2019-01-27 00:08:41
1312
转载 什么是算法
算法是对特定问题求解步骤的一种描述，他是指令的有限序列，其中每一条指令表示一个或者多个操作，此外，一个算法还具有下列5个重要特性：（1）有穷性：一个算法必须总是（对任何合法的输入值）在执行有穷步之后结束，且每一步都可在有穷时间内完成。（2）确定性：算法中每一条指令必须有确切的涵义，读者理解时不会产生二义性，并且，在任何条件下，算法只有唯一的一条执行路径，即对于相同的输入只能得出相同的输出。...
2019-01-18 19:03:47
1293
原创 redis登录客户端基本流程
修改端口号：vi ../redis.conf 通过Esc->:/+查找内容->按n查找下一个 设置一个自己想要的端口号（>1024的）使命令生效：./redis-server ../redis.conf方法一：服务跑起来之后不能关，另开窗口连客户端：./redis-cli -h 127.0.0.1 -p 6789方法二：nohup ./redis-s...
2018-12-31 21:49:42
2198
转载 泛型是什么？
转自：https://blog.csdn.net/qingmengwuhen1/article/details/52139352泛型用一个通用的数据类型T来代替object，在类实例化时指定T的类型，运行时（Runtime）自动编译为本地代码，运行效率和代码质量都有很大提高，并且保证数据类型安全。如果不使用泛型，可能出现的问题如果传的int类型参数，要写一个方法。如果传string类型...
2018-12-29 08:49:40
218
转载 时间复杂度
转自：https://blog.csdn.net/eirlys_north/article/details/52959540一、定义一般情况下，算法中基本操作重复执行的次数是问题规模n的某个函数，用T(n)表示，若有某个辅助函数f(n)，使得当n趋近于无穷大时，T(n)/f(n)的极限值为不等于零的常数，则称f(n)是T(n)的同数量级函数。记作T(n)=O(f(n))，称O(f(n))为算法...
2018-12-27 12:51:54
343
转载 order by 、sort by、distribute by、group by、cluster by的区别
1、order by hive中的order by 和传统sql中的order by 一样，对数据做全局排序，加上排序，会新启动一个job进行排序，会把所有数据放到同一个reduce中进行处理，不管数据多少，不管文件多少，都启用一个reduce进行处理。如果指定了hive.mapred.mode=strict（默认值是nonstrict）,这时就必须指定limit来限制输出条数，原因是：所有的数...
2018-12-26 23:36:56
1434
原创 并行程序设计小结
单线程：1.实现runnable接口，extends thread ,重写run方法（run方法里面是先执行的方法，需等待后再执行当前线程）。2.实现callerable接口，重写call方法，public call(){},T是基本类型的包装类，通过list装结果。（带返回值的单线程）。单线程通过调用static方法来调用，线程过程为：创建->就绪->运行->阻塞...
2018-12-25 23:26:52
663
转载 分布式资源管理与任务调度框架yarn的运行流程
1)用户向 YARN 中提交应用程序/作业，其中包括 ApplicationMaster 程序、启动ApplicationMaster 的命令、用户程序等。2)ResourceManager 为作业分配第一个 Container，并与对应的NodeManager 通信，要求它在这个 Container 中启动该作业的 ApplicationMaster。3)NodeManager 启动一个 C...
2018-12-23 20:59:32
441
原创 二次排序代码实现
//map类，实现map类public class MyMapper extends Mapper<Object, Text, Student, IntWritable>{ private IntWritable outputValue = new IntWritable(); Student stu = new Student(); @Override protec...
2018-12-22 16:24:51
377
原创 WordCount代码实现
map类，实现map函数public class MyMapper extends Mapper<Object,Text,Text,IntWritable>{private final static IntWritable one = new IntWritable(1);private Text word= new Text();public void map(Object ...
2018-12-22 15:13:26
520
原创 MySQL的范式
第一范式（1NF）如果关系模式R中每个属性值都是一个不可分解的数据项，则称该关系模式满足第一范式，简称1NF，记为R∈1NF;第二范式（2NF）如果一个关系模式R∈1NF，且它的所有非主属性都完全函数依赖于R的码，则R∈2NF；第三范式（3NF）如果一个关系模式R∈2NF，且所有非主属性都不传递函数依赖于码，则R∈3NFBCNF范式（BCNF）关系模式R∈1NF，对任何...
2018-12-21 15:07:59
124
原创 MySQL主键总结
一、添加主键（有实体完整性）：数据完整性约束：唯一、完整（即不能为空），1.建表时添加主键：create table person2(id int not null default 0,name varchar(100),salary decimal(18,2),primary key (id,name,salary)); (1)use test; ...
2018-12-20 23:30:29
130
原创 存储引擎比较之innodb和myisam
存储引擎：MySQL基本用innoDBMyISAM不支持事务，如果发生失败，事务保护会回滚回来，而MyISM回滚将造成不完全回滚，支持表级锁，锁粒度大（支持事务的一定支持锁，支持锁的不一定支持事务）适合处理读操作 InnoDB支持事务,数据库里的文件系统，支持行级锁，它支持的锁粒度比较小，处理并发性能好，它既有表锁又有行级别的锁，适合处理写操作 现在日志、读比写多的地方也多用innoDB...
2018-12-20 22:54:03
109
原创 Linux配置环境变量
下面我们开始配置环境变量 1.vi /etc/profile 进入profile内部 2.然后按shift+g，光标跳到最后一行，然后按o,就可以在当前行的建一个新行并且进入编辑模式。敲两个回车。 3.输入：#for jdk config 4.输入：export JAVA_HOME=/root/java/jdk1.8.0_171 #创建一个新的环境变量...
2018-12-20 15:45:07
98
原创 IO流（成对出现）小结
InputStream、OutputStream、Reader、Writer四个顶层抽象类。只要不是文本文件，读都用read();文本文件用readLine();InputStream（抽象类）：输入流的根，处理字节。此类中有一个read()方法，这个方法一次只读取一个字节，返回结果即为读取到的字节。如果读到头了则返回-1。Outputstream（抽象类）：输出流的根。处理字节。此类...
2018-12-20 14:59:58
353
原创 用for循环/递归写阶乘
for循环public class Test{ public static int fac(int n){ int a = 1; int s = 0; for(int i =1;i<=n;i++){ a *= i; s += a; } return s; } public static void main (String[] args){ int result =...
2018-12-20 11:56:39
1374
原创 用for循环\递归写斐波那契数列
for循环public class Test{ public static int fib(int n){ if(n == 1 || n == 2){ return 1; }else{ int a = 1; int b = 1; int s = 0; for(int i = 2;i<n;i++){ s = a + b; a = b; b = s...
2018-12-20 11:31:48
1610
原创 编码实现将一个文本文件（图片）从一个地方复制到另一个地方（源路径到目的路径可以通过方法参数传入）
public class MyTest { public static void main(String[] args) { try { test(); } catch (Exception e) { e.printStackTrace(); } } public static void test() throws Exception { String name=...
2018-12-19 16:52:31
675
原创 统计一个字符串中每个字符出现的次数，并按出现的次数降序输出统计结果
/***如统计 abdc2223333ddd输出如下统计结果字符3出现了4次字符d出现了4次字符2出现了3次字符b出现了1次字符c出现了1次字符a出现了1次*/public class CharacterCountTest { public static void test(){ String s="abdc2223333ddd"; Map<...
2018-12-19 16:30:47
20986
4
原创 二分查找case
非递归实现二分查找/* * 二分查找 * *A 定义最大索引，最小索引 *B 计算出中间索引 *C 拿中间索引的值和要查找的值进行比较 * 相等：就返回当前的中间索引 * 不相等： * 大： 左边找 * 小：右边找 *D 重新计算出中间索引 * 大： 左边找 * max=mid-1...
2018-12-19 16:04:47
120
原创 递归遍历某个文件夹及其所有子文件夹下的所有文件
public class MyTest5 { public static void main(String[] args) { String rootDir = "G:"+File.separator+"喵"; traversalFolder(rootDir); } public static void traversalFolder(Str...
2018-12-19 15:31:49
895
转载 equals、hashcode、string的区别
equals、hashcode、stringequals()方法是用来判断其他的对象是否和该对象相等equals()和==的区别 基本类型：比较用==，比较结果字面值相等即相等。复杂类型：当他们用（==）进行比较的时候，比较的是他们在内存中的存放地址，所以，除非是同一个new出来的对象，他们的比较后的结果为true，否则比较后结果为false。例如： String a=...
2018-12-18 16:02:39
128
原创 JAVA_HOME、path、CLASSPATH的作用
(1) JAVA_HOME:指定 JDK 的安装路径，作为全局变量用作后面配置的变量。新建：JAVA_HOME：G:\Java\jdk1.7.0_67(2) Path:windows 系统根据 Path 环境变量来查找命令。path用来查找可执行文件的执行路径，Path 环境的值是一系列的路径,如果能通过 Path 找到这个命令,则该命令是可执行。否则报“XXX 命令不是内部或外部命令, 也不...
2018-12-18 11:40:52
329
转载 hive/udf/udaf/udtf 的异同点
1.udf 全称：user defined function 用户定义函数 输入与输出的特点：in：out = 1:1 应用场景：1:1操作，如加密、做数值计算、字符串处理 实现方式：继承udf类，定义一个evalute方法2. udaf 全称：user aggregation function In : out...
2018-12-17 21:11:20
445
原创 写一个测试用例testcase，分别验证TXT文件和gzip文件的可并行计算性？
写一个测试用例testcase，分别验证TXT文件和gzip文件的可并行计算性？1）TXT和gzip文件准备OK，放到hdfs上去，各自的大小必须大于一个block块。2）写hivesql,通过某种计算两种不同形式的数据文件对应的表，查看其map个数的差异3）下个结论txt文件测试：TXT压缩成gzip文件的时候保留原TXT文件：gzip -c input.txt 就生成了gz...
2018-12-16 21:06:31
289
原创 SpringBoot小结
SpringBoot概述1. SpringBoot是Spring框架中的一员，它简化了Spring的开发，正如Spring简化了EJB的开发一样2. 虽然Spring的出现，让我们免于定义各种重量级的EJB的Java类，因为通常这些类必须要按某种规范去命名去编写，必须继承某个父类或者实现某些接口，Spring的出现让我们在定义类上简单了很多，清新了很多3. 但是Spring有一个让人苦...
2018-12-15 13:47:23
177
原创 对于远程由别人修改错的文件，远程删除后，自己重新提交的问题
别人修改错了文件，在远程删除错误操作之后，自己再次push，可能不能提交成功，因为远程被别人修改过之后，版本号可能高于自己的版本号，这样就需要把远程的文件pull下来，远程版本号和自己版本号合并之后才可以重新提交上去。然而把远程文件pull到本地仓库的时候，有可能pull不下来，这时候应该怎样操作解决？1. 打开Window--preference--git--configuration--按...
2018-12-14 19:58:49
287
原创 用eclipse生成maven项目，在本地生成.git文件,把仓库文件推送到gitlub远端
1. 鼠标右击项目名---Team---share project2.出现share project---Git---next3.勾上use or create repository in parent folder of project---单击create repository --finish5.commit到本地仓库commit非隐藏文件6. 打...
2018-12-13 20:21:32
299
原创 Java基础知识小结
1.一个文件定义一个类，如果同时定义多个类，则选择用public修饰的类作为文件名，并且只能有一个类被public修饰。如果没有public修饰的类，则随便找一个类作为文件名2. 如果想让程序正常执行，则主类需要定义出主方法，程序的入口就是main方法，主方法的类必须用public修饰。3. A.class中A是文件名，class为扩展名。4. Javac是java编译器，把源代...
2018-12-13 17:20:04
163
原创 集合总结
集合（collection）有两个主要的子接口List和Set.Iterable是collection的父接口，不是map的，所有map不能直接用增强for，要用key。。。。集合（接口）只能存储引用类型，并且是单个字符。并且可以动态改变大小。collection是iterator接口和iterable接口的实现类。集合分为： 单纯存元素的集合。 表示映射关系的集合。 ...
2018-12-12 23:53:26
184
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人