Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发

原创 SLF4J: Class path contains multiple SLF4J bindings.

启动时warning:SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/Users/xcv/Documents/maven/MavenRepository/ch/qos/logback/logback-classic/1.2.3/logback-classic-1.2.3...

原创 Hive新特性reflect函数介绍

reflect函数可以支持在sql中调用java中的自带函数，秒杀一切udf函数。使用案例1：所有记录执行相同的java内置函数hive中建一张表test_udf:column1(int),column2(int)表中数据如下：1,22,33,44,55,6sql：select reflect("java.lang.Math","max",column1,col...

原创 mac安装mysql，忘记初始密码怎么处理

1 去mysql官网下载mysql community 版本，https://dev.mysql.com/downloads/mysql/，点击页面上的Looking for the latest GA version?2 本地打开dmg文件，开始安装3 务必注意安装过程中弹出的窗口：含有初始密码信息！！务必要保留好，不然后续忘记初始密码会比较麻烦！！4 安装完成后，打开终...

原创 Hive,INPUTFORMAT的作用

建表语句：CREATE EXTERNAL TABLE `app.table1`(.....)PARTITIONED BY ( `dt` string)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'STORED AS INPUTFORMAT --当查询时会用到，需要查询lzo格式的文件！！ 'com.hadoop.mapred...

原创 AntDesignPro环境搭建

如果是windows环境，需要在cmd下执行，不要在idea的terminal下执行!!https://nodejs.org/zh-cn/download/下载的node-v12.13.1-x64.msi已包含npm。1 如果之前安装过低版本的node.js，需要先卸载掉，同时删除C:\Users\你的用户名\AppData\Roaming\npm下的所有子文件和文件夹，如果配了环境变量，...

原创 cnpm install 报错 Install fail! Error: EBUSY: resource busy or locked, symlink 的解决方法

如果是windows环境，需要在cmd下执行，不要在idea的terminal下执行!!需要删除node_modules文件夹，但是提示只有Administrator用户才有权限删除，而且删除很慢，可以使用rimraf删除node_modules文件夹，删除很快。1 安装rimraf ：cnpm install rimraf -g2 执行： rimraf node_modules...

原创 cnpm install 报错 SyntaxError: Unexpected end of JSON input (file:的解决方法

需要删除node_modules文件夹，但是提示只有Administrator用户才有权限删除，而且删除很慢，可以使用rimraf删除node_modules文件夹，删除很快。1 安装rimraf ：cnpm install rimraf -g2 执行： rimraf node_modules3 清空缓存：npm cache clean --force4 再次安装淘宝镜像：...

原创 Unsupported major.minor version 52.0解决办法

0617:30:07INFOExceptioninthread"main"java.lang.UnsupportedClassVersionError:org/apache/hadoop/fs/FsShell:Unsupportedmajor.minorversion52.02019-12-0617:30:07INFOatjava.lang.ClassLoad...

原创 maven profile ＜filtering＞true＜/filtering＞的作用

1 在pom.xml中 <!--<filtering>true</filtering>--> 被注释掉打包时能替换文件名，但是不能替换文件里面的标识符,启动项目时报错。2在pom.xml中 <filtering>true</filtering>打包时能替换文件名，也能替换文件里面的标识符：启动时正常-----...

原创 Test.initializationError » No runnable methods，Maven打包时跳过单元测试

打包时会把Test类及@Test修饰的方法执行一遍。报错原因是Test类中不含有@Test修饰的方法。方法1：不推荐。在报错的Test类中添加一个@Test修饰的方法。import org.junit.Test;..... @Test public void f1() { }方法2：在pom.xml中添加： <!--ma...

原创 MapReduce的key是怎么生成的，字节长度+1为当前行的key

String s2 = "On the top of the Crumpetty Tree"; System.out.println(s2.getBytes().length);//32 String s3 = "The Quangle Wangle sat,"; System.out.println(s3.getBytes(...

原创 MapReduce避免输入文件被切分的方法

源码：/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * re...

原创 MapReduce输入分片，如何计算分片大小