- 博客(39)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 记 log4j-over-slf4j.jar AND bound slf4j-log4j12.jar jar包冲突问题
关键是使用 dependency Analyzer分析 ，提示的是 log4j-over-slf4j 的包。在pom中排除 slf4j-log4j12、org.slf4j等包没有用，仍然报错。logback 中包含多种版本的 日志包，会根据应用使用的不同连接对应版本。修改为在pom中排除。
2024-04-03 16:36:07
566
原创 使用外部表将phoenix中数据同步到hive中
1、新建phoenix中的表CREATE TABLE CAP.FMS_REF_AAA(MSISDN VARCHAR,PFINFO.AAA VARCHAR,PFINFO.BBB VARCHAR,CONSTRAINT PK_FMS_REF_ENDORSEMENT PRIMARY KEY (MSISDN)) COLUMN_ENCODED_BYTES=‘NONE’;PFINFO为列簇名（可自行定义）COLUMN_ENCODED_BYTES=‘NONE’ 设置不进行编码，不加HIVE中不能显示数据。
2022-04-20 16:46:01
2349
原创 hive中获取两个相差多少个小时
select (hour(from_unixtime(unix_timestamp(‘2021092907’, ‘yyyyMMddHH’)))-hour(from_unixtime(unix_timestamp(‘2021092807’, ‘yyyyMMddHH’)))+(datediff(from_unixtime(unix_timestamp(‘2021092907’, ‘yyyyMMddHH’)), from_unixtime(unix_timestamp(‘2021092807’, ‘yyyyMMd
2021-09-30 11:28:34
517
原创 HIVE中比对为null的值的方法
select a.*from AAA a,BBB b where a.id = b.id andNVL(b.bbb,0) != NVL(a.aaa,0)函数NVL格式：NVL(expr1,expr2)如果第一个参数为null（空值）那么显示第二个参数的值，如果第一个参数的值不为null（空值），则显示第一个参数本来的值。...
2021-06-29 11:33:07
474
原创 kerberos & kubernetes读音
kerberos英['kɜːbərəs] 美['kɜːbərəs]一种安全认证kubernetes 音标:[kubə’netis]K8S
2021-05-11 18:45:27
1327
原创 Sqoop学习汇总及错误整理
环境准备Hadoop环境 2.7.2关系型数据库 mysql 5.6sqoop环境 1.4.6Sqoop是什么它是开源的数据传输工具它是Hadoop生态圈中一个第三方模块它是Apache 的项目（不断优化、用户多、遇到问题可以很快解决）为什么要使用sqoop?快速实现Hadoop(HDFS/hive/hbase)与传统数据库之间的数据传递sqoop提供许多数据传输方式Sqoop支持多种数据库（mysql,oracle）sqoop提供功能：数据导入（将关系型数据库中的数
2021-03-31 16:22:04
865
原创 SSH2远程连接例子
定义返回结果类package com.base.param;/** * TODO *命令返回结果 */public class ExecCmdResult { // 命令执行是否成功 private boolean success; // 输出stdout结果 private String stdoutResult; // stderr private String stderrResult; public boolean isS
2021-03-31 16:09:59
801
原创 告别8年的外包
我叫***，毕业于****，专业是计算机科学与技术…今年初就立下flag，要换工作，今天是软通上班的最后一天，这个flag算是完成了吧。2012年7月大学毕业，2011年12月底就来南京实习，在地铁一号线天隆寺下车的那一刻着实不会想到，这一下，我的下半生也在这座城市、这个行业扎了根。刚来南京，能自食其力，感觉很兴奋，尽管那时候实习工资只有1200，不知道是怎么活过来的。实习是在文思创新（也是华为的外包公司），当时也是进项目组的，在项目组熟悉业务，打打杂，本着对学习知识的热情有时也加班到凌晨两三点，然后
2020-10-22 22:43:29
152
原创 CentOS7==JDK1.8安装
系统版本[root@localhost ~]# cat /etc/redhat-releaseCentOS Linux release 7.8.2003 (Core)直接yum安装1.8.0版本openjdkyum install java-1.8.0-openjdk* -y环境变量配置#临时生效export JAVA_HOME=/usr/lib/jvm/<span style="font-family: Arial;">jre-1.8.0-openjdk-1.8.0.121-0.
2020-08-16 23:51:14
69
原创 centOS7 ping通外网 网络设置
现在的网络状态应该如下图，外网ping不通，只能ping本机。ping 0.0.0.0首先我们先看一下编辑->虚拟机网络编辑器下VMnet8中NAT设置里的网关和DHCP设置里的起始/结束ip地址，这里尤其要记住ip地址范围.cd /etc/sysconfig/network-scripts/ #进入网络配置文件目录,编辑配置文件：vi ifcfg-ens33(此处是ifcfg-ens33,若没有该文件找ifcfg-ens开头的，vi是编辑命令，进入后再按”i”进行编辑，编辑完按
2020-08-16 23:45:19
2817
原创 索引性能分析步骤
收集慢查询SQL。方法有两种：（1）使用【慢查询日志】功能，去获取所有查询时间比较长的SQL语句（2）使用information_schema库的PROCESSLIST表实时收集当前执行比较慢的SQL。【查看执行计划】使用explain工具分析有问题的SQL的执行计划最后可以使用【show profile[s]】 查看有问题的SQL的性能使用情况慢查询日志## 标题临时开启慢查询功能在 MySQL 执行set命令设置，但是如果重启 MySQL 的话将失效。#例如： set globa.
2020-08-15 23:21:51
94
原创 mybatis.xml配置文件
<?xml version="1.0" encoding="UTF-8" ?><!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://mybatis.org/dtd/mybatis-3-config.dtd">
2020-08-15 00:41:09
81
原创 redis 单机版安装配置 centOS7
Redis安装第一步：安装 C 语言需要的 GCC 环境yum install -y gcc-c++yum install -y wget第二步：下载并解压缩 Redis 源码压缩包wget http://download.redis.io/releases/redis-5.0.4.tar.gztar -zxf redis-5.0.4.tar.gz第三步：编译 Redis 源码，进入 redis-3.2.9 目录，执行编译命令cd redis-5.0.4make第四步：安装 Redis
2020-08-11 23:05:12
88
原创 MySQL mysql-8.0.21-winx64 数据库的下载与安装
MySQL的下载：官网地址：https://dev.mysql.com/downloads/mysqlMySQL的安装： ·MySQL社区服务器的安装(手动版安装)： 1.将下载好的文件解压到需要存放的盘符，建议不要放在系统盘(也就是C盘) 原因：随着数据库存放的数据量增大，如果放在系统盘，电脑会变得很卡 2.解压好以后，打开文件至根目录，如下图：3.在根目录下新建文本文件，起名叫my，并将txt格式修改为ini格式，如下图： 4.复制以下代码，粘贴到my.
2020-08-08 00:06:02
1822
原创 MySQL 8.*版本 正确修改root密码
MySQL 8.*版本 修改root密码查看版本：select version() from dual;登录mysql:登录mysql:(因为之前没设置密码，所以密码为空，不用输入密码，直接回车即可）E:\mysql\bin>mysql -u root -pEnter password:查询用户密码:查询用户密码命令：mysql> select host,user,authentication_string from mysql.user;host: 允许用户登录的ip‘
2020-08-07 23:55:54
152
原创 Bitset用法
{“code”:0,“data”:null,“debugLogs”:null,“ext”:null,“message”:null}
2020-07-31 12:09:26
156
原创 Springboot使用经验
1、在yml中添加配置logging：level：com：example：demo：debugcom.example.demo 为包路径添加这个配置后调用接口可以在控制台看到打印的sql语句。
2020-07-23 14:40:31
84
原创 JDBC连接mysql遇到的问题
本地安装的mysql是5.7版本pom中引用的mysql-connector-java依赖是8.0.11版本驱动使用Class.forName（“com.mysql.cj.jdbc.Driver”）连接的url为 jdbc：mysql：//127.0.0.1:3306/mysql？autoReconnect=true&userSSL=false&serverTimezone=HongKong关键是要加上serverTimezone=HongKong因为com.mysql.cj.j
2020-07-23 14:36:01
238
原创 MVN打包命令
mvn package -DskipTests 会跳过测试的执行，但不会跳过测试的编译。mvn package -Dmaven.test.skip=true 既会跳过测试的执行，也会跳过测试的编译
2020-06-16 11:33:56
96
原创 JVM知识
JIT即时编译器：动态编译代码由解释器和编译器运行解释器一行一行解释运行，边解释边运行当代码解释超过1000/10000次时，会由JIT完整的编译成二进制的机器码
2020-06-16 11:29:54
81
原创 抽象类和接口的区别
抽象类是定义了一系列方法，由子类继承实现的类。抽象类不可以被实例化。接口也是一个类，也定义了一系列的方法，由其它类实现。但抽象类只能继承一个，接口可以实现多个。抽象类用于对事物概念的定义。趋向于这个事物是什么。接口用于对行为的定义。趋向于这个事物能做什么。...
2020-05-19 14:35:11
67
原创 linux 压缩解压命令
1、将文件夹中的文件全部压缩 成tar包tar -zcvf universe_aaa_linux.tar.gz *2、解压tartar -zxvf universe_aaa_linux.tar.gz
2020-05-13 16:00:39
165
原创 如何加载properties文件
Properties properties=new Properties（）；String jdbc = “jdbc.properties”；InputStream inputstream = this.getClass（）.getClassLoader（）.getResourceAsStream（jdbc）；properties.load（inputstream）；...
2020-05-07 12:55:25
223
原创 Spring知识复盘
IOC：控制反转将创建实例的权限交给spring去实现DI：依赖注入将属性的值在xml文件中设置AOP：面向切面编程在不影响代码原来逻辑的情况下去做功能实现。如事物处理，日志拦截…...
2020-05-04 11:16:40
102
原创 mysql(2)登陆管理用户
登录 MySQL当 MySQL 服务已经运行时, 我们可以通过 MySQL 自带的客户端工具登录到 MySQL 数据库中, 首先打开命令提示符, 输入以下格式的命名:mysql -h 主机名 -u 用户名 -p参数说明：-h : 指定客户端所要登录的 MySQL 主机名, 登录本机(localhost 或 127.0.0.1)该参数可以省略;-u : 登录的用户名;-p : 告诉服务器...
2020-05-02 23:18:20
109
原创 Mysql笔记（1）初始化mysql
以管理员身份打开 cmd 命令行工具，切换目录：cd C:\web\mysql-8.0.11\bin初始化数据库：mysqld --initialize --console执行完成后，会输出 root 用户的初始默认密码，如：…2018-04-20T02:35:05.464644Z 5 [Note] [MY-010454] [Server] A temporary password i...
2020-05-02 23:12:51
185
原创 JDBC
package com.wst.mybaties;import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.SQLException;public class JDBCNew ...
2020-05-01 22:57:57
99
原创 JAVA的集合
1、java集合简介Collection是集合类的根接口。Java的集合分为有序的和无序的，list为有序的序列表集合。set，为无序的元素不重复的集合map，是根据key就能寻找到value的映射表集合。集合的特点：*接口和实现类相分离List接口：ArrayList 和 LinkList*支持泛型List*通过迭代器遍历 Iteraror遗留的集合不应该使用Hasht...
2020-04-26 22:18:27
82
原创 Maven知识
1、maven工程Maven是一个项目管理工具和构建工具。Maven定义了固定的项目格式。我们只要在pom.xml中设置依赖项，就可以自动下载和导入jar包到classpath中。maven使用groupId，artifactId，version定位一个jar包。2、依赖管理maven解决了jar包之间相互依赖的问题，我们在使用过程中只要配置需要的依赖，maven就会从中央仓库帮我们把...
2020-04-25 13:52:00
62
原创 反射—class类
1、class类通过Class实例可以获得class的所有信息的过程叫反射。jvm总是动态加载class类，并用Class实例实例来保存class的所有信息。
2020-04-18 23:30:33
199
原创 redis学习笔记
redis的数据结构1、字符串添加字符串 set key value获取字符串 get key修改字符串 getset key value2 （原来key的值就会修改成value2。递增的命令 incr num （num不存在时默认为0，然后执行加1的操作，num结果为1）。递减的命令 decr num1 （num不存在时默认为0，然后执行减1的操作，num结果为-1）。加指定数的命...
2020-04-16 23:18:23
81
原创 JAVA知识复盘—java异常处理
1、java的异常Java的异常是从Throwable类派生下来的，分为Error和Exception（runtimeexception和非runtimeexception）必须捕获的异常为非Runtimeexception。2、异常捕获异常捕获时应该先捕获子类异常，再捕获父类异常。不同的异常如果没有父子关系，则可以同时捕获。3、抛出异常可以使用PrintStrackTrace来抛出...
2020-04-13 23:09:50
82
原创 JAVA知识复盘
有错请指点1、什么是对象？人就是一个对象，人有性别、年龄、家庭住址…一系列共同的属性。那么就可以封装成一个类（class）。2、什么是实例？实例就是具体的一个人，千千万万个人是千千万万个实例。 通过这个实例就可以获得单个实例的特性（如人的性别、年龄…）。3、什么是方法？方法是能够实现某个动作/功能。如使用run（）可以跑，使用jump（）可以跳。我们可以先不用关心方法中的实现，只要知道...
2020-04-10 23:27:21
126
原创 Bitset的牛逼大数据用法
今天领略了bitset用于大数据的牛逼用法，特分享出来给小伙伴一起学习，如有写的不对的地方，请多多指教。背景：该功能用于位置洞察的系统，对某个点200*200的地理位置进行栅格划分，对人员基站位置进行定位处理。每个人在一个基站都分配一个固定的位置，新来的人重新分配位置。例如 小A来了Bitset bs = new Bitset（）；bs.set（0）；即把0这个位置给了小A，新来的人...
2020-03-21 00:39:30
539
1
原创 项目心得
CSP：客户服务系统2017年4月开始到2019年12月，一年半多的Groovy语言+JS，人们称的中台编程。感觉就像封闭在一个小村庄，而外面大数据已经发生了翻天覆地的变化 了。CSP主要是进行三户关系的相关业务逻辑的处理，即 客户，用户，账户。...
2020-03-03 17:28:59
162
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人