这个操蛋的人生！！！-CSDN博客

1.查看mysql时间，修改mysql服务时区# 查看现在的时间1 select now();#可以看到时区设置，可以看到是使用SYSTEM时间2 show variables like "%time_zone%"; #修改mysql全局时区为北京时间，即我们所在的东8区3 set global time_zone = '+8:00'; #修改当前会话时区4 set time_zone = '+8:00'; 5 flush privileges; 立即生效2 查看，设置最大连接数

2022-04-18 13:30:02 629

原创 idea直接修改新的git地址

我们在项目变动中通常会遇到更换git地址情况，这里介绍一个在idea项目中简单更换git地址操作：1、点击VCS；2、点击Git；3、点击Remotes；具体步骤如图

2022-04-11 10:30:24 1585

原创 Ignite的安装使用

参考链接：参考链接1参考链接2

2022-04-08 17:37:53 613

原创 Zookeeper监听器

1. zookeeper监听机制的特点：一次性的触发器（one-time trigger）当数据改变的时候，那么一个Watch事件会产生并且被发送到客户端中。但是客户端只会收到一次这样的通知，如果以后这个数据再次发生改变的时候，之前设置Watch的客户端将不会再次收到改变的通知，因为Watch机制规定了它是一个一次性的触发器。当设置监视的数据发生改变时，该监视事件会被发送到客户端，例如，如果客户端调用了 getData(“/znode1”, true) 并且稍后 /znode1 节点上的数据发生了改变或

2022-04-08 16:28:35 431

原创 Apache Ranger KMS 部署

参考链接：https://blog.csdn.net/lsshlsw/article/details/103930388https://blog.csdn.net/wank1259162/article/details/1224381751.背景需要一个高可用的 KMS 服务用于数据静态加密（HDFS 透明加密 / ORC格式列加密），hadoop 原生基于 java keystore 的 KMS 方案在生产环境并不可靠，列了几种可能的方案：使用内部自建的 KMS ，实现 hadoop provi

2022-04-01 15:32:00 2888

原创常见SQL数据分析

题目1：找出每个部门工资第二高的员工现有一张公司员工信息表employee，表中包含如下4个字段。employee_id（员工ID）：VARCHAR。employee_name（员工姓名）：VARCHAR。employee_salary（员工薪资）：INT。department（员工所属部门ID）：VARCHAR。employee表的数据如下表所示。还有一张部门信息表department，表中包含如下两个字段。department_id（部门ID）：VARCHAR。

2022-02-12 17:18:23 265

原创 hive on spark 客户端连接超时

Hive on spark，执行时报错解决：在yarn web界面上点击执行失败的任务：从这上面可以看出，hdfs://master/hive/spark_jars/guice-4.0.jar有问题找到机器http://datamiddle-249:8042，查看nodemanager日志日志里面搜索刚才的任务可以看见如下日志可以看出，guice-4.0.jar文件受损，删除掉，重新执行就可以了...

2022-01-27 17:56:20 1802 2

原创 log4j.properties的配置参数详解

Log4j.properties配置Log4j有三个主要的组件：Loggers(记录器)，Appenders (输出源)和Layouts(布局)。这里可简单理解为日志类别，日志要输出的地方和日志以何种形式输出。一、三个主要的组件1、LoggersLoggers组件在系统中被分为五个级别：DEBUG、INFO、WARN、ERROR和FATAL。这五个级别是有顺序的，DEBUG < INFO < WARN < ERROR < FATAL.格式：log4j.rootLogge

2022-01-17 14:57:48 1242

原创 Java try-catch-finally中return的用法

一结论1.finally中的代码总会被执行2.finally块的语句在try或catch中的return语句执行之后返回之前执行，3.若finally里也有return语句则覆盖try或catch中的return语句直接返回；4.若finally中没有return则返回try或者catch中的已确定的return值。5.return的时候，要注意返回值的类型，是否受到finally中代码的影响。6. 不推荐在finally中写return二、try 或者 catch 中带有return

2022-01-13 11:39:19 767

原创 Java读写文件

一写文件BufferedWriter、FileWriter、OutputStreamWriter按照性能顺序排列的。FileWriter是OutputStreamWriter的子类，里面没有实现子类方法也就是FileWriter完全使用的是父类OutputStreamWriter已有的方法就是FileWriter提供了很多方便的构造函数用这三个类新建文件，如果没有文件则会重新创建文件，如果有，则仍然用之前的文件，new FileOutputStream(file, true)第二个参数如果是tru

2022-01-11 15:34:17 258

原创 hadoop 副本不足或者损坏情况以及两个standby namenode的处理

一 hadoop两个standby namenode的处理1.先检查zookeeper启动是否正常，配饰是否正确2.重启启动namenode和zkfc3.如果没有恢复正常，在namenode上面执行bin/hdfs haadmin -transitionToActive nn2其中nn2是你的namenode中的一个（如果是新配置的HAhadoop集群，可能是zkfc（DFSZKFailoverController）没有格式化导致namenode节点的自动切换机制没有开启）二、安全模式当 hdf

2022-01-06 17:52:31 1848

原创 spring boot整合Swagger

一 maven依赖   <dependency> <groupId>io.springfox</groupId> <artifactId>springfox-swagger-ui</artifactId>

2021-12-22 13:21:07 98

原创查看服务进程和端口号

2021-12-17 10:03:42 4193

原创 Windows10 安装 cygwin

参考链接：https://blog.csdn.net/weixin_42109012/article/details/106060913https://blog.csdn.net/lvsehaiyang1993/article/details/81027399验证Cygwin安装是否成功输入gcc --version，g++ --version， gdb –version进行测试，如果都打印出版本信息和一些描述信息，非常高兴的告诉你，你的cygwin安装完成了！安装cygwin的时候找

2021-12-16 16:58:21 211

原创 spring boot数据库密码加密几种方式

第一种Jasypt加密1.maven依赖，不同的spring boot版本引入的jasypt版本不同spring boot 版本号1依赖<dependency> <groupId>com.github.ulisesbocchio</groupId> <artifactId>jasypt-spring-boot-starter</artifactId> <versio

2021-12-06 09:39:27 8435 2

原创 Java MyBatis - Plus 数据敏感词过滤，字段加密等

Maven依赖<dependency> <groupId>com.baomidou</groupId> <artifactId>mybatis-mate-starter</artifactId> <version>1.0.8</version></dependency><dependency> <groupId>com.baomidou</groupId&gt

2021-11-30 09:39:41 1531

原创 Hadoop生产调优

一、HDFS核心参数1.1 NameNode内存生产配置查看 NameNode 占用内存，查看 DataNode 占用内存jmap -heap PID 或者 jps -heap PIDNameNode 内存计算每个文件块大概占用 150byte，一台服务器 128G 内存为例，能存储多少文件块呢？1281281024*1024/150Byte≈9.1亿Hadoop2.x 系列，配置 NameNode 内存NameNode 内存默认 2000m，如果服务器内存 4G， NameNod

2021-11-29 13:47:21 279

原创 Java Excel 导入导出

阿里巴巴项目组提供了easyexcel工具类，github地址：https://github.com/alibaba/easyexcel1. maven依赖<dependency> <groupId>com.alibaba</groupId> <artifactId>easyexcel</artifactId> <version>1.1.2-beat1</version> </dependen

2021-11-26 16:15:13 128

原创 Zookeeper 权限

1 zookeeper权限模式2 zookeeper授权命令3 案例c: 代表创建 creater: 读取d:代表删除w:写a:adminworld授权模式：命令setAcl /hadoop world:anyone:cdrwaAuth授权模式命令addauth digest <user>:<password> #添加认证用户setAcl <path>auth:<user>:<acl>addauth di

2021-11-24 17:15:24 1475

原创 java 查看内存问题

一、jstat语法使用jstat命令命令格式：jstat [Options] vmid [interval] [count] 命令参数说明：Options，一般使用 -gcutil 或 -gc 查看gc 情况pid，当前运行的 java进程号 interval，间隔时间，单位为秒或者毫秒 count，打印次数，如果缺省则打印无数次 Options 参数如下：-gc：统计 jdk gc时 heap信息，以使用空间字节数表示-gcutil：统计 gc时， heap情况，以使用空间的百分

2021-11-24 16:07:37 361

原创 Linux 系统时区设置

第一种mv /etc/localtime /etc/localtime.bakln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime第二种# 时区设置timedatectl set-timezone Asia/Shanghai#服务器时间设置date -s "2020-12-20 16:34:50"第三种1.使用命令：tzselect在这里我们选择亚洲 Asia，确认之后选择中国（China)，最后选择北京(Beijing),选

2021-11-11 09:49:13 2022

原创 Java 篇章

一、java8空值、null值的判断user = Optional.ofNullable(user).orElseGet(() -> createUser());代表如果user为空，则会创建user对象Optional.ofNullable(user).orElseThrow(()->new Exception(“用户不存在”));代表如果user为空，则会抛出异常信息Optional.ofNullable(user).ifPresent(u->{// TODO: do so

2021-11-06 22:44:20 68

原创 mysql启动后，连接不上，不显示3306端口

vim /etc/my.conf，注释掉下面两行内容，重启mysql就可以#skip_networking#skip-grant-tables

2021-10-15 20:40:41 6515 3

原创 MySQL 定时备份数据库

一. mysqldump命令备份数据在MySQL中提供了命令行导出数据库数据以及文件的一种方便的工具mysqldump,我们可以通过命令行直接实现数据库内容的导出。#MySQLdump常用mysqldump -u root -p --databases 数据库1 数据库2 > xxx.sql二. mysqldump常用操作示例1. 备份全部数据库的数据和结构mysqldump -uroot -p123456 -A > /data/mysqlDump/mydb.sql2.备份全部

2021-09-11 13:43:10 116

原创 hive 篇章

Hive的架构图一、Hive表类型1 Hive 数据类型Hive的基本数据类型有：TINYINT，SAMLLINT，INT，BIGINT，BOOLEAN，FLOAT，DOUBLE，STRING，TIMESTAMP和BINARY。Hive的集合类型有：STRUCT，MAP和ARRAY。表的元数据保存传统的数据库的表中，当前hive只支持Derby和MySQL数据库。2 Hive 分区表在Hive中，分区表的每一个分区都对应表下的一个目录，所有的分区的数据都存储在对应的目录中。比如说，分区表p

2021-08-30 11:13:01 645

原创 Sqoop1 篇章

Sqoop 原理将导入或导出命令翻译成 mapreduce 程序来实现。一、Mysql --》HDFS1.全部导入$ bin/sqoop import \--connect jdbc:mysql://linux01:3306/company \--username root \--password 123456 \--table staff \--target-dir /user/company \--delete-target-dir \--num-mappers 1 \--fie

2021-08-25 13:26:24 270

原创 Spark批量写数据到mysql

1.读取数据private def runJdbcDatasetExample(spark: SparkSession): Unit = { // 从JDBC source加载数据(load) val jdbcDF = spark.read .format("jdbc") .option("url", "jdbc:mysql://127.0.0.1:3306/test") .option("dbtable", "mytable")

2021-08-15 21:27:19 2229

转载从 0 到 1 学习 Presto

本文已收录github：https://github.com/BigDataScholar/TheKingOfBigData，里面有大数据高频考点，Java一线大厂面试题资源，上百本免费电子书籍，作者亲绘大数据生态圈思维导图…持续更新，欢迎star！前言 ...

2021-08-14 22:22:27 195

转载从 0 到 1 学习 elasticsearch

本文已收录github：https://github.com/BigDataScholar/TheKingOfBigData，里面有我准备的大数据高频考点，Java一线大厂面试题资源，上百本免费电子书籍，作者亲绘大数据生态圈思维导图…持续更新，欢迎star！前言 &n...

2021-08-14 22:14:27 170

原创 Hive函数

时间函数date_format格式化时间select date_format('2020-03-10 08:00:00','yyyy-MM-dd') day_formatdate_add对时间进行计算select date_add('2020-03-11',-10) daynext_day返回当前天的下星期几示例：寻找当前天的下星期一select next_day('2020-03-10','MO') MOunix_timestamp传入date_time,返回以秒为单位

2021-08-14 15:42:37 326

转载 Hadoop、Hive、Hbase集群间的数据迁移

一、hadoop 集群间拷贝数据：迁移之前需要把两个集群的所有节点都互通/etc/hosts文件（重要，包括各个数据节点）两个集群版本不相同hadoop distcp hftp://192.168.57.73:50070/hive3/20171008 /hive3/如果两个集群的版本相同，则可以使用hdfs协议，命令如下：hadoop distcp hdfs://namenodeip:9000/foo hdfs://namenodeip:9000/foo对于增量数据同步的需求,在DistCp

2021-08-14 14:05:00 805

翻译 java比较实用的工具类

1. Java自带工具方法1.1 List集合拼接成以逗号分隔的字符串List<String> list = Arrays.asList("a", "b", "c"); // 第一种方法，可以用stream流 String join = list.stream().collect(Collectors.joining(",")); System.out.println(join); // 输出 a,b,c // 第二种方法，其实String也有join方法可以实现这个功能

2021-08-08 16:19:22 315

原创免费开源的SSH 客户端工具推荐

一、Windows1、cmder：https://cmder.net/说到这个软件，大概就是我找 xshell 代替的，在百度上最多的回答之一了，看过之后也确实很有感觉，直接输入 ssh 命令就可以直接访问远程主机，还能自定义保存我们的主机配置，方便连接多个主机使用，官方的文档和教程也科普了很多的快捷键和配置说明，使用非常简单，还能随时跳转Windows自带的cmd和powershell，非常值得使用。2、electerm ：https://electerm.html5beta.com/这个软件，是

2021-08-08 14:54:43 4656

原创 Idea 比较好用的插件和设置

一.Idea插件1.Free-idea-mybatismybatis xml和对应的mapper之间来回切换的时候，有时候不同人开发，放置的位置又不同，使用此插件后，来回切换的时候异常方便，和所放置的位置无关。2.JUnitGenerator V2.0为某一个类生成测试代码。插件安装使用参考https://blog.csdn.net/houfengfei668/article/details/79947162https://blog.csdn.net/yanxilou/article/deta

2021-08-07 20:29:04 989

原创 Kylin的Api查询

之前已经成功创建了kylin的cube，并且可以使用 web ui查询。但除了通过web ui进行操作，我们还可以使用api调用。在使用之前，我们要先进行认证，目前Kylin使用 basic Authentication。Basic Authentication是一种非常简单的访问控制机制，它先对账号密码基于Base64编码，然后将其作为请求头添加到HTTP请求头中，后端会读取请求头中的账号密码信息以进行认证。以Kylin默认的账号密码 ADMIN/KYLIN 为例，对相应的账号密码进行编码后，结果为B

2021-08-05 18:05:06 816

空空如也

空空如也