qq_36732299的博客

原创 Linux日志分析：截取SQL日志特殊字段，并统计不同模块，使用SQL的次数。

Linux日志分析：截取SQL日志特殊字段，并统计不同模块，使用SQL的次数。原日志信息：2021-09-09 15:34:11.527223 info [NgprsStop,10.161.10.140,3561] time= 12 us [ Lock 0 , Disk 0 , Net 0 ], select * from tf_f_user_importinfo where user_id = ? and start_date<=? and end_date>=? ; @812009137

原创 使用Flink编写根据名字，统计姓氏的个数。

public static void main(String[] args) throws Exception { String inPath = "D:\\IDEA\\FlinkTutorial\\src\\main\\resources\\name.txt"; // 1. 创建执行环境 ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment(); // 2. 从文件读取数据 按行读取

原创 Hudi不设置主键

字段后加 PRIMARY KEY NOT ENFORCED

原创 Linux磁盘命令

[root@zqltscdata002 dev]# hdparm -t /dev/sda/dev/sda:Timing buffered disk reads: 2762 MB in 3.00 seconds = 920.47 MB/sec

原创 Hudi集成Flink

hudi 0.9 版本踩坑hudisql client插入数据卡死异常显示一进入hudi /log 下面执行tail -f * 查看错误在哪？Standalone session 的 FlinkCaused by: java.lang.ClassCastException:org.apache.hudi.common.metrics.LocalRegistry cannot be cast to org.apache.hudi.common.metrics.Resigtry

原创 Linux中ulimit参数的永久生效。-u -s -c

第一种，配置文件修改。修改所有 linux 用户的环境变量文件： vi /etc/profile ulimit -u 10000 ulimit -n 4096或进入对应用户的配置文件：vi ~/.bash_profile添加同上第二种，ulimits.conf配置文件修改。vi /etc/security/limits.conf进入后上面有详细的英文注解。1、 /etc/security/limits.conf 中增加这些e3base s...

原创 Hadoop统计所有block的个数

block的总块数fsck命令里面包含HDFS中的基本信息。hadoop fsck / | grep 'Total blocks' | awk '{print $4}'HDFS元数据的总条数位置在nn/currentcat fsimage_0000000004473734258 | wc -l

原创 集群常用脚本

一、集群时间同步修改脚本1）在/home/atguigu/bin目录下创建脚本dt.sh[atguigu@hadoop102 bin]$ vim dt.sh 2）在脚本中编写如下内容#!/bin/bashlog_date=$1for i in hadoop102 hadoop103 hadoop104do ssh -t $i "sudo date -s $log_date"done说明（ssh -t）：https://www.cnblogs.com/kevingrace/p/61

原创 Zookeeper

基本使用：zk启动zkServer.sh start客户端启动zkCli.shls /quota为初始。

原创 MySQL是如何使用内存和磁盘的

磁盘空间的占用：每个数据库对应MySQL数据目录下的一个目录，不管你是采用什么存储引擎。 每张数据表都在其对应的数据库目录下有一个table_name.frm文件，存储的是表定义信息，有64KB的限制。 MyISAM引擎表在其数据库目录下对应3个文件,包括上面的frm文件,还有数据文件和目录索引文件。 Innodb有自己的表空间和redo日志文件。 MySQL还有自己的日志文件，包括error log, binary log, general log等。 触发器存储在对应的数据...

原创 Linux安装ntp服务

centos7# yum install -y ntp修改配置文件vi /etc/ntp.confserver 127.127.1.0 (server节点添加)fudge 127.17.1.0 stratum 5 (server节点添加)server 192.168.236.135 (clien节点上添加)#systemctl restart ntpd (重启ntp服务)# ntp -p (检查)centos8中一般使用chrony进行时钟同步https://www.cnb...

原创 Linux中disk磁盘操作命令整理

#按照目录大小排序战士最前面15个目录或者文件du -xB M --max-depth=2 /var | sort -rn | head -n 15#列出当前所有子目录的文件大小du -h --max-depth=1#列出当前文件或者目录最大的10个du -s * | sort -n | tail#按照目录大小从大到小排序du -b --max-depth 1 | sort -nr | perl -pe 's{([0-9]+)}{sprintf "%.1f%s", $1&g...

原创 echo ＞与echo＞＞的区别

[liuyl@e3base01 ~]$ echo 1 > $E3_INFO_HOME/zookeeper/data/myid[liuyl@e3base01 ~]$ cat $E3_INFO_HOME/zookeeper/data/myid1表示覆盖原来文本中的内容。[liuyl@e3base01 ~]$ echo 3 >> $E3_INFO_HOME/zookeeper/data/myid[liuyl@e3base01 ~]$ cat $E3_INFO_HOME/..

原创 LInux集群之间免密登录

环境：三台Linux 服务器IP Release Hostname 192.168.200.131 centos7 ceph-node1192.168.200.130...

原创 Linux中永久修改ulimit的值

永久修改ulimit的值：1、etc/security/limits.conf中增加这些plat soft core 65536plat hard core 65536plat soft nofile 1048576plat hard nofile 1048576plat soft stack 262144plat hard stack 262144plat soft nproc 6553...

原创 linux中vim 修改文件出现错误“E45: ‘readonly‘ option is set (add！to override)”

：wq！或者：q！

原创 HBase命令启动流程，配置文件组件。

原创 IDEA常用插件工具

1.Translation翻译插件，现支持Google翻译、有道翻译。2. Free Mybatis plugin平时dao层找对应的xml时候需要很麻烦地去找，有了这个插件就不用了。3. Lombok plugin有了这个插件就不用get set方法了。4. activate-power-mode是一个装逼神器，敲代码的时候可以旋转跳跃不停歇，看图。5. Properties to YAML Converter将Properties配置文件一键转换成..

原创 WEB渗透工具

工具使用和网址域名反查看https://www.yougetsignal.com/CainCain中文版是一个可以crack屏保、PWL密码、共享密码、缓存口令、远程共享口令、SMB口令、支持VNC口令解码、Cisco Type-7口令解码、Base64口令解码、SQL Server 7.0/2000口令解码、Remote Desktop口令解码、Access Database口令解码、Cisco PIX Firewall口令解码、Cisco MD5解码、NTLM Session Secur

原创 Hadoop启动没有web页面，No Route to Host from master/192.168.13.186 to master:9000 failed on socket timeout

问题描述：拷贝的虚拟机在新的环境启动Hadoop时，hadoop有NN和DN但是没有web页面。ifconfig中的ip已经更改。使用hdfs命令出现以下错误。# hdfs dfs -ls /解决：后来发现ip不对。发现还有ip映射没有修改使用vi /etc/hosts修改为对应的。总结：出现这个问题大部分是一些细节没有考虑到（ip）。更多细节参考https://www.cnblogs.com/zlslch/p/6604189.html...

原创 Hive创建永久UDF教程。

添加 app_logs_hive.jar 到类路径/usr/local/soft/apache-hive-3.1.1-bin/lib 下临时添加 jar 包：hive (applogsdb)> add jar /usr/local/soft/apache-hive-3.1.1-bin/lib/hiveUDF-app_logs_hive.jar;永久添加 jar 包：在 conf/hive-site.xml 文件中添加由于之前添加过 json 的 jar 包所以修改为如下方式：hi

原创 Exception in thread “main“ java.lang.NoClassDefFoundError: scala/Cloneable

原因：scla2.13版本较新，Spark目前只要2.12的支持。解决:更换Scala的版本。重装2.12的。修改pom文件参数。

原创 第二章 Flume在Linux中的安装步骤

一、解压进入Flume官网http://flume.apache.org/download.html下载所需 的tarcd /usr/local/softtar -zxvf apache-flume-1.9.0-bin.tar.gz二、添加系统环境变量(需配置Java JDK系统参数)vi /etc/profileexport FLUME_HOME=/usr/local/soft/apache-flume-1.9.0-binexport PATH=$PATH:$F..

原创 IDEA2020，Maven下载了依赖包，编译不报错但是执行出现Error:(11, 20) not found: type SparkConf，Warning:Kotlin: Classpath.

IDEA2020，Maven下载了依赖包，编译不报错但是执行出现Error:(11, 20) not found: type SparkConf，Warning:Kotlin: Classpath entry points to a non-existent location: C:\U说明jar包的确下载下来，可以进去看源码。以前Hadoop也出现过类似的情况，mvn idea：idea没用。解决办法：注意，点击之后idea相当于初始化，破解后的需重新破解！...

原创 SpringBoot中templates和WIN-INF不能直接进行跳转。

templates中的页面，不能直接进行超链接跳转，受到保护。就像WIN-INF中的页面一样受到保护，不能在地址栏直接进行访问。如果需要，可以在Controller中进行重定向跳转。不能跳转<body><a href="../addStudent.html">添加</a><table> <thead> <tr> <th>学号</th> <th&g

原创 MyBatis简单CRUD操作，以及动态SQL

dao层@Repositorypublic interface UserMapper { //1 查询全部用户 List<User> findAll(); //2 添加用户 void addUser(User user);// //3 根据id修改用户 void updateUser(User user);// //4 根据id删除用户 void deleteUser(User user); /* 动态SQL.

原创 Spring+myBatis实现简单的增删改查

项目目录由于没有前台数据交互，在controller中代替entitypackage com.liu.demo.entity;public class User { int id; String username; String account; String password; public User() { } @Override public String toString() { retu

原创 Spring AOP

1. 切点pointcut类public class UserService { public void findAllUser(){ System.out.println("查询全部用户。。。"); }}2. 切面aspect类public class AdUserService { public void before(){ System.out.println("增强之前before()..."); } p..

原创 使用IDEA编写JavaWeb项目常见乱码的位置，及解决方法

1.IDEA中代码编辑区中出现乱码2.继承Servlet类中出现乱码3.数据库存入数据出现乱码dbproperties

原创 Lunux网络编程

原文链接https://blog.csdn.net/qq_34021920/article/details/805433151、ping命令其中127.0.0.1为自己的ip2、ifconfigifconfig命令被用于配置和显示Linux内核中网络接口的网络参数。HWaddr表示网卡的物理地址即MAC地址，可以看到目前这个网卡的MAC地址是：00:0C:29:A7:C0:6C inetaddr用来表示网卡的IP地址，此网卡的IP地址是：192.168.1.106广播地址Bcast：192

原创 JavaWEB学习中mysql打开批处理（批处理问题），配置文件url需要添加的参数；以及数据库配置文件详细参数。

只需要在db.properties配置文件中url后面加入？&rewriteBatchedStatements=truedriverClassName=com.mysql.cj.jdbc.Driverurl=jdbc:mysql://localhost:3306/mydb3?useUnicode=true&characterEncoding=UTF-8&ser...

原创 关于Navicat连接MySQL时出现Connection with same connection name already exists in the project

关于Navicat连接MySQL时出现Connection with same connection name already exists in the project点击连接名localihost右击删除连接即可，好不容易才发现这个坑！慎重。