流风雨情的博客

原创 Synchronized锁升级

锁升级偏向锁：自旋锁： 执行时间短 线程数少重量级锁： 执行时间长 线程数多

原创 Flink并行度

核心概念之并行度◆算子级别设置flink的编程API修改◆运行环境级别设置executionEnvironment的方法修改并行度◆客户端级别$FLINK_HOME/bin/flink的-p参数◆系统级别修改$FLINK_HOME/conf/flink-confyaml文件并行度优先级◆算子级别>运行环境级别>客户端级别>系统级别·并行度不能大于Slot个数 工作w...

原创 串行并发并行

原创 并行程序 阿姆达尔定律

原创 Java语言和多线程的渊源关系

原创 JAVA CAS

原创 Java对象头打印JDk1.8 64位

package learn.cn.多线程;import org.openjdk.jol.info.ClassLayout;/** * create by liuzhiwei on 2020/4/2 * Java对象头 64位虚拟机 * <p> * 对象头 mark word 4Byte 32bits 实际上 12byte=96bit 周志明第二版2008年出版的（3...

原创 Java各种各样的锁

本人Java经验不是很多，在开发的过程中，经常会听到悲观锁乐观锁 可重入锁 递归锁 共享锁独占锁 偏向锁 自旋锁 是不是被各种各样的锁概念搞的晕头转向悲观锁: 悲观锁指的是数据对外界的修改采取保守策略，它认为线程很容易会把数据修改掉，因此在整个数据被修改的过程中都会采取锁定状态，直到一个线程使用完，其他线程才可以继续使用。package learn.cn.多线程;/** * creat...

原创 IDEA Structure窗口简单说明

一般选择默认 加上按字母排序，显示public方法，通过方法入口进入查看调用链

原创 python 使用sys.stdin和fileinput读入标准输入的方法

https://www.jb51.net/article/149025.htm

原创 Flink自定义kafkaSource 和Sink

pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=...

原创 Flink 自定义MySQL sink简单例子

package com.yqg.bigdata.dm.collection.repay.details;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.configuration.Configuration;import org.apache.flink.streaming.api.functio...

原创 Kafka查看当前消费者消费量多少消息

注意：从kafka-0.9版本及以后，kafka的消费者组和offset信息就不存zookeeper了，而是存到broker服务器上，所以，如果你为某个消费者指定了一个消费者组名称（group.id），那么，一旦这个消费者启动，这个消费者组名和它要消费的那个topic的offset信息就会被记录在broker服务器上。kafka版本➜ /Users/liuzhiwei> kaf...

原创 MacOS安装mongodb启动

Homebrew安装 修改中科大源cd "$(brew --repo)"git remote set-url origin https://mirrors.ustc.edu.cn/brew.gitbrew tap mongodb/brewbrew install mongodb-community@4.2直接输入mongod 报错exception in initAndList...

原创 String substring(a) 和substring(a,b)

package basic;/** * create by liuzhiwei on 2020/3/29 */public class StringTest { public static void main(String[] args) { //线程安全的 StringBuffer stringBuffer = new StringBuffer(...

原创 时间处理类SimpleDateFormat的parse和format方法的使用

SimpleDateFormat.format把date转成StringSimpleDateFormat.parse把String转成datepackage basic;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.Date;/** * create by ...

原创 Java 四舍五入 保留2位小数的方法

package basic;import java.math.BigDecimal;import java.math.RoundingMode;import java.text.DecimalFormat;import java.text.NumberFormat;/** * create by liuzhiwei on 2020/3/29 */public class 保留2...

原创 百度网盘在线播放倍数加速方法

videojs.getPlayers("video-player").html5player.tech_.setPlaybackRate(1.5)

原创 maven编译源码命令

mvn clean install -DskipTests -Dmaven.javadoc.skip=true -Dcheckstyle.skip=true

原创 使用maven创建Flink项目

$ mvn archetype:generate \ -DarchetypeGroupId=org.apache.flink \ -DarchetypeArtifactId=flink-quickstart-java \ -DarchetypeVersion=1.10...

原创 配置mysql终端下显示当前数据库名称提示符 字符串utf8编码 开启binlog

在Mac 下 /etc/my.cnf 文件[client]port=3306prompt="\u@\h:\d>" # 数据库名称提示符[mysql]default-character-set = utf8[mysqld]#binlog数据中包含server_id,标识该数据是由那个server同步过来的server-id = 1#mysql向文件名前缀添加数字后缀来按顺...

原创 iterm2终端下jps无名进程(只有进程号没有进程名)

jps的时候经常发现一些无名进程，不知道是什么？今天发现kill后，发现idea 和pycharm关闭了，原谅是idea的进程。。。

原创 hadoop分布式节点划分

划分masterslave01slave02HDFSnamenodedatanodedatanode/SecondaryNameNodeYARNresourceManagerNodeManagerNodeManager

原创 阿里数据中台架构图

来自公共号木东居士

原创 Hive常用DDL操作

Hive常用DDL操作一、Database        1.1 查看数据列表        1.2 使用数据库        1.3 新建数据库&...

原创 Hive CLI

使用 hive -H 或者 hive --help 命令可以查看所有命令的帮助，显示如下：➜ /Users/liuzhiwei/app/hive-2.3.6/bin> hive -HSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/Users/liuzhiwe...

原创 beeline 链接 hiveserver2 报错

➜ /Users/liuzhiwei/app/hive-2.3.6/bin> ./beeline SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/Users/liuzhiwei/app/hive-2.3.6/lib/log4j-slf4j-impl-2.6.2.j...

原创 linux下统计文本行数的各种方法

文件test1.txt有17行方法一：awk '{print NR}' test1.txt | tail -n1管道前打印所有行号，管道后则打印最后一行或者：awk 'END{print NR}' test1.txt方法二：grep -n '' test1.txt | awk -F : '{print $1}' | tail -n1或者：grep -n '' tes...

原创 shell脚本中判断上一个命令是否执行成功

#!/bin/shecho "hello world"if [ $? -eq 0 ]; then echo "success"else echo "fail"fi

原创 使用npm安装软件包kmdr一直处于sill install loadAllDepsIntoIdealTree状态，安装无法完成

修改为淘宝源➜ /Users/liuzhiwei> sudo npm install kmdr@latest --global --registry=http://registry.npm.taobao.orgPassword:/usr/local/bin/kmdr -> /usr/local/lib/node_modules/kmdr/dist/bin.js+ kmdr...

原创 坑坑坑！！！idea引入maven项目，jar包导入都正常，但是代码引入包报错

通过idea导入一个maven项目之后，代码中引入包报错，不知道咋回事，查了好久，各种方法都试了，最后解决了reimport和clean都做过还是一样报错重新启动了idea还是不行删掉本地仓重新导入不行删除文件夹下的.idea文件夹和xxx.iml文件，然后重新打开就可以了（不要担心删了那个配置文件，整个项目都废，重新打开会重新生成）郁闷。。。。...

原创 twisted 18.7.0 requires PyHamcrest>=1.9.0, which is not installed.

➜ /Users/liuzhiwei/PycharmProjects/py_code> git:(master) ✗ pip install pycryptodome Collecting pycryptodome Downloading https://files.pythonhosted.org/packages/0e/b9/6cc7e451a7b35d9151d52ee9045...

原创 Mac 修改pip源

今天在使用pip安装第三包的过程中发现特别慢 ，还容易失败重试，记得在之前看过有国内源之类的国内pip源列表阿里云 http://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/豆瓣 http://pypi.douban.com/simple/清华大学 https://pyp...

原创 hive-2.3.6 使用transform

现有原始 json 数据（rating.json）如下{"movie":"1193","rate":"5","timeStamp":"978300760","uid":"1"}{"movie":"661","rate":"3","timeStamp":"978302109","uid":"1"}{"movie":"914","rate":"3","timeStamp":"97830196...

原创 开启Hadoop/Yarn的日志监控功能

配置 yarn-site.xml<!-- Site specific YARN configuration properties --><configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapredu...

原创 Hadoop WARN org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor: Exi

/Users/liuzhiwei/app/hadoop/logs> code yarn-liuzhiwei-nodemanager-lzw-mac.lan.log2020-03-09 00:22:48,081 WARN org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor: Exit code from co...

原创 hadoop WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable解决方案是在文件hadoop-env.sh中增加：export HADOOP_OPTS="-Djava.library.path=${H...

原创 java jar后台启动的三种方式

java jar启动linux中启动 java -jar 后台运行程序直接用java -jar xxx.jar，当退出或关闭shell时，程序就会停止掉。以下方法可让jar运行后一直在后台运行。java -jar xxx.jar &说明： 在末尾加入 & 符号（1）执行java -jar xxx.jar后（2）ctrl+z 退出到控制台,执行 bg（3）e...

原创 解决idea 每次新建项目需要重新配置maven

File->Other Settings-->Setting for New Projects->设置maven仓库即可

原创 Hive优化

https://blog.csdn.net/wxfghy/article/details/81361400