一个不安分的程序员-CSDN博客

原创 Github创建的个人简历

上图中浏览器地址的后面部分，头像下面显示的是账号名称和公司名称可别用错了。可所以我要创建的仓库名称就是。在Github上要输入表情可以敲“:”(英文状态的)，后面跟上表情英文名称，就可以搜索选择了。README.md就是个普通的markdown文件了，你可以自由发挥了。注意是跟自己账号ID同名而不是账号名称，如我的Github账号ID是。创建的时候记得选中生成REDAME.md文件。2.然后在线编辑REDAME.md再提交。1.创建一个跟自己账号同名的仓库。先这样吧，以后有时间再完善。

2022-11-04 13:17:02 1461

原创 Rust Web开发Web第一步用户先登录

开始试用Rust的Web开发组件actix-web使用cargo new新建一个项目rust_login用于实现用户登录功能。在Cargo.toml文件中配置需要的依赖[package]name = "rust_login"version = "0.1.0"authors = ["Tianlang <tianlangstuido@aliyun.com>"]edition = "2018"# See more keys and their definitions at htt

2020-05-17 08:13:24 3258 3

原创 cargo lambda invoke Error: x invalid error payload expected value at line 1 column 1

需要先执行cargo lambda watch，先前误执行成了cargo watch。

2023-11-20 09:42:25 189

原创 SpringBoot JPA not-null property references a null or transient value 问题解决

也可以先使用ID获取当前需要更新的实体，然后修改需要更新的字段后再使用save保存，这样每次更新都是全字段，如果字段比较多对数据库性能会有影响。可以在实体类上使用@DynamicUpdate注解，这样hibernate在生成更新SQL时就只包含值有变更并且不为null的字段。使用了@DynamicUpdate注解后，在service中先load再更新生成的SQL edit:test_hot5。报错的字段恰好时更新时不需要的字段，在字段对应的@Column注解中设置updatable=false解决。

2023-10-10 10:51:02 655

原创云主机测试Flink磁盘满问题解决

使用云主机测试Flink时，根目录满了。经排查发现运行Flink任务后根目录空间一直在减少，最后定位持续增加的目录是/tmp目录。修改Flink配置使用一个相对较大的磁盘目录做为Flink运行时目录。

2023-08-03 09:49:42 1780

原创 Windows特殊名称文件夹删除

突然想到要是在Linux下开发就好了，应该就不会遇到这么奇葩的问题了， Linux？也许可以试下Git Bash. 在Windows下可以执行bash命令的工具。直接使用Linux下常用的ls命令找到需要删除的文件夹名称，再使用rm -rf删除文件夹，so easy。删除build时可以看到build后面是有个空格的，用dir看着不明显，用ls就明显多了.使用React开发的前端项目，指定build输出路径是创建出了俩个特殊的文件夹。尝试下载删除文件夹的工具也没找到靠谱的下载地方。

2023-07-19 11:14:31 395

原创 Unable to make field private final java.lang.String java.io.File.path accessible: module java.base

经过检查发现升级了gradle7，使用的JDK 17. 真是一次大跳跃，不得不说Java这几年发版本真快。从报错信息可以看出跟Java模块化有关，先前都是用的JDK8 而模块化是JDK9引入的新功能。可以在gradle.properties（项目根目录下可以找到）中设置。既然JDK 17要模块化，那就跟项目指定一个不需要模块化得JDK8.

2023-06-21 08:44:12 4307

原创 dangerousRemoteUrlIpcAccess

在使用Tauri窗口加载外部链接时，需要也能继续使用Tauri API与Rust交互。修改Cargo.toml文件，先前使用的tauri 1.2.4 修改版本为1.3.0 删除tauri-api。步骤1. 升级tauri-cli 及 tauri相关依赖，删除不需要的依赖，执行cargo update。问题解决，发布公告中使用的配置项名称于官方文档中使用的名称不一致，按照官方文档中修改解决。步骤2. 编辑tauri.conf.json文件修改。执行cargo update后仍然报错。

2023-05-05 19:42:20 801 1

原创 Flink 1.16 idea intellij中运行web ui

/设置为0 每次启动端口都不一样也可以设置一个固定的端口如8081。(conf) 时直接设置下这个参数就行了，需要发布运行时也不用再修改代码。在pom.xml文件中添加flink-runtime-web依赖。Flink 1.16.1亲测可用，先前的版本可能还需要使用。做的事情也无非就时往配置项里添加了个rest.port.在初始化执行环境时传入的配置中添加rest.port项。在浏览器中访问对应链接就可以看到web ui了。//checkpoint配置。//获取Flink的运行环境。

2023-03-15 15:51:21 895

原创 docker升级后启动失败需要指定storage driver

问题描述：闲来无事就在开发电脑上执行了下sudo apt-get upgrade 升级下软件, 升级后docker启动失败.visit。

2023-03-04 18:31:18 2239

原创 Rust Atomic总结笔记

在Rust中原子操作通过std::sync::atomic模块下的原子类型提供，比如：AtomicI32.比较后交换（Compare-and-exchange）操作比较灵活通用，也是实现其它类型操作的基础。获取后修改（Fetch-and-modify）操作在多个线程中修改同一个原子变量时比较有用。简单的存取（load和store）适用于比较简单的线程内部通信，比如：停止标志，状态报告。原子（Automic）操作是不可再分的操作，要么全部执行完成，要么全部不执行。并不是所有的原子类型在所有平台上都有提供。

2022-12-26 11:45:52 1220 3

原创 Rust并发编程总结

普通的线程有可能跟程序运行一样长的时间，所以需要借用有静态生命周期（'static）的数据或者使用泄露分配（Box::leak）当条件取决于已经被Mutex保护的数据时，使用Condvar会更方便也相对使用thread::park更高效。&T是共享引用，&mut T是排它引用。数据如果是Send的就可以发送到其它线程中，如果数据是Sync的就可以在线程间共享。可以使用有范围的线程限制线程的生命周期，这样就可以借用非静态生命周期的数据了。一个程序中的多个线程可以并行执行，可以使用spawn创建新的线程.

2022-12-26 10:47:00 798

原创 nextjs13 webpack5 使用wasm报错

问题描述：在next 13, webpack 5, react 18的项目中使用Rust编写的wasm报错： ./node_modules/image-map-path/image_map_path_bg.wasmModule parse failed: Unexpected character '' (1:0)The module seem to be a WebAssembly module, but module is not flagged as WebAssembly mo

2022-12-08 10:24:33 1428

原创 Grails SpringBoot国际化不生效

defaultLocal 的优先级是高于request.getLocale()的也就是配置的默认locale比从访问请求中解析到的locale优先级高, 这就是为什么Accept-Language不起作用的原因。但无论浏览器了配置什么语言甚至配置了Tomcat启动参数 -Duser.language=xxx -Duser.region=xxx页面显示依旧是英文。java.util.Locale有很多常用的静态Locale，直接用就可以了，省得写错了，出现很神奇的错误。

2022-11-24 21:52:33 697

原创 React18报consider converting part of this to a Client Component

Next13 app目录下的组件默认都是server side的，但onChange是需要在Client Side处理的也就是在浏览器上处理，所以需要声明组件是client side的，怎么声明呢？搜索了白天最后找到Next的官方文档就一句话: 在文件的开头写上。

2022-11-22 21:17:52 1404 1

原创 webpack react npm start报错解决 ERR_OSSL_EVP_UNSUPPORTED

也可以每次执行npm start时设置 NODE_OPTIONS=--openssl-legacy-provider npm start。使用最新的npx create-react-app my-app创建了个react项目。

2022-11-17 20:13:35 2881

原创这个故事改善了我的焦虑小故事大智慧如何摆脱烦恼

生活中人们都会遇到问题，但有些人遇到问题后异常沮丧，不知道该怎么办！今天的故事就是为这样的人准备的。如果你也是这样的人，那就一定要看完！从前，小镇附近住着一位非常聪明的和尚。人们经常找他解决问题。一天，许多人带着他们的问题等着见和尚。过了一会儿，和尚走进房间，开始一个接一个地倾听他们的问题。在听取了所有人的问题之后。和尚突然起身离开了房间。人们对他的行为感到很疑惑。过了一会，和尚回到了房间...

2022-11-05 11:09:35 508

原创 libecal-2.0-1 : Depends: libedataserver-1.2-26 (= 3.44.2-0ubuntu1) but 3.44.4-0ubuntu1 is installed

先执行sudo dpkg --configure -a 再执行 sudo apt --fix-broken install修复。根据提示执行sudo apt --fix-broken install 仍然报错。

2022-10-13 10:24:30 216

原创磁盘被Docker占满了怎么办？Docker修改默认存储路径/var/lib/docker

如果输出的是新的路径就代表修改成功了,从这里也可以看出这个配置的官方名称叫 Docker Root Directory(Docker根目录)装的Linux类Ubuntu系统，发现电脑的磁盘满的很快，使用df -lh, du --max-depth -h逐步排查。最后锁定了/var/lib/docker这个目录,从名称看就是docker运行时用到的目录.修改docker默认运行目录到空间剩余比较多的磁盘如： /data3。

2022-08-20 16:00:16 2641

原创 POP!OS高温得切换显卡

这台电脑从2016年跟着我赶过飞机坐过高铁，屏幕也已经花了用电视机替代了屏幕，也不能再跟着我到处跑了。OS22.04后，多次出现正美美看片的时候突然就画面卡顿音频无限循环了,刚开始以为是浏览器问题，换了浏览器后出现的更频繁了.sudo system76-power graphics #确认是使用的nvidia显卡确认输出nvidia。sudo prime-select query # 查看当前显卡。...

2022-08-19 09:41:44 445

原创 Pop!_OS 21.10升级22.04失败记录

正高兴系统自动更新功能好用了，重启后进入系统后发现桌面没相应,键盘没相应，就鼠标可以在呆呆的桌面上来回划动。系统总是弹出提示框让升级到22.04，鉴于先前有使用自动升级失败的教训一直没理会。可耐不住它每天提示还大有越来越频繁的趋势，那就再试下系统自带的升级功能吧。尝试按ctrl+alt+F3 新开命令行终端，还好有反应，基于先前就没使用系统的自动更新功能成功过，废话不多说，直接回退吧。去/etc/apt目录下把source文件恢复到升级前版本，还好自动升级会把先前的文件加个save后缀备份. 然后执行。..

2022-08-15 20:26:05 3432

原创 sparksql Cannot broadcast the table over xxx

将sql中使用的过滤条件in(selectidfromtable_b)修改为使用semijoin的方式实现。检查SQL中没有join操作。

2022-08-01 22:39:56 1107

原创 docker ps报无权限

问题描述：安装docker后使用非root账户不使用sudo执行docker ps报以下错误：解决方法：查看报无权限的/var/run/docker.sock文件属性：看到所属组docker有权限，给当前执行用户添加docker用户组其中tianlang为当前执行用户名再次执行docker ps仍然报错.使用groups检查用户组是否添加成功可以看到使用groups tianlang能看到新添加的docker用户组，直接使用groups却看不到。看来是新增的用户组信息在当前登陆环境还没生效，需要重新登陆下。

2022-06-12 21:58:09 1081 1

原创 Flink使用Rocksdb状态后端任务运行一段时间后挂掉

问题描述：由于需要存储大量状态信息，在使用Flink Sql开发实时计算作业时配置RocksDB做为状态后端，任务起初运行良好，运行一段时间后有任务偶发性出现失败，（使用yarn logs -applicaitonId）查看作业日志发现以下异常信息：org.apache.flink.runtime.io.network.netty.exception.RemoteTransportException: Connection unexpectedly closed by remote task m

2022-04-11 20:09:13 3000

原创 Rust编译加速crates.io

编译Rust项目时需要访问crates.io, 由于网络环境原因通常比较慢，可以使用国内的crates.io地址：编辑或新建~/.cargo/config文件,添加以下内容：[source.crates-io]registry = "https://github.com/rust-lang/crates.io-index"replace-with = 'ustc'[source.ustc]registry = "git://mirrors.ustc.edu.cn/crates...

2022-03-01 15:05:57 961

原创 Flink任务报Cannot have more than one execute() or executeAsync() call in a single environment

问题描述：使用Flink 1.12开发的任务在本地IDEA中可以正常运行，发布到集群上报如下错误：java.util.concurrent.CompletionException: org.apache.flink.client.deployment.application.ApplicationExecutionException: Could not execute applicationat java.util.concurrent.CompletableFuture.encodeThr

2022-02-23 11:54:16 5027

原创访问开启Kerberos Kafka集群报Identifier doesn‘t match expected value (906)

问题描述：使用Kafka客户端通过21007端口访问开启Kerberos的集群报以下错误： javax.security.sasl.SaslException: An error: (java.security.PrivilegedActionException: javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mech

2022-02-15 09:37:15 7684 2

原创 Flink读取Hudi表报ArrayIndexOutOfBoundsException

问题描述：使用Flink读取Hudi表一周前还是可以正常读的，现在运行报：java.lang.ArrayIndexOutOfBoundsExceptionat org.apache.hudi.table.format.cow.ParquetSplitReaderUtil.lambda$genPartColumnarRowReader$0(ParquetSplitReaderUtil.java:97)at java.util.stream.IntPipeline$4$1.accept(IntP

2022-01-18 15:27:57 2701

原创 Flink学习笔记

在使用Flink过程中往往遇到一个问题调半天，后来发现只是一两个参数设置的不合适。看来还是要“读书”。这里做些摘录，以备需要时查阅。摘录多是别人的经验分享，自己并没有实际验证过，也有可能大家使用的Flink版本差异，有不适用的也在所难免，仅供参考!选择合适的Join实现方式传统批处理使用的3种join实现:1.Nested-loop Join：嵌套循环的join实现方式，简单粗暴的把需要进行join的两个数据集都加载到内存中，然后使用循环遍历的方式根据join条件进行遍历。这种实现方式空间和

2022-01-11 18:11:51 730

原创 Flink运行报 I/O error constructing remote block reader

问题描述：IDEA中运行Flink实时计算程序，一直报：WARN org.apache.hadoop.hdfs.client.impl.BlockReaderFactory - I/O error constructing remote block reader.java.nio.channels.CloseByInterruptExceptionat java.nio.channels.spi.AbstractInterruptibleChannel.end(AbstractInterr

2021-12-31 19:22:40 3209

原创 Flink本地开发设置jobmanager.memory.heap.size不生效

问题描述：数据开发人员本地IDEA运行Flink应用JobManager内存只有8G，需要设置成16G，通过设置jobmanager.memory.heap.size为16G后，在FlinkUI上看到 jobmanager的配置大型为16G，但可用内存还是8G解决方法：在IDEA运行配置中设置JVM参数 -Xmx16G -Xms16G 解决本地IDEA运行Flink和提交运行方式是不一样的，本地运行内存限制于IDEA启动任务时的JVM参数，官方文档中也有提到：...

2021-12-27 10:39:45 1789 4

原创 Debezium同步MySql数据锁表

问题描述：开启Debezium同步MySql数据任务后，发现查询某个表特别慢，结果迟迟不能返回.通过select * from information_schema.`PROCESSLIST` t where t.user = 'username'查看发现，有大量查询处于 Waiting for table flush 状态解决方法：设置snapshot.locking.mode = none解决.但有丢数据风险，具体详情可以参考这个issue...

2021-12-24 15:25:24 2971

原创 Debezium同步PostgreSQL数据报：permission denied for database databaseName

解决Debezium同步PostgreSQL数据报：permission denied for database databaseName

2021-12-20 10:14:41 5478

原创 Spark查询Hive表报failed to save roles to cache file

问题描述：使用Spark Sql以yarn client模式读取hive表时报错：failed to save roles to cache file '/opt/bigdata/xxx/xxx/xxx/sparkSql_Hive_roles.json'org.apache.ranger.plugin.util.RangerRolesProvider.saveToCache(RangerRolesProvider.java:312)java.io.FileNotFoundException

2021-11-30 17:19:46 1562

原创 Chrome关闭非安全站点证书检查

问题描述：在测试使用Https的网站时由于用的是自己生成的证书，使用Chrome访问时总是提示非安全站点，您的链接不是私密链接，总之需要手动多点几次才能看到要访问的页面.解决方法：测试时启动Chrome添加参数：--ignore-certificate-errors如：C:\Program Files\Google\Chrome\Application\chrome.exe --ignore-certificate-errors在使用自动化测试Selenium、jvppet.

2021-11-30 08:48:29 8808

原创 Spark Jdbc报NullPointerException

问题描述：运行使用Spark Jdbc读取postgresql程序报错：Exception in thread "main" java.lang.NullPointerExceptionat java.util.Hashtable.put(Hashtable.java:460)at java.util.Properties.setProperty(Properties.java:166)at org.apache.spark.sql.execution.datasources.jdbc

2021-11-24 14:22:59 2328

原创 Rust Edition 2021发布

随着2021年10月21日Rust 1.56.0发布也一同带来了Edition 2021.发布的新特性有：Disjoint Capture在闭包中如果使用了结构体的某个属性，使用版本2021只会尝试捕获使用到的属性而不是整个结构体，示例代码：//-- 可以这样写了，而不用像先前版本还需要先let y = &a.ylet c = || print!("{}", aStruct.y);在使用宏（macros）时支持or patterns了，不需要这样写了：Some(1)|.

2021-11-07 18:16:09 606

原创多个Spark任务同时写Hudi表

在实际应用中难免会遇到多个流或批处理程序需要同时操作同一张Hudi表的场景，默认情况下多个程序往同一张Hudi表中写数据时会发生多写冲突造成程序运行失败，要解决并发写问题可以借助Zookeeper实现基于乐观锁的并发写。使用Spark 3.1.1 Hudi 0.9.0 开启乐观锁并发写功能配置参考：writer........//作为分布式锁的zookeeper节点目录.option(HoodieLockConfig.ZK_BASE_PATH.key(), "/hudi/write_l

2021-11-05 17:52:22 2606

原创 Hive读取成功用Spark Sql读报SchemaColumnConvertNotSupportedException

问题描述：Hive上有张表在Hue上使用hive引擎查询可以读取到数据，换成Spark Sql引擎查询就报错了：org.apache.spark.sql.execution.datasources.SchemaColumnConvertNotSupportedException atorg.apache.spark.sql.execution.datasources.parquet.VectorizedColumnReader.constructConvertNotSupportedExcep.

2021-10-27 16:45:07 1396

原创使用Hive查询Hudi表结果异常

问题描述：使用Spark写hudi表并同步到hive,然后使用Hue hive查询同步的hudi表。发现对COW类型的表进行count查询和select * 查询出的数据总条数不一致，并且查询MOR表的实时视图也报错:FAILED:Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask解决方法：在执行查询时设置:set hive.input.format=org.apache..

2021-10-25 09:58:12 1842 3