一个不安分的程序员

以为跟清理了AppData目录有关，就重新安装的RustRover问题依然没有解决。取消git 的全局代理，可能是以前为了加速为Git配置了全局代理。上看应该是跟使用了网络代理有关，可并没有开启代理。确认配置的git全局代理。

先前只考虑到React了，忽略了是在NextJS中使用React的。NextJS把我们的页面当成服务端渲染，React的Context API看来还没支持。想用React Context做下用法验证，就使用NextJS创建了一个项目，编写了简单的Context代码用于验证。无论怎么改写代码都不能解决，对比官方React官方文档并无出入，一时不得其解。解决方法很简单：在page.js 最上面添加 'use client'

需要先执行cargo lambda watch， 先前误执行成了cargo watch。

也可以先使用ID获取当前需要更新的实体，然后修改需要更新的字段后再使用save保存，这样每次更新都是全字段，如果字段比较多对数据库性能会有影响。可以在实体类上使用@DynamicUpdate注解，这样hibernate在生成更新SQL时就只包含值有变更并且不为null的字段。使用了@DynamicUpdate注解后，在service中先load再更新 生成的SQL edit:test_hot5。报错的字段恰好时更新时不需要的字段，在字段对应的@Column注解中设置updatable=false解决。

突然想到要是在Linux下开发就好了，应该就不会遇到这么奇葩的问题了， Linux？也许可以试下Git Bash. 在Windows下可以执行bash命令的工具。直接使用Linux下常用的ls命令找到需要删除的文件夹名称，再使用rm -rf删除文件夹，so easy。删除build时可以看到build后面是有个空格的，用dir看着不明显，用ls就明显多了.使用React开发的前端项目，指定build输出路径是创建出了俩个特殊的文件夹。尝试下载删除文件夹的工具也没找到靠谱的下载地方。

经过检查发现升级了gradle7，使用的JDK 17. 真是一次大跳跃， 不得不说Java这几年发版本真快。从报错信息可以看出跟Java模块化有关，先前都是用的JDK8 而模块化是JDK9引入的新功能。可以在gradle.properties（项目根目录下可以找到）中设置。既然JDK 17要模块化，那就跟项目指定一个不需要模块化得JDK8.

在使用Tauri窗口加载外部链接时，需要也能继续使用Tauri API与Rust交互。修改Cargo.toml文件，先前使用的tauri 1.2.4 修改版本为1.3.0 删除tauri-api。步骤1. 升级tauri-cli 及 tauri相关依赖，删除不需要的依赖，执行cargo update。问题解决，发布公告中使用的配置项名称于官方文档中使用的名称不一致，按照官方文档中修改解决。步骤2. 编辑tauri.conf.json文件修改。执行cargo update后仍然报错。

/设置为0 每次启动端口都不一样 也可以设置一个固定的端口 如8081。(conf) 时直接设置下这个参数就行了，需要发布运行时也不用再修改代码。在pom.xml文件中添加flink-runtime-web依赖。Flink 1.16.1亲测可用， 先前的版本可能还需要使用。做的事情也无非就时往配置项里添加了个rest.port.在初始化执行环境时传入的配置中添加rest.port项。在浏览器中访问对应链接就可以看到web ui了。//checkpoint配置。//获取Flink的运行环境。

问题描述：闲来无事就在开发电脑上执行了下sudo apt-get upgrade 升级下软件, 升级后docker启动失败.visit。

问题描述：在next 13, webpack 5, react 18的项目中使用Rust编写的wasm报错： ./node_modules/image-map-path/image_map_path_bg.wasmModule parse failed: Unexpected character '' (1:0)The module seem to be a WebAssembly module, but module is not flagged as WebAssembly mo

defaultLocal 的优先级是高于request.getLocale()的也就是配置的默认locale比从访问请求中解析到的locale优先级高, 这就是为什么Accept-Language不起作用的原因。但无论浏览器了配置什么语言甚至配置了Tomcat启动参数 -Duser.language=xxx -Duser.region=xxx页面显示依旧是英文。java.util.Locale有很多常用的静态Locale，直接用就可以了，省得写错了，出现很神奇的错误。

Next13 app目录下的组件默认都是server side的， 但onChange是需要在Client Side处理的也就是在浏览器上处理，所以需要声明组件是client side的，怎么声明呢？搜索了白天最后找到Next的官方文档就一句话: 在文件的开头写上。

也可以每次执行npm start时设置 NODE_OPTIONS=--openssl-legacy-provider npm start。使用最新的npx create-react-app my-app创建了个react项目。

生活中人们都会遇到问题，但有些人遇到问题后异常沮丧，不知道该怎么办！ 今天的故事就是为这样的人准备的。 如果你也是这样的人，那就一定要看完！ 从前，小镇附近住着一位非常聪明的和尚。 人们经常找他解决问题。 一天，许多人带着他们的问题等着见和尚。 过了一会儿，和尚走进房间，开始一个接一个地倾听他们的问题。 在听取了所有人的问题之后。和尚突然起身离开了房间。 人们对他的行为感到很疑惑。 过了一会，和尚回到了房间...

上图中浏览器地址的后面部分，头像下面显示的是账号名称和公司名称可别用错了。可所以我要创建的仓库名称就是。在Github上要输入表情可以敲“:”(英文状态的)，后面跟上表情英文名称，就可以搜索选择了。README.md就是个普通的markdown文件了，你可以自由发挥了。注意是跟自己账号ID同名而不是账号名称，如我的Github账号ID是。创建的时候记得选中生成REDAME.md文件。2.然后在线编辑REDAME.md再提交。1.创建一个跟自己账号同名的仓库。先这样吧，以后有时间再完善。

先执行sudo dpkg --configure -a 再执行 sudo apt --fix-broken install修复。根据提示执行sudo apt --fix-broken install 仍然报错。

如果输出的是新的路径就代表修改成功了,从这里也可以看出这个配置的官方名称叫 Docker Root Directory(Docker根目录)装的Linux类Ubuntu系统，发现电脑的磁盘满的很快，使用df -lh, du --max-depth -h逐步排查。最后锁定了/var/lib/docker这个目录,从名称看就是docker运行时用到的目录.修改docker默认运行目录到空间剩余比较多的磁盘如： /data3。

这台电脑从2016年跟着我赶过飞机坐过高铁，屏幕也已经花了用电视机替代了屏幕，也不能再跟着我到处跑了。OS22.04后，多次出现正美美看片的时候突然就画面卡顿音频无限循环了,刚开始以为是浏览器问题，换了浏览器后出现的更频繁了.sudo system76-power graphics #确认是使用的nvidia显卡 确认输出nvidia。sudo prime-select query # 查看当前显卡。...

正高兴系统自动更新功能好用了，重启后进入系统后发现桌面没相应,键盘没相应，就鼠标可以在呆呆的桌面上来回划动。系统总是弹出提示框让升级到22.04，鉴于先前有使用自动升级失败的教训一直没理会。可耐不住它每天提示还大有越来越频繁的趋势，那就再试下系统自带的升级功能吧。尝试按ctrl+alt+F3 新开命令行终端，还好有反应，基于先前就没使用系统的自动更新功能成功过，废话不多说，直接回退吧。去/etc/apt目录下把source文件恢复到升级前版本，还好自动升级会把先前的文件加个save后缀备份. 然后执行。..

将sql中使用的过滤条件in(selectidfromtable_b)修改为使用semijoin的方式实现。检查SQL中没有join操作。

问题描述：安装docker后使用非root账户不使用sudo执行docker ps报以下错误：解决方法：查看报无权限的/var/run/docker.sock文件属性：看到所属组docker有权限，给当前执行用户添加docker用户组其中tianlang为当前执行用户名再次执行docker ps仍然报错.使用groups检查用户组是否添加成功可以看到使用groups tianlang能看到新添加的docker用户组，直接使用groups却看不到。看来是新增的用户组信息在当前登陆环境还没生效，需要重新登陆下。

问题描述：由于需要存储大量状态信息，在使用Flink Sql开发实时计算作业时配置RocksDB做为状态后端，任务起初运行良好，运行一段时间后有任务偶发性出现失败，（使用yarn logs -applicaitonId）查看作业日志发现以下异常信息：org.apache.flink.runtime.io.network.netty.exception.RemoteTransportException: Connection unexpectedly closed by remote task m

编译Rust项目时需要访问crates.io, 由于网络环境原因通常比较慢，可以使用国内的crates.io地址：编辑或新建~/.cargo/config文件,添加以下内容：[source.crates-io]registry = "https://github.com/rust-lang/crates.io-index"replace-with = 'ustc'[source.ustc]registry = "git://mirrors.ustc.edu.cn/crates...

问题描述：使用Flink 1.12开发的任务在本地IDEA中可以正常运行，发布到集群上报如下错误：java.util.concurrent.CompletionException: org.apache.flink.client.deployment.application.ApplicationExecutionException: Could not execute applicationat java.util.concurrent.CompletableFuture.encodeThr

问题描述：使用Kafka客户端通过21007端口访问开启Kerberos的集群报以下错误： javax.security.sasl.SaslException: An error: (java.security.PrivilegedActionException: javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mech

问题描述：使用Flink读取Hudi表一周前还是可以正常读的，现在运行报：java.lang.ArrayIndexOutOfBoundsExceptionat org.apache.hudi.table.format.cow.ParquetSplitReaderUtil.lambda$genPartColumnarRowReader$0(ParquetSplitReaderUtil.java:97)at java.util.stream.IntPipeline$4$1.accept(IntP

在使用Flink过程中往往遇到一个问题调半天，后来发现只是一两个参数设置的不合适。看来还是要“读书”。这里做些摘录，以备需要时查阅。摘录多是别人的经验分享，自己并没有实际验证过，也有可能大家使用的Flink版本差异，有不适用的也在所难免，仅供参考!选择合适的Join实现方式传统批处理使用的3种join实现:1.Nested-loop Join：嵌套循环的join实现方式，简单粗暴的把需要进行join的两个数据集都加载到内存中，然后使用循环遍历的方式根据join条件进行遍历。这种实现方式空间和

问题描述：IDEA中运行Flink实时计算程序，一直报：WARN org.apache.hadoop.hdfs.client.impl.BlockReaderFactory - I/O error constructing remote block reader.java.nio.channels.CloseByInterruptExceptionat java.nio.channels.spi.AbstractInterruptibleChannel.end(AbstractInterr

问题描述：数据开发人员本地IDEA运行Flink应用JobManager内存只有8G，需要设置成16G，通过设置jobmanager.memory.heap.size为16G后，在FlinkUI上看到 jobmanager的配置大型为16G，但可用内存还是8G解决方法：在IDEA运行配置中设置JVM参数 -Xmx16G -Xms16G 解决本地IDEA运行Flink和提交运行方式是不一样的，本地运行内存限制于IDEA启动任务时的JVM参数，官方文档中也有提到：...

问题描述：开启Debezium同步MySql数据任务后，发现查询某个表特别慢，结果迟迟不能返回.通过select * from information_schema.`PROCESSLIST` t where t.user = 'username'查看发现，有大量查询处于 Waiting for table flush 状态解决方法：设置snapshot.locking.mode = none解决.但有丢数据风险，具体详情可以参考这个issue...

解决Debezium同步PostgreSQL数据报：permission denied for database databaseName

问题描述：使用Spark Sql以yarn client模式读取hive表时报错：failed to save roles to cache file '/opt/bigdata/xxx/xxx/xxx/sparkSql_Hive_roles.json'org.apache.ranger.plugin.util.RangerRolesProvider.saveToCache(RangerRolesProvider.java:312)java.io.FileNotFoundException

问题描述：在测试使用Https的网站时由于用的是自己生成的证书，使用Chrome访问时总是提示非安全站点，您的链接不是私密链接，总之需要手动多点几次才能看到要访问的页面.解决方法：测试时启动Chrome添加参数：--ignore-certificate-errors如：C:\Program Files\Google\Chrome\Application\chrome.exe --ignore-certificate-errors在使用自动化测试Selenium、jvppet.

问题描述：运行使用Spark Jdbc读取postgresql程序报错：Exception in thread "main" java.lang.NullPointerExceptionat java.util.Hashtable.put(Hashtable.java:460)at java.util.Properties.setProperty(Properties.java:166)at org.apache.spark.sql.execution.datasources.jdbc

在实际应用中难免会遇到多个流或批处理程序需要同时操作同一张Hudi表的场景，默认情况下多个程序往同一张Hudi表中写数据时会发生多写冲突造成程序运行失败，要解决并发写问题可以借助Zookeeper实现基于乐观锁的并发写。使用Spark 3.1.1 Hudi 0.9.0 开启乐观锁并发写功能配置参考：writer........//作为分布式锁的zookeeper节点目录.option(HoodieLockConfig.ZK_BASE_PATH.key(), "/hudi/write_l

问题描述：Hive上有张表在Hue上使用hive引擎查询可以读取到数据，换成Spark Sql引擎查询就报错了：org.apache.spark.sql.execution.datasources.SchemaColumnConvertNotSupportedException atorg.apache.spark.sql.execution.datasources.parquet.VectorizedColumnReader.constructConvertNotSupportedExcep.

问题描述：使用Spark写hudi表并同步到hive,然后使用Hue hive查询同步的hudi表。发现对COW类型的表进行count查询和select * 查询出的数据总条数不一致，并且查询MOR表的实时视图也报错:FAILED:Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask解决方法：在执行查询时设置:set hive.input.format=org.apache..

问题描述： 使用Spark Structured Streaming把多个流union all一起处理，发现处理后的结果远远小于4个流数据的总和.解决方法：通过查看Spark UI发现运行时只有一个流并没有多个流Union。排查代码发现是将4个流注册为临时表,然后获取4个流的公共字段的dataset对象后再调用dataset.union方法将4个dataset union到一起，改成将4个流注册为临时表后使用sql union而不是用dataset，问题解决....

问题描述：同事在使用Spark dataset.show查看sql执行结果时，发现显示的条数比预期的少并且有些比较长的字段被自动截断了。解决方法：可以使用dataset.show(最大显示条数)显示更多的数据。可以使用dataset.show(false)指定显示数据时不截断比较长的字段（列）。也可以一起使用dataset.show(最大显示条数，false).如：dataset.show(100,false);//最多显示数据集中的100行并且不对字段做截断处理spar

问题描述： 使用Spark Structed Streaming时需要把一个流的数据分开写入到不同表中，选择在foreachBatch中对dataset进行过滤并分别写入相应表中。过滤时先将dataset注册为了临时表然后在像往常一样使用spark.sql执行查询sql.虽然写法跟以前一样但却报了错：org.apache.spark.sql.AnalysisException: Table or view not found: xxxxxx;奇了那个怪了.解决方法：...