微电子学与固体电子学-俞驰

原创 黄色镜片与蓝光

蓝光是指波长范围400~500纳米的可见光，蓝光最大的来源不是屏幕，而是太阳光。波长在400~470纳米之间的是有害蓝光，而波长在480~500纳米间的蓝光则伤害没有那么大，反而是有益的蓝光[1]蓝光的范围400-600nm都算，紫外线低于400nm，有交叉部分没有交集是特指专业光学镜片大厂阻隔的415-455nm范围的蓝光光能量测试仪器是什么?光谱仪[13][3][10]市面上的防蓝光眼镜，主要有两种，一种是膜层防蓝光，即在镜片表面镀一层膜,将有...

原创 Every column needs a corresponding expression. No expression found for xxxx

故障SQL如下:CREATE TABLE server_logs ( client_ip STRING, client_identity STRING, userid STRING, request_line STRING, status_code STRING, log_time AS PROCTIME()) WITH ( 'connector' = 'faker', 'fields.client_ip.expression' =

原创 Flink SQL Client注册SCALA UDF完整流程

UDF的完整maven工程https://github.com/appleyuchi/Flink_SQL_Client_UDF完整操作步骤①mvn clean package或者直接点击intellij右侧的package按钮来进行编译②编译得到的jar放入到集群的下面，最终路径如下(不一定非要下面这个路径，也可以是其他你自己指定的路径):$FLINK_HOME/lib/table_api-1.0-SNAPSHOT.jar③$FLINK_HOME/conf/flink-co

原创 flink sql实现interval join的图解

基本概念mysql> select TIMESTAMPDIFF(DAY, '2018-03-20 23:59:00', '2015-03-22 00:00:00');+------------------------------------------------------------------+| TIMESTAMPDIFF(DAY, '2018-03-20 23:59:00', '2015-03-22 00:00:00') |+---------------------------

原创 Flink SQL Client注册JAVA UDF完整流程

①mvn clean package②编译得到的jar放入到集群的下面，最终路径如下:$FLINK_HOME/lib/table_api-1.0-SNAPSHOT.jar③启动Flink SQL Client输入create temporary function hash_compute as 'HashCode';如果你是先启动Flink SQL Client,后把jar拷贝到②中，那么必须重启Flink sql client，否则会识别不到。④定义sourc...

原创 flink sql是否支持emit策略

阿里云的flink技术文档特别喜欢挖坑。最近看到[1]中提到了emit策略。一通找，最后在[1]中发现当前的flink sql并不支持emit关键词Reference:[1]emit策略[1]flink1.12

原创 kafka消费命令简化(alias中传入参数)

我们常见的kafka消费命令是这样的:$KAFKA/bin/kafka-console-consumer.sh --bootstrap-server Desktop:9091 --from-beginning --topic user_behavior显然我们希望能把上述命令行做成一个命令，但是希望能接受user_behavior这样的参数##############################################################################

原创 flink写入iceberg(没有搞完)

Reference:[1]Flink集成数据湖之实时数据写入iceberg[2]在 Flink 中使用 iceberg[3]基于 Flink+Iceberg 构建企业级实时数据湖[4]Flink集成数据湖之实时数据写入iceberg[5]Flink集成iceberg在生产环境中的实践[6]Flink结合Kafka实时写入Iceberg实践笔记[7]Flink集成iceberg数据湖之合并小文件...

原创 mysql8報錯解決方案彙總(持續更新中)

報錯碼 原因 ERROR 1141 (42000) 沒有進行這樣的授權

转载 mysql8碰到ERROR 1396 (HY000)的解决方案

mysql> ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 'appleyuchi';ERROR 1396 (HY000): Operation ALTER USER failed for 'root'@'localhost'mysql>mysql>mysql>mysql>mysql>mysql>mysql>mysql> flu...

原创 mysql8出现1045报错+常用的加密plugin汇总

/etc/mysql/mysql.conf.d/mysqld.cnf的[mysqld]下面加入skip-grant-tablesservice mysql restart然后输入mysql就可以登录客户端update mysql.user set authentication_string = "appleyuchi" where user = "appleyuchi" ;update mysql.user set authentication_string = "appleyuchi".

转载 分区partition是否只保存一部分数据？

原创 Type TIMESTAMP(3) of table field ‘onSellTime‘ does not match with the physical type TIMESTAMP(6)

完整报错如下:[ERROR] Could not execute SQL statement. Reason:org.apache.flink.table.api.ValidationException: Type TIMESTAMP(3) of table field 'onSellTime' does not match with the physical type TIMESTAMP(6) of the 'onSellTime' field of the TableSource return t

原创 Rows Over Window与Range Over Window的区别

概述本文是对[1]的复现Reference:[1]OVER窗口

原创 stateful function用法记录(还没弄完)

Reference:[1]https://ci.apache.org/projects/flink/flink-docs-release-1.8/dev/stream/state/state.html[2]Flink有状态计算入门示例[3]Flink State实战，写入查询[4]Flink状态专题：keyed state和Operator state[5]Flink实例（三十一）：状态管理（二）自定义键控状态（一）ValueState[6]Flink中的状态与容错[...

转载 kafka的分区策略(partition assignment strategy)

概述kafka的分区策略指的是producer端的　各个partition中的数据如何安排给consumer消费。Range(按范围)ange策略是对每个主题而言的，首先对同一个主题里面的分区按照序号进行排序，并对消费者按照字母顺序进行排序。在我们的例子里面，排完序的分区将会是0, 1, 2, 3, 4, 5, 6, 7, 8, 9；消费者线程排完序将会是C1-0, C2-0, C2-1。然后将partitions的个数除于消费者线程的总数来决定每个消费者线程消费几个分区。如果除不尽，那么.

原创 kafka的offset笔记

Reference:[1]Kafka到底有几个Offset？——Kafka核心之偏移量机制[2]自己维护kafka_offset中的坑

原创 kafka突然无法消费topic

突然没法消费可能是ｋａｆｋａ已经把数据给删了，你再新增加数据试试？说不定就好了。根据[1]kafka的数据保存时间是:log.retention.hours=48#数据最多保存48小时log.retention.bytes=1073741824#数据最多1GReference:[1]从kafka读取数据后 数据会自动删除吗...

原创 电纸书kindle相关产品调研(没搞完)

Kindle 不推荐 Kindle Paperwhite 推荐Kindle Paperwhite4 Kindle Oasis kindle voyage 有知乎提到kindel支持直接发电子书到邮箱里面，然后kindle上就能看了。[1]Kindle 我该选择那款？[2]2020年双十二除了Kindle，还有哪些国产的电纸书/电子阅读器品牌好? 分享电纸书选购心得[3]Kindle还是国产? 20...

原创 分區策略與數據傾斜處理策略的區別

策略 目的 數據傾斜處理策略 taskmanager減緩/避免數據傾斜， 發揮集羣效力． 分區策略策略 sink的partition中的數據存放均衡

原创 The proctime attribute ‘rowtime‘ must not replace an existing field.

故障代碼如下:// *************************************************************************// USER DATA TYPES// *************************************************************************/* * Simple POJO. */import java.sql.Timestamp;import org.apac

原创 mysql中的各种join整理

Join可以分为两种①implicit join②explicit join举例如下:类型 SQL举例 explicit join SELECT * FROM A a JOIN B b ON a.id = b.pid; explicit join SELECT * FROM A a INNER JOIN B b ON a.id = b.pid; implicit join SELECT * FROM A a,B b WHERE a.id = b.pi.

原创 Flink表转流一例+何时应该使用execute()

我们常常会遇到是否应该写execute()的问题batch的print()中已经加入了executeexecuteSql()里面已经加入了 execute所以上述两种情况下，代码使用者不需要再在代码末尾加入execute()那么为什么下面这种使用executeSql以后为啥还需要在代码末尾加入execute()呢这是因为这个例子是表转流，虽然表操作时的executeSql里面已经具备了execute()功能但是这个只是激活表环境，没有流环境，所以需要再次execute

原创 什么是飘号？

就是键盘左上方的~的小写`在sql中，如果某个变量名称和mysql的保留关键词冲突了，name此时就需要使用飘号来避免冲突，例如:`value`

原创 Could not execute SQL statement.

组件 版本 Flink 1.12 Mysql 8.0.22-0ubuntu0.20.04.2 Flink SQl遇到下面的报错[ERROR] Could not execute SQL statement. Reason:java.sql.SQLSyntaxErrorException: Access denied for user 'appleyuchi'@'desktop' to database 'dijie_test'解决方案：mysq

原创 java.lang.NoSuchMethodError: org.apache.flink.table.api.TableColumn.isGenerated()Z

完整报错如下：select * from dim_behavior;[ERROR] Could not execute SQL statement. Reason:java.lang.NoSuchMethodError: org.apache.flink.table.api.TableColumn.isGenerated()Z经过检查是因为在1.12的Flink的$FLINK_HOME/lib下面使用了1.11版本的flink-connector-clickhouse这种版本失配直接导.

原创 Flink SQL Client注册Python UDF完整流程

概述本文是对[1]的复现支持的版本是组件 版本 Flink 1.11.0+ 当前Java UDF的SQL Client environment file是Currently the format for Java UDF in SQL Client environment file is:functions: - name: myUDF from: class class: foo.bar.AggregateUDF c..

原创 linux版本的edge多网页标签(tag)不见了咋办

最近碰到了这么个情况解决方案：点击左上角的这个按钮即可

原创 使用撤回流RetractStream的场景

概念图解下面来解释网上常用的一张图我们来看上图的第二行①以word为key,得到cnt②以cnt为key ,得到freq中间结果总结如下:流模式 数据流情况 中间operator结果 最终operator结果 AppendStream 第1条Hello到来时 第2条Hello到来时 RetractStream 第1条Hello到来时 第2条Hello到来时 使用场景

原创 一些疾病的饮食禁忌

疾病 禁忌 痛风 杨梅 肝 榴莲 心脏 柿子 肾脏 杨桃 糖尿病 甘蔗 肠不好 栗子

原创 宁波镇海区无犯罪记录办理流程

涨鉴碶社区属于招宝山派出所管理 信息 备注 需要的证件 身份证 不需要户口本(但是接线员说最好带上) 不需要家属前往， 也可以把家属的无犯罪证明办理下来。 但是需要提供家属的身份证号和手机号 地点 招宝山派出所 浙江省宁波市镇海区隧道北路551号 派出所的办公时间 8:30-11:30 1:30:5:30 周末休息 接收函给派出所..

原创 加速repo sync的技巧

.repo/manifests/中新建一个test.xml里面写入<?xml version="1.0" encoding="utf-8"?><manifest> <remote fetch="git://busybox.net" name="busybox"/> <remote fetch="https://gitee.com/syncmirror" name="linux"/> <default remote="linu

原创 更换ubuntu的root的默认python版本

总共两条命令update-alternatives --config python# update-alternatives --config pythonThere are 3 choices for the alternative python (providing /usr/bin/python). Selection Path Priority Status----------------------------------------...

原创 ubuntu20.04安装OPTEE

概述安装OPTEE环境组件 版本 ubuntu 20.04 repo OP-TEE 基本概念概念 简要解释 QEMU 一种模拟器 OP-TEE 一种操作系统 安装依赖apt-get install android-tools-adb android-tools-fastboot autoconf \ automake bc bison build-essential cscope c...

转载 记录apt安装时间

time apt install sougou -y

原创 Flink的UDF写法整理

概述这篇博客并不是简单地翻译官方文档，而是挑选常用的信息，其他忽略(例如类型推断这种内容)Overview几种UDF 文档中的解释 备注 Scalar functions map scalar values to a new scalar value. 进一出一 Table functions map scalar values to new rows(row指的是一行数据). 进一出多 Aggregate functi..

原创 csv-＞Flink SQL-＞Clickhouse(纯DDL形式)

概述本文是对[1]的复现如果照搬[1]运行，会发现①没有报错②Clickhouse也没有数据写入，提交阿里云工单，扯皮了半天也不愿意帮忙解决今晚吃饭的时候，有了两个想法:①会不会是时区问题(检查流程后，发现并不是流写入，否定了这个才想)②SQL比较矫情，不如试试Flink SQL?环境组件 版本 Ubuntu 20.04 Flink(HA) 1.12.0 Zookeeper 3.6.0 Clickhouse 2..

转载 Mysql查看和修改时区

查看命令mysql> show variables like '%time_zone%';+------------------+--------+| Variable_name | Value |+------------------+--------+| system_time_zone | CST || time_zone | SYSTEM |+------------------+--------+GMT、UTC、DST、CST时区代表...

原创 hive的静态分区与动态分区-用法实例

静态分区分区叫法 表格举例 不同种类分区在HDFS上存放的文件结构 单分区/一级分区/主分区 t1 /user/hive/warehouse/t1/department=depart-1 多分区/多级分区/副分区 t2 /user/hive/warehouse/t2/department=GBD/sex=F 可以看到你所谓的多分区和单分区其实主要取决于数据在HDFS上存放的结构是否是多级文件夹结构.动态分区建立r3,t4表t3表导入t4表

原创 AppendStream和RetractStream(没有弄完)

Reference[1]Flink RetractStream示例及UDF函数实现[2]flink实战——flinkSQL 追加模式与缩进模式（toRetractStream）的区别[3]Flink toAppendStream与toRetractStream的区别[4]Flink--将表转换为DataStream或DataSet[5] flink实战——flinkSQL 追加模式与缩进模式（toRetractStream）的区别[6]flink的toAppendStre...