mizuhokaga的博客

最近用tar命令比较多,特此记录总结常用语法,实例来自。

已建好了 hive parquet 格式的表, 需要从服务器的csv导入数据至该hive表。提前上传csv至服务器 /path/temp.csv。创建 textfile 格式的中转表 ,源表名。,这里中转表加上了csv后缀。

这里选择的是,需要Java 11及更高版本Binary Distributions ->Core->选择 tar.gz包。

【代码】Windows Docker Desktop 安装 postgres。

console.group([label]) / console.groupEnd([label]): 用于在控制台中创建一组输出，便于组织和查看信息。console.time([label]) / console.timeEnd([label]): 用于计算代码执行的时间。console.assert():断言方法，用于判断某个条件是否为真，如果为假则输出特定信息。一直只会用console.log(),没想到console有这么多方法。table()这个方法会以表格的格式打印信息,看起来比较清爽。

win11环境下 ++ idea开发的项目接口有加密需求,暂时使用AES完成如下本地开发/测试都能正常解密,在自己的Linux(centos)机器测试接口也没有出现中文乱码的问题.UAT的时候用户请求接口得到密文后解密后中文就乱码为???,确认不开加密明文传输中文不会乱码,问题出在AES加密上。

后端获取小程序用户手机号 ,api文档使用hutool工具作为http client。

本系列使用的环境版本:日志提前安装

需要wsl的支持,一般win11新机子都默认开启了,安装docker-desktop 一路next即可.win10老版本需要自行安装+开启。

java 版本。

猜测是写过程中某个组件的timeout阈值为120s,检查solr/zookeeper/spark相关timeout 配置,追踪发现。,基于github开源项目(https://github.com/lucidworks/spark-solr),报错如上。知道相关参数,那么很简单了, spark-submit脚本里增加/调整相关参数,这里改为300。(任务是写每天的增量50w数据左右),盲 猜因为solr表太大导致spark写的时间导致。使用spark-submit提交任务,利用spark写CDH 的。

打开了debug后,如果是正常情况,我们能观察到控制台会打印到krb5.conf相关内容信息,出现问题优先根据debug日志查看,如果没有打印出krb5文件内容,去看看路径/文件权限。之前自研平台是基于jdk8开发的,连接带Kerberos的hive也是jdk8,现在想升级jdk到17,发现过Kerberos的hive有点不一样,特地记录。写了sun.security.krb5.Config 包位于java8中的rt.jar,从java9之后rt.jar and tools.jar 了。

npm 国内最好配下淘宝镜像加速下载,需要注意淘宝镜像url 21年变更过别设置旧的!输入命令 查看sdkman可下载的java(进入类似vi 的环境,:q退出)安装指定版本java ,后面的是 Identifier 列值。下载完会提示是否将当前下载版本设为默认,按需选择,我为 n了。,官网: https://sdkman.io/安装 yarn ,一种方式是npm安装yarn。命令,记得提前下载再下载sdkman。nvm安装后,安装多版本nodejs。安装nvm的命令类似sdkman。

例如原版的free 命令 不带 -h 参数以kb为单位看得头疼,直接改为总是带-h参数。命令,在其他发行版用惯了一时间没有真不习惯,来配置一下吧!最后记得source一下。

1.常用系统命令pstop2. 系统状态检测命令uptimefreenetstathistory3.查找定位文件命令cdlstreefind4. 文件目录管理命令

最近项目处理日期操作比较繁杂,使用Hive的日期函数也较频繁。

当sftp的方式用户登录到用户根目录（/sftp/iios/)后，根目录是无法写入的。所以还需要在用户根目录下创建upload目录。注意：ChrootDirectory 目录不能直接配置到用户sftp上传目录，需要配置到上一级即用户根目录。将iios用户sftp上传目录的目录权限设置为 iios ，这样iios才可以上传文件。为什么创建了 /sftp/iios/upload 三级目录？如果你的目录层级较多，记得逐级检查！配置该用户密码：passwd iios。SFTP 用户名：iios。

https://blog.homurax.com/2019/10/14/install-postgresql-and-postgis-from-the-source-code/

一张表的有有个varchar类型的flag字段,字段值有null值/空值和'1'。