BertramLAU的专栏

原创 【nginx根据特定header值设置proxy_set_header】

server {set logintypecustomo​auth2";if。

转载 【转载】解决mac升级ventura系统后parallels无法运行问题

记一下 mac 升级 ventura 系统后 parallels desktop 虚拟机无法使用问题。

原创 一些新概念学习

数字孪生可以复制许多现实世界中的物品，从工厂中的单台设备到完整的装置，例如风力涡轮机，甚至整个城市。数字孪生技术使您能够监督资产的性能，识别潜在故障，并就维护和生命周期做出更明智的决策。原生技术使组织能够在新式动态环境（如公有云、私有云和混合云）中构建和运行可缩放的应用程序。它们与强大的自动化相结合，使工程师能够在尽量减少工作量的情况下，以可预测的方式频繁地进行具有重大影响力的更改。数字孪生是某一对象或系统整个生命周期的虚拟再现，根据实时数据进行更新，并利用模拟、机器学习和推理来辅助决策。

原创 关于DataOps的一些认识(持续更新)

#DataOps产生的背景#DataOps 定义#DataOps VS DevOps#DataOps 关键能力#参考资料【1】https://medium.com/@kshi/dataops-%E4%BC%81%E4%B8%9A%E6%95%B0%E6%8D%AE%E4%B8%AD%E5%8F%B0%E7%9A%84%E6%A0%B8%E5%BF%83%E5%BA%95%E5%BA%A7-661d1199d07b

原创 MAC 升级monterey 系统后无法启动Parallels Desktop

目录故障现象故障分析解决方案故障现象近日将MAC系统从bigsur升级成monterey，启动PD弹框提示：MAC无法启动Parallels Desktop，因为Mac操作系统中缺少某些必需的组件故障分析由于近期除升级系统外，未做软硬件环境的变更，直接将问题锁定为系统升级导致的不兼容问题。解决方案根据故障提示，第一时间搜索互联网上的解决方案，最终执行如下终端命令，成功启动PD export SYSTEM_VERSION_COMPAT=1 open -a Parallels\ Desktop.

原创 iPhone12创建个人热点

背景：最近因华为手机屏幕碎裂，加上准备换机已久，各种比较，在某多上购置性价比不错的水果12方式一：打开设置点击个人热点点开“允许其他人加入”滑块设置无线局域网密码点开“最大兼容性”滑块注意：设置完会自动打开无线局域网，此时不用处理；若关闭了无线局域网，可能无法发现此热点。 方式二：1、下拉设置页面2、点击小天线图标...

原创 中国信通院发布大数据白皮书2021

【摘 要】白皮书以数据要素的价值释放作为核心逻辑，重点探讨大数据政策、法律、技术、管理、流通、安全等方面的内容，并对“十四五”期间我国大数据的发展进行展望。【目 录】一、全球大数据战略布局持续深化（一）国外大数据战略稳步推进（二）我国大数据战略深入落实二、大数据法律体系建设不断完善（一）基础法律：搭建数据合规基本框架（二）部委发力：细化落实基础合规要求（三）地方立法：着力创新攻坚合规难题三、大数据技术体系发展创新变革（一）效率提升：利用云原生思想进行能力升级（二）赋能业务

原创 利用systemtap动态追踪工具分析openresty性能(未完待续)

目录利用systemtap动态追踪工具分析openresty性能常见Linux动态追踪工具systemtap 工作原理systemtap动态追踪工具分析openresty性能流程参考文献利用systemtap动态追踪工具分析openresty性能常见Linux动态追踪工具systemtap 工作原理systemtap动态追踪工具分析openresty性能流程关于 Flowchart流程图 语法，参考 这儿.参考文献...

原创 【最新】opensuse 安装lrzsz 方法

前言近期因项目需要从centos系统迁移至opensuse系统，准备使用sz\rz工具传输文件，网络上多个安装lrzsz帖子中的链接已失效；遂补充此篇，以方便后来人。安装步骤1、访问 https://software.opensuse.org//download.html?project=home%3Apsi-jack&package=lrzsz2、下载rpm包wget https://download.opensuse.org/repositories/home:/psi-jack/op

翻译 【翻译】如果软件工程需求旺盛，但为什么找一份软件工程工作这么难？

哇，这个人有多个显示器。他们一定很忙。看，他们正在写代码，并在看 "开始 "页面。雇用他们吧。照片由SafarSafarov在Unsplash上拍摄。这篇文章的标题是一个流行的Quora问题，流行的回答归结为 “不是的，失业率是3.6%”，“有太多的开发人员，没有足够的工程师”，以及 “这是微观经济理论的自然结果”。对最后一个回答进行阐述可能是有用的，但我认为看看绝对最受欢迎的答案会更有趣。“我失业了好几个月。等待着，希望有一天有人能雇用我，而不要求我接受白板编程。是的，这比水刑更糟糕。7个..

原创 shell 实现行转列、列转行的几种方法

这里写自定义目录标题shell 实现行转列、列传行的几种方法awk行转列tr列转行参考资料shell 实现行转列、列传行的几种方法awk行转列awk -F "+" '{for(i=1;i<=NF;i++) a[i,NR]=$i}END{for(i=1;i<=NF;i++) {for(j=1;j<=NR;j++) printf a[i,j] " ";print ""}}' file`.txttr列转行cat file.txt |tr "\n" ","|sed -e 's/,$

原创 【笔记】Pandas 一些用法

读取Excelimport pandas as pdfn = "xxx.xlsx"df = pd.read_excel(fn,sheet_name="表2-1-1")

原创 【笔记】Linux系统离线安装python2.7环境的几种方式

背景近期在帮助小伙伴在内网suse enterprise系统上搭建python2.7环境，由于内网系统与互联网隔离，只能离线安装。几种方案方案一 python源码包安装下载python2.7 源码、python2.7-devel源码编译安装python2.7、python2.7-devel解决各种包缺失的问题，如zlib等方案二 miniconda 包安装下载miniconda installerhttps://docs.conda.io/en/latest/miniconda.ht

原创 Gartner发布2021年十大数据和分析技术趋势

三个层面一、加速变革利用人工智能的创新，提高可组合性，以及更敏捷和有效地整合更多不同的数据源。二、通过更有效的XOps来运作商业价值实现更好的决策，将数据和分析变成业务的一个组成部分三、一切分布化要求与数据和洞察力灵活相关，以赋予更多的人和物以权力...

原创 数据处理相关名词

英文缩写英文全称中文释义备注CDCChange Data Capture增量迁移任务使用变更数据捕获

原创 IAS 2019/2020 互联网架构大会资源分享

背景近期在搜集相关中台资料时发现不错的中台架构设计资源，很多网站需要收费下载，经多方搜索找到免费资源。IAS 2019 首届全国中台战略大会暨第三届互联网架构峰会链接: https://pan.baidu.com/s/1UIYu-yFpT9T9xlobNEvirg 提取码: ayig 复制这段内容后打开百度网盘手机App，操作更方便哦IAS 2020 第二届全国中台战略大会暨第四届互联网架构峰会链接: https://pan.baidu.com/s/1H4CrZSdKNQ6kMz9v2_nZpg

原创 手动编译完Exchangeis 的exchangis-service服务无法启动

系统环境OS version：CentOS Linux release 7.7.1908JDK version：1.8.0_181已经编译好的wedatasphere-exchangis-0.5.0.RELEASE故障现象现象1:[root@master02 bin]# sh exchangis-service.sh start2021-02-08 14:56:56.336 [INFO] (52057) load environment variables2021-02-08 14:56

原创 编译Exchangis 遇到Could not find artifact org.pentaho:pentaho-aggdesigner-algorithm:pom:5.1.5-jhyde

背景研究Webank Exchangis, 尝试本地编译Exchangis；因集群使用的是CDH版本的Hadoop，修改了项目最外层的pom里对应的Hadoop和hive对应版本为集群对应版本号错误描述Could not find artifact org.pentaho:pentaho-aggdesigner-algorithm:pom:5.1.5-jhyde in clouera(https://repository.cloudera.com/artifactory/cloudera-repos)

原创 hive SQL 查询报错Wrong FS

错误信息Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Unable to determine if hdfs://master01.cdh:8020/user/hive/warehouse/acccore.db/t_sy_banks is encrypted: java.lang.IllegalArgumentException: Wrong FS: hdfs://master01.cdh:8020/user/hive/wareh

原创 linkis Invalid bound statement (not found): com.webank.wedatasphere.linkis.metadata.hive.dao.HiveMet

错误信息dss-web前端报错信息：linkis-metadata的日志信息：2021-01-11 10:33:56.139 [ERROR] [qtp180121605-70166 ] c.w.w.l.m.r.a.DataSourceRestfulApi (83) [queryDatabaseInfo] - Failed to get database(获取数据库失败)： org.apache.ibatis.binding.BindingException:

原创 DataSphereStudio 创建工作流失败

报错信息{"method":null,"status":1,"message":"operation failed(操作失败)s！the reason(原因)：HttpClientResultException: errCode: 10905 ,desc: URL /api/rest_j/v1/bml/upload request failed! ResponseBody is <!DOCTYPE html PUBLIC\n\"-//W3C//DTD XHTML 1.0 Transitional/

原创 springboot项目集成 swagger2, 并生成离线html和pdf文档（已解决pdf中文乱码问题）

背景项目需要暴露API给其他项目团队调用，为方便接口联调，需提供API文档给服务调用方使用。系统环境开发语言： JavaJDK：1.8SpringBoot：latestspringfox：2.9.2操作步骤1.集成swagger2、swagger2-uistep1: 添加相关依赖jar包 <dependency> <groupId>io.springfox</groupId> <artifac

原创 Hadoop 简介

原创 Linux从jar包中查找特定的classname

Linux shell单jar包过滤jar -tvf xxx.jar | grep -Hsi ClassName多jar包过滤find path/to/libs -name '*.jar' -print | \ while read i; do jar -tvf "$i" | grep -Hsi ClassName && echo "$i"; done

原创 CDH6.3.1集群修复Jackson-databind远程代码执行漏洞 CVE-2019-12384

系统环境CentOS 7.7.1908CDH 6.3.1Jackson-databind 2.9.8/2.9.9/2.9.9.3漏洞描述【CVE】CVE-2019-12384【漏洞描述】由于Jackson黑名单过滤不完整而导致，当开发人员在应用程序中通过ObjectMapper对象调用enableDefaultTyping方法时，程序就会受到此漏洞的影响，攻击者就可利用构造的包含有恶意代码的json数据包对应用进行攻击，直接获取服务器控制权限。【受影响版本】Jackson-databin

原创 rpm 安装软件报错 version `XZ_5.1.2alpha‘ not found

系统环境错误信息rpm: /data/anaconda3/lib/liblzma.so.5: version `XZ_5.1.2alpha' not found (required by librpmio.so.3)解决方案cd /data/anaconda3/lib/unlink liblzma.so.5cd /lib64/cp liblzma.so.5.2.2 /data/anaconda3/lib/ln -s -f liblzma.so.5.2.2 liblzma.so.5参

原创 CDH flink命令行启动yarn-session报错java.lang.NoClassDefFoundError: Could not initialize class org.apache.ha

系统环境错误排查./bin/yarn-session.sh2020-07-09 11:22:01,187 INFO org.apache.flink.configuration.GlobalConfiguration - Loading configuration property: gateway-port, 02020-07-09 11:22:01,327 ERROR org.apache.flink.runtime.security.modules.HadoopModu

原创 Mac 安装Yarn

前言近期学习ant-design-vue-pro, 需要使用Yarn安装相关依赖包，以下说说在Mac上安装Yarn的尝试几种安装方式使用homebrew 安装brew install yarn等待许久后，得到如下错误，尝试无数次后放弃，建议在良好的网络环境下尝试脚本安装curl -o- -L https://yarnpkg.com/install.sh | bash安装截图：简单快速，强烈建议尝试，尤其适用在国内网络环境下适用。总结homebrew 适宜在网络环境良好的情况下使

原创 CDH 6.3Unable to instantiate SparkSession with Hive support because Hive classes are not found.解决办法

系统环境CentOS 7.7.1908CDH 6.3.1问题现象执行spark-submit，具体命令如下：spark-submit --class xxx --master yarn --deploy-mode cluster --driver-memory 4g --executor-memory 2g --executor-cores 1 --queue thequeue /tmp/xxx.jarconsole输出如下：2020-06-25 17:59:56 WARN Nativ

原创 CDH 6.3.1 设置邮件告警功能【2020年06月】

操作步骤1.登录cloudera manager页面，进入cloudera manager service服务2.单击配置，在搜索框输入alert,检索相关配置项3.设置邮箱等相关参数这个端口折腾了很久，祝你好运????4.保存cloudera manager的设置，重启cloudera manager service。5.发送测试邮件测试邮件真相：参考资料1.https://blog.csdn.net/silentwolfyh/article/details/8656586

原创 CDH 6.3.1 sql-client踩坑纪

系统环境CentOS 7.7.1908CDH 6.3.1排错过程[root@slave02 flink]# ./bin/sql-client.sh embedded -d conf/t.yaml -l opt/Setting HADOOP_CONF_DIR=/etc/hadoop/conf because no HADOOP_CONF_DIR was set.SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".SLF4

原创 Canal-adapter1.1.14 最新版本安装的过程中出现的NullPointerException异常

系统环境CentOS Linux release 7.7.1908Canal 1.1.14问题现象2020-06-08 13:39:48.019 [Thread-2] ERROR c.a.o.canal.adapter.launcher.loader.CanalAdapterService - ## something goes wrong when starting up the canal client adapters:java.lang.NullPointerException: nul

原创 Hue 创建Hbase 表 出现Api 错误：HTTPConnectionPool(host= port=9090): Read timed out.

系统环境CDH 6.3.1Hue 4.4.0错误现象Hue 创建hbase 表，遇到如下错误：hue server log:[06/Jun/2020 13:54:46 +0800] access INFO 192.168.8.69 hue - "POST /hbase/install_examples HTTP/1.1" returned in 120103ms[06/Jun/2020 13:54:46 +0800] thrift_util INFO Thrif

原创 CDH 6.3.1 hue 4.4 Api 错误：500 Server Error: Server Error for url: http://x.x.x.x:9090

系统环境CDH 6.3.1Hue 4.4.0问题现象Hue中无法连接hbase表问题排查hue server 日志：http://xxxx:8888/hue/logs[05/Jun/2020 19:32:19 -0700] resource DEBUG GET //user/hbase Got response in 3ms: {"FileStatus":{"accessTime":0,"blockSize":0,"childrenNum":0,"fileId":22967,"

原创 Run Hive on spark tasks with Hue, always running more than 30 min

环境CDH 6.3.1Hive 2.1.1（执行引擎Spark）HueSpark 2.4.0问题Hue执行hive sql:理论上14.005s已经执行完了，结果已经正常返回，但是hue上的job 持续了30m才结束，详情如下：解决思路查找各种资料，也调整各种timeout, 就是不work; 因为每次都是规律的30分钟结束，最终找到hive配置文件中的一个配置：调整此值为300s后，按照预想的5分钟执行完成了:总结思考hive.spark.session.timeout 这

原创 Hive on Spark Error while processing statement: FAILED: Execution Error, return code 30041

系统环境具体问题解决思路参考资料1.https://stackoom.com/question/1nnFt/%E8%9C%82%E5%B7%A2%E9%98%B5%E5%88%972.https://stackoverflow.com/questions/46953218/hive-on-spark-cdh-5-7-failed-to-create-spark-client3.https://forum.knime.com/t/remote-spark-driver/20899/2...

原创 Dolphin scheduler Druid 连接失败问题解决

Dolphin scheduler Druid 连接失败问题解决问题现象搭建了dolphinscheduler分布式服务，整体web系统除调度任务外运行正常，无法配置工作流，发现master日志中显示，通过druid连接mysql失败，搜索各种资料未果dolphinscheduler-master.2020-05-20_11.0.log// An highlighted block### The error may exist in org/apache/dolphinscheduler/dao/

原创 知识图谱入门之路-书目推荐

《知识图谱》赵军 高等教育出版社 2018-12《知识图谱-方法、实践与应用》王昊奋 漆桂林 陈华钧 电子工业出版社 2019-08《知识图谱-概念与技术》肖仰华 电子工业出版社 2019...

原创 知识图谱简介

知识图谱的由来知识图谱分类知识图谱构建知识图谱应用

原创 word2vec 获得当前的所有词向量表的几种方式

前提条件 1. 安装gensim包 2. 已经生成词向量模型在实际项目中，需要构建词和词向量字典表用于训练，以下是我所用到的方式方式1:from gensim.models.word2vec import Word2Vecmodel = Word2Vec.load(‘…/model/w2v_model’) #w2v_model是已经生成的模型print(mode...