- 博客(8)
- 资源 (3)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 Redis Xcom部署到UAT环境
上面github代码主要思想是覆盖BaseXcom类的serialize_value和deserialize_value两个方法，在这两个方法中嵌入redis操作，把xcom的value写到redis上，和从redis取回value，从而达到目的。1.在redis_xcom.py覆盖serialize_value方法里，使用了uuid生成了一个随机的redis key，这个key连同xcom的value作为键值对，保存到redis。1.先查xcom表，拿到value字段的值，作为redis的key。
2023-09-28 14:31:44
145
原创 从零centos7搭建HA airflow2.5.3
安装python3.7前，一定要先安装libffi-devel，不然使用python3.7安装airflow时，会报错缺_ctypes模块。创建airflow数据库，创建用户airflow，给予airflow数据库全部权限。在master01和master02这两个机器搭建HA。从mysql日志中查看mysql的root用户密码。修改mysql的root用户密码。安装Linux系统依赖模块。2.安装mysql5.7。安装python3.7。安装python3.7。
2023-05-08 11:53:46
376
原创 SSO第三方应用SP通过OAUTH2协议请求IDP获取用户信息的授权过程
整个完整的授权过程会经过IDP几类接口的交互，认证接口、获取AccessToken接口、用户信息接口，下面把相关接口按请求时序串联来讲解。
2022-09-23 09:32:56
1604
原创 SEATA分布式事务官方demo分析
本文以搭建SEATA官方的sample过程，结合官网介绍的原理和流程，用实际案例来说明SEATA的使用方法和各个组件之间的交互流程，达到让读者一目了然。
2022-08-02 14:44:08
1924
2
原创 定位metastore日志Too many open files报错
一些用户反映集群使用跑任务时报错，无论重跑多少次都不成功平台页面上看到的报错信息：org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. MetaException(message:Got exception: java.io.I
2020-10-16 14:39:20
803
原创 clickhouse集群部署说明
1.部署机器列表http://cmdb.sysop.duowan.com/admin/server_list.jspx业务模块：海度数据平台->数据分析->dremel[clickhouse]分别给每台机器配置hostname，为每台服务器添加域名root@ubuntu:~# hostnamectl set-hostname hiido-clickhouse-01http://aquaman.sysop.duowan.com/inner-dns/host10.12..
2020-10-10 13:25:45
1855
5
原创 Hive增加打印日志定位问题
1.win10应用商店安装Ubuntu 18.04 LTS，系统初始化时创建用户hadoop，创建/home/hadoop/project目录mkdir /home/hadoop/project2.在/home/hadoop/project/目录下执行git拉代码命令，使用默认的matser分支git clonehttps://git.yy.com/bigdata/dp/hiido-hive-2.1.03.编译打包hive工程前，先在Ubuntu本地maven仓库安装hadoo...
2020-10-10 13:22:16
499
jackrabbit内容仓库的实例（两个工程）
2012-03-06
请教，使用正则表达式实现密码验证
2012-12-14
java程序员一般浏览国外什么技术网站？
2011-06-09
TA创建的收藏夹 TA关注的收藏夹
TA关注的人