lp895876294的博客

原创 jupyter notebook安装

两种配置方式均可以，区别是启动方式。使用“User Managed Server”方式，pycharm自动启动jupyter notebook；使用conda安装jupyter，能够在浏览器和pycharm中基于jupyter编辑和维护python代码。创建conda环境，安装python包和jupyter包。配置jupyter的默认登录账号，避免每次复制token。配置完成之后，在pycharm中新建ipynb文件，如下。获取密文，打开Python终端，生成密码。

原创 matplotlib字体显示乱码

原创 安装docker的conda环境和代码包

c) 注意：不同的操作系统的安装包版本可能会不一样，需要根据操作系统或平台选择不同版本的安装包。例如：libgfortran工具包在mac系统中版本是5.0.0，在linux-64中的版本为3.0.0。a) 导出安装工具包，需要注意：导出的工具包不能带有构建信息，参考命令如下。b) 执行环境的安装，参考Dockerfile中的安装命令。1. 构建docker环境：配置Dockerfile。2. 安装python运行环境和工具包。

原创 hive read time out

2) hiveConnection的socket超时时间通过loginTimeout进行设置，而loginTimeout读取的DriverManager的超时时间，因此，在创建hive连接时需要设置DriverManage的loginTimeout属性。总结：hive中执行SQL的耗时较长，需要增大网络读超时时间的值，如果使用Hikari数据库连接池管理hive连接，可以通过配置连接超时时间来改变hive的读超时时间。不能盲目跟随，需要结合各自应用进行配置。hive-jdbc版本：2.3.9。

原创 k8s容器的内存设置踩坑

k8s容器的内存设置踩坑......

原创 CLICKHOUSE - 基础使用

clickhouse基础使用

原创 python环境安装

python包管理和开发环境配置

原创 k8s错误集锦

k8s错误集锦

原创 presto国产化适配-aarch64

presto(trino)国产化、专用涉密操作系统适配。支持hive2、hive3，支持hadoop2和hadoop3。修改源码，调整so文件加载机制。

原创 技术主题讨论

背景：准备在公司内部发起一次技术主题讨论，向公司技术人员介绍和推荐一种新的开发模式。方法论：定主题。确定技术介绍的主题，即确定讨论的范围。不在讨论范围内的内容可以根据实际情况灵活应对，例如：对超出范围的内容简单说明，重申讨论主题。暂时不答，说明后续计划。 选对象。不同层级、类型、岗位的人员关注点不同，在实际发起讨论前，需要根据发起讨论的内容，选择和确定技术讨论的对象。例如：讨论内容为平台架构和开发模式，选择对象可以为技术总监、架构师、开发经理；如果是技术内容专题讨论，选择对象可以是架构师、中高级开

原创 hadoop的secondarynamenode总结

一、SecondaryNameNode概念： 光从字面上来理解，SecondaryNameNode(snn)就是NameNode(nn)的热备进程。其实不是，ssn是HDFS架构中的一个组成部分，它真正的用途，是用来保存namenode中对HDFS metadata信息的备份，并减少namenode重启的时间。hadoop的默认配置中让snn进程默认运行在了namenode的那台机器上，如果这台机器出错，宕机，对恢复HDFS文件系统是很大的灾难，更好的方式是：将snn的进程配置在另外一台机器上运行...

原创 加强版redis客户端-负载均衡、主备切换和熔断

主要功能 客户端实现负载均衡、主备切换、熔断处理、运行监控功能。 支持普通的redis连接协议，咱不支持redis-cluster集群连接协议。 负载均衡功能。适用于使用codis-proxy和twemproxy的场景，在客户端实现代理层水平扩展。客户端实现redis请求的分发，数据一致性性需由redis集群统一管理。 主备自动切换。在主节点熔断时，自动切换至备节点；主节点会正常后，重新切换回主节点。只在客户端实现主备切换功能，主备的数据同步需要由运维同学处理。 在客户端监控redis连接

原创 hadoop节点间磁盘占用率平衡

参考：《深入浅出：Hadoop的start-balancer.sh与hdfs balancer分布式数据均衡》https://yq.aliyun.com/articles/719679

原创 hadoop安全模式机制总结

总结下safemode模式

原创 hadoop中datanode节点失效处理机制

数据处理

原创 hadoop动态添加删除节点

需要完善内容

原创 hadoop集群无法正常关闭和重启

问题描述调用stop-dfs.sh脚本，提示无法找到namenode和datanode服务，但在各个服务节点上namenode和datanode正常运行，并且webdfs服务可以正常运行。原因分析hadoop脚本将各个服务运行的进程号pid存在了临时目录/tmp下，而centos系统会对/tmp临时目录下长时间不用的文件的进行清理。由于集群管理员长时间没有管理集群服务(重启等)，导致/tmp中进行号文件pid被操作系统清理，所以hadoop脚本找不到正在运行的服务，最终导致无法正常停止运