yangspoor-CSDN博客

原创 AS400 Java 导入Jar包

AS400 Java 导入Jar包把Jar包放到目录下即可，所有Java Program都会到这里搜索：/QIBM/UserData/Java400/ext/参考文章：[https://www.ibm.com/support/knowledgecenter/en/ssw_ibm_i_72/rzaha/instextn.htm](https://www.ibm.com/support/knowledgecenter/en/ssw_ibm_i_72/rzaha/instextn.htm)...

2021-01-15 16:34:29 300

原创 AS400 - DB2 for i的加密、解密

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档AS400 - DB2 for i的加密、解密前言一、DB2自带的加密和函数（无法在非DB2中使用）二、创建UDF，调用JAVA程序解密和加密1.编写加密、解密Java代码（包括Base64编码）2.UDF调用的Java程序要求3.编译Java程序4.创建DB2 UDF总结前言因为项目要求，需要加密DB2的数据，加密后的数据同步到其他数据库，也能在其他数据库解密最终通过创建UDF调用Java包获得解决。一、DB2自带的加密和函数

2021-01-08 15:54:56 1000

原创 python提高pandas处理CSV效率的方法

项目场景：对从数据库导出的原始CSV数据进行更新，使用Python完成问题描述：网上建议使用pandas包的DataFrame处理方便高效，比csv包好。但执行时非常慢，1600万行记录（1.6GB），跑了5小时都没结束（4列置空，1列Hash）# 需要hash的示例代码for field in field_list: for i in range(0, len(csv_df.index)): if not pd.isnull(csv_df[field][i]):

2020-10-12 11:06:13 1715 1

原创 Python3 读取Avro数据

Python3 读取Avro数据安装包示例代码安装包avro：我直接在pycharm上搜索安装，官网说avro已经可以支持python3了，所以不用安装avro_python3snappy：在pycharm上安装报Microsoft Visual Stuido C++ 2014 is required无法安装python-snappy：在pycharm上报snappy同样的错误，最后在直接下载whl文件(链接)，用pip在命令上安装成功我已经装了Microsoft Visual C++ Red

2020-08-26 11:47:52 1562

原创 AWS Redshift [PostgreSQL] 导出表结构

@[TOC](Redshift (PostgreSQL)导出表结构)最近需要学习AWS Redshift，他也是基于PostgreSQL的，需要导出所有表的表结构来分析。但网上查询了很多方法，说的都比较专业（都是点到即止），对我这种只会copy and paste的人来说太难，像有文章给出了指定表的SQL语句，但没有指定Schema，而我遇到的是不同Schema有同名表，还有一些用表名不是pg开头逻辑来排除系统表（如relname not like ‘pg_%’，这样不够优美）。花了点时间整理查到指定

2020-08-07 12:48:15 868

原创用Excel VBA导入导出Oracle数据

用Excel VBA导入导出Oracle数据导入数据安装Oracle Instant Client(Basic + ODBC)配置环境变量配置数据源VBA代码示例下载数据下载的中文字符变问号?问题VBA代码示例导入数据安装Oracle Instant Client(Basic + ODBC)下载链接: Oracle Instant Client Downloads我本机是64位，但我选择了32位的版本（因为开始用64位时，用VBA老是报找不到Drivers，不清楚原因，可能因为我的Excel是32位

2020-08-01 14:39:14 622

原创通过公网访问AWS Redshift[位于公有子网]

通过公网访问AWS Redshift[位于公有子网]）创建Redshift Cluster查看Redshift所在VPC, Subnet, Security GroupRedshift所在VPC添加Internet Gateway创建Route Tables设置Security Group合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的Ka

2020-07-28 00:33:25 448

原创 Windows定时执行Python程序以及pythonw.exe介绍

pythonw.exe执行的python代码将不会弹出命令行窗口，相当于在后台执行python.exe执行的python代码将会弹出命令行窗口，但结束后窗口会关闭下面是设置windows定时执行Python1.打开任务计划程序（搜索“任务计划程序”，或者在右击桌面的计算机，选择“管理”，）2.右侧“创建基本任务”3. 输入任务名及描述4.设置触发器-执行条件例如可以每天执行5.操作，选择启动程序程序：python.exe或者pythonw.exe的完整的路径参数：

2020-07-23 09:42:17 843

原创 Windows 10搭建Pyspark环境过程

以下内容是按照网上综合多篇文章的指导下，记录下自己的实际安装过程，记录下载安装了以下内容ScalaSparkHadoopAnacondaPyspark（最终是为了用Pysaprk）安装Scala 下载：https://www.scala-lang.org/download/ 我安装到windows上，所以选择了这个版本2.13.3 scala-2.13.3.msi Windows (msi installer) .

2020-07-21 10:05:04 418

yangspoor的专栏