- 博客(576)
- 资源 (102)
- 收藏
- 关注
RSS订阅原创 修改Hudi表结构无效 ( 数据列丢失 ) 问题
最近一次使用Hudi SQL向一个Hudi数据表插入数据时，遇到如下错误：HoodieException: Expected table’s schema: … query’s output (including static partition values): … 经过仔细核查发现插入的目标表中少了一个刚刚修改过的列product_category，但让人费解的是，这个列明明在建表语句中有，但是执行建表语句后查询表结构，确实没有该列
2023-02-24 11:29:21
460
1
原创 公共数据集：Amazon Customer Reviews ( s3://amazon-reviews-pds )
Amazon Customer Reviews ( s3://amazon-reviews-pds ) 是一份不错的单表公共数据集，本文仅关注Parquet格式数据，总计48GB，给出分类统计，建表脚本和经裁剪的子集数据表。
2023-02-23 15:35:45
672
原创 EMR Studio Workspace 访问 Github ( 公网Git仓库 )
你可能会经常遇到EMR Studio Workspace无法访问 Github ( 公网Git仓库 ) 的问题，由于EMR Studio不能给出任何有用的错误信息，导致排查起来非常麻烦。下面总结了若干项注意事项，可以避免踩坑。如果你遇到了同样的问题，请根据以下部分或全部建议去修正你的环境，问题即可解决。
2023-02-22 09:19:10
374
原创 Glue Connector 和 Connection 的关系与区别
AWS Glue作为一种无服务器产品，其运行环境是“不可预知”的，也就是“一个黑盒”，所以如何能连接一些自有数据源是Glue必须考虑并给予满足的，为此，Glue给出的解决方案就是Connector和Connection，一个connector就是一个用于协助访问数据源的程序包(容器镜像或Jar包），如果你要使用一个connector，必须先创建一个针对该connector的connection。一个connection包含了连接一个特定数据源的属性。connector和connections联合起来为目标数
2023-02-21 11:23:06
683
原创 在AWS Glue上使用JDBC连接Trino
呼应此前一篇文章《在Spark上使用JDBC连接Trino》，继续在AWS Glue上测试JDBC连接Trino，同样，这是一个非常不典型的应用用场景，本文仅记录测试步骤和结果，不做评论。测试在Glue上使用JDBC读写Trino的可行性。选择JDBC类型的Connection，配置好JDBC URL和网络，Glue Connection最重要的作用是配置Glue Worker到目标数据源的网络联通性，所以务必要清楚Trino所在VPC，子网以及可确保联通的安全组。创建Glue Job。需attach上一步
2023-02-18 11:40:15
691
原创 在Spark上使用JDBC连接Trino
这是一个非常不典型的Spark + Trino的使用场景，本文仅记录测试步骤和结果，不做评论。测试在Spark上使用JDBC读写Trino的可行性。创建EMR集群，选择Hive、Trino并以Glue Data Catalog作为Metastor；在Hive中创建数据表并插入测试数据;将Trino JDBC Driver包加入Spark类路径并同时启动spark-shell;在Spark中通过JDBC连接Trino并读取数据
2023-02-18 10:16:14
2040
原创 Spark配置
本文记录四种情形下AWS EMR集群Spark的配置，以便备差。四种情形分别为：① 使用Hive Metastore，选装Spark② 使用Glue Data Catalog，选装Spark③ 使用Hive Metastore，不选装Spark④ 使用Glue Data Catalog，不选装Spark
2023-02-18 09:58:49
1392
原创 多分类问题的处理策略和评估手段
多分类问题基本都是建立在二分类问题基础之上的，简单说就是：将多分类问题拆解成多个二分类问题去解决，具体来说，通常有两种策略：One-Versus-The-Rest （OvR） 也叫 One-Versus-All（OvA）：即每一个类别和所有其他类别做一次二分类，全部类别都做完后，就等于实现了多分类。一个有N种分类的问题使用此策略需要进行N次二分类处理 One-Versus-One（OvO）即每一个类别都和另一个类比做一次1V1的二分类，全部类别
2023-02-16 08:58:56
2113
原创 分类模型评估：混淆矩阵、准确率、召回率、ROC
在二分类问题中，混淆矩阵被用来度量模型的准确率。因为在二分类问题中单一样本的预测结果只有Yes or No，即：真或者假两种结果，所以全体样本的经二分类模型处理后，处理结果不外乎四种情况，每种情况都有一个专门称谓，如果用一个2行2列表格描述，得到的就是“混淆矩阵”。其中，假阳性（FP）又被称为“Type 1 Error”，假阴性（FN）又被称为“Type 2 Error”。在所有“预测为真”（TP+FP）的数据中，有多少是“真得预测对了”（TP）的? 这个百分比叫“准确率”（Precision）在所有“实际
2023-02-13 11:58:55
3237
原创 EMR Studio 要点梳理
一个Account下可以创建多个EMR Studio，一个EMR Studio下又可以创建多个Workspace，EMR Studio和Workspace均拥有独立公网地址，两者已经类似于SaaS服务。EMR Studio的核心配置是网络和身份认证（Authentication），可以简单地说：一个EMR Studio对应一个VPC + 一种身份认证方式，从这个角度上看，一个空的EMR Studio（没有任何Workspace）相当于一个“门户”（所以一个Studio会一个独立的公网DNS！），这个“门
2023-02-08 18:28:40
377
原创 Sklearn超参调优手段：网格搜索（Grid Search）和随机搜索（Randomized Search）
超参调优是“模型调优”（Model Tuning)阶段最主要的工作，是直接影响模型最终效果的关键步骤，然而，超参调优本身却是一项非常低级且枯燥的工作，因为它的策略就是：不断变换参数值，一轮一轮地去“试”，直到找出结果最好的一组参数。显然，这个过程是可以通过编程封装成自动化的工作，而不是靠蛮力手动去一遍一遍的测试。为此，Sklearn提供了多种（自动化）超参调优方法（官方文档），其中网格搜索（Grid Search）和随机搜索（Randomized Search）是最基础也是最常用的两个
2023-02-06 09:54:52
3187
原创 Virtualenv or Anaconda？Python虚拟环境最佳实践
最近同时在Window和Linux上交替使用Virtualenv和Anaconda，期间一直在思考两种工具哪一个更好？是否可以统一使用其中一个完成所有Python项目的环境构建？两者共存，机器学习项目优先选择Conda，其他类型项目视情况而定，可能多数会以Virtualenv为主；使用更轻量的Miniconda替代Anaconda；依然在本地安装并建立系统级Python环境 （与Virtualenv配合工作）；禁止Conda全权接管本地Python环境和虚拟环境
2023-02-05 14:05:18
2508
原创 Error: Microsoft Visual C++ 14.0 or greater is required 解决方法
在Windows上安装某些Python依赖包时经常会遇到如下错误，其原因是：安装包（此处是box2d-py）没有找到Microsoft Visual C++ 14.0或更高版本的运行环境，所以无法正常启动。解决方法如错误信息中给出的提示：在本地安装上MSVC 14+版本即可。由于安装完整的Microsoft C++ Build Tools会占用巨大的磁盘空间，如果不是在Windows上开发C++应用完全没有比较全部安装，在我们的场景下，只需要MSVC的运行时环境，因此只需选择: 核心组件 + MSVCv14
2023-02-05 13:29:29
20096
11
原创 在Windows右键菜单中添加：此处打开Anaconda / Conda
使用Anaconda / Conda时有这样一个常见需求：在Windows右键菜单中添加：Condar Here (在此处打开Conda)，单击后会打开一个命令行窗口，并自动执行conda的activate.bat脚本激活conda（使conda等命令直接可用，无需输入绝对路径），同时还能自动定位到当前目录，以下是注册表脚本，请根据自身环境替换activate.bat路径，菜单显式文本是"Conda Here"，也可以自行修改
2023-02-04 13:06:13
1335
1
原创 安装Anaconda时是否需要将其添加到PATH环境变量中
安转Anaconda / Miniconda时，安装向导中会有这样一个选项：“Add Miniconda3 to my PATH environment variable”,如果勾选，会给出红色提示，说有可能影响与其他应用程序冲突。经过测试发现，冲突主要来自于系统中安装的其他版本的Python。因为安装Anaconda / Miniconda并不需要Python，它通常会自带一个版本的Python（当然，用户也可以选择系统中现有的Python），如果你选择使用Anaconda / Miniconda自带的P
2023-02-03 19:22:13
11729
5
原创 ERROR: Could not build wheels for AutoROM...解决方法
该问题一般发生在Windows系统上，如果项目依赖到gym，就有可能触发该问题，因为AutoROM是gym的一个依赖，错误信息如下：ImportError: It seems that you are trying to install the Atari ROMs on Windows. While this is not supported, the DLL error can be solved by installing the OpenSSL DLLs。根具官方建议：在Windows上下载并安装O
2023-02-03 15:16:06
1134
原创 Sklearn中的算法效果评估手段
评估算法效果使用的主要方法：均方根误差（RMSE），但在实际应用中，评估算法效果还有更多内容，本文我们以《Hands-On ML》一书第二章中介绍的房价预测案例，细致地介绍一下Sklearn中的度量一个算法表现/效果好坏的手段。在模型选择阶段，我们通常会尝试不同的算法，然后评估它们的表现，并选择最好的一种算法。这个过程大致可以分为如下几步：
2023-02-02 08:41:00
660
原创 集成 OpenLDAP 与 Kerberos 实现统一认证（系列文章）
本系列文章发表于InfoQ，共计三篇，文章针对OpenLDAP与Kerberos的集成和统一认证给出了完整的解决方案，以下是三篇文章的具体信息：1. 整合后台数据库；2. 基于SSSD同步LDAP账号；3. 基于SASL/GSSAPI深度集成
2023-01-30 17:56:43
749
原创 Apache Ranger 与 AWS EMR 自动化安装与集成 (5)：Windows AD + Open-Source Ranger
This article was initally published at DZone. As last article of this series, we will introduce last high applicability scenario: “Windows AD + Open-Source Ranger”. In this solution, Windows AD plays authentication provider, all user accounts data store
2023-01-30 14:35:22
356
原创 Apache Ranger 与 AWS EMR 自动化安装与集成 (4)：OpenLDAP + Open-Source Ranger
This article was initally published at DZone. In previous 2 articles, we introduced emr-native ranger integration solution, from this article, we turn to introduce open-source ranger integration. This article will discuss “OpenLDAP + Open-Source Ranger”.
2023-01-30 13:35:21
412
原创 Python笔记 · 鸭子类型 / Duck Typing
既然程序能成功运行，就说明鸭子类型的示例代码能够通过Python的（运行期）类型检查。在Python中，由于它的“动态”特性，导致变量的类型随时可以变化，在这样的前提下，如果你是Python解释器的设计者，要怎么进行“类型检查”呢？你只能让Python解释器放宽“类型检查”的条件：只要在当前的上下文中（例如一个函数体内），调用方对这个类型所期望的属性和方法它都有，那它就是那个“正确的”类型。如果换做是其他语言，鸭子类型大概率会使用接口（Interface）进行定义，在Python这种动态语言里就是鸭子类型
2023-01-30 11:09:21
817
原创 Anaconda与Conda基本操作
安装Anaconda会自动安装Conda，如果上述官方地址下载缓慢，可切换为阿里云镜像，conda能解决很多ML库的安装问题，因为很多ML库会依赖OS上的一些C/C++的库，conda可以自行安装缺失的依赖，而virtualenv则不行。如下命令将创建一个名为my-python-env的虚拟环境，同时安装3.7版本的python。conda不同于virtualenv的地方在于：conda管理的包超越了python的范畴，可以是其他形式的安装包
2023-01-28 14:14:33
1178
原创 Sklearn标准化和归一化方法汇总(3)：范数归一化
范数归一化的计算逻辑是：先计算出一个向量（通常是一行）的范数（如无特殊说明，通常都是指L-2范数），然后让向量中的每一个元素除以这个范数，得到的新向量就是范数归一化后的结果。所以，了解范数归一化的原理关键是要理解：什么是范数？我们已经在此前以前文章中专门做了介绍，请参考《范数的意义与计算方法》一文。
2023-01-18 10:12:11
2380
原创 Sklearn标准化和归一化方法汇总(2)：Min-Max归一化
Min-Max归一化的算法是：先找出数据集通常是一列数据）的最大值和最小值，然后所有元素先减去最小值，再除以最大值和最小值的差，结果就是归一化后的数据了。经Min-Max归一化后，数据集整体将会平移到[0,1]的区间内，数据分布不变。
2023-01-17 13:03:52
5151
原创 Sklearn标准化和归一化方法汇总(1)：标准化 / 标准差归一化 / Z-Score归一化
标准化 / 标准差归一化 / Z-Score归一化的算法是：先求出数据集（通常是一列数据）的均值和标准差，然后所有元素先减去均值，再除以标准差，结果就是归一化后的数据了。经标准差归一化后，数据集整体将会平移到以0点中心的位置上，同时会被缩放到标准差为1的区间内。要注意的是数据集的标准差变为1，并不意味着所有的数据都会被缩放到[-1,1]之间，下文有示例为证。
2023-01-17 12:15:00
4414
1
原创 标准化和归一化概念澄清与梳理
由于翻译和命名上的歧义性以及各种误传误用，特征缩放领域里的术语和概念非常混乱，包括：标准化、正规化、正则化、归一化、Standardization、Normalization在内的这些概念既有关联又有差异，再加上它们的原始出处已基本都不可考，所以被大量混用和滥用，在一些劣质文章中会经常看到张冠李戴或相互矛盾的说法。本文我们会尽量结合字面含义和多数资料的描述，对这些概念做一轮梳理。
2023-01-16 08:30:14
1589
1
原创 范数的意义与计算方法
范数可以简单的理解为“距离”。由于向量是既有大小又有方向的量，所以向量是不能直接比较大小的，但是范数提供了一种方法，可以将所有的向量转化为一个实数，然后就可以比较向量的大小了。（注：本文我们只讨论向量范数，向量范数表征向量空间中向量的大小，另一种叫矩阵范数，表征矩阵引起变化的大小。范数并不是一个数，而是一组数，我们先了解一下最常用的L-2范数范数，它的计算方法是：将向量的每一个分量平方后再求和，然后对和开平方，得到的就是这个向量的L-2范数范数了
2023-01-11 11:46:08
16320
原创 NumPy一维数组、二维数组与Pandas的Series、DataFrame行列结构和横纵方向的统一说明
一维数组本身是没有“横向”和“纵向”概念的，站在一维数组里，我们只能分清是“向前”还是“向后”，即：在任何一个单一维度里，“方向”只有“正向”和“反向”之分。尽管我们可以简单地认为NumPy的二维数组对应Pandas的DataFrame，但是NumPy二维数组中的一维数组绝不对应DataFrame的Series，前者是一“行”数据，后者则是一“列”数据。横向为行，纵向位列，人们非常习惯书写和阅读这种表达形式的二维数据。NumPy和Pandas不会设计与人们使用习惯向左的数据结构
2023-01-10 12:18:58
2450
原创 Matplotlib笔记 · 禁止Matplotlib在Jupyter中输出文本信息
这是个非常初级的问题，但很有趣，值得记录一下。在Jupyter环境下，我们经常会发现Matplotlib在输出图像的同时会伴随输出一些文本信息，其实这些文本信息是当前Cell最后一行代码返回的那个变量，由于在Jupyter中大部分情况下每个Cell的最后一步都是Matplotlib的绘图代码，所以就会看到各种各样不同的文本信息，有时是横纵坐标轴的数组数据，有时是annotation数据等等，这取决于最后一行返回的是Matplotlib的什么对
2023-01-06 12:16:10
674
原创 Matplotlib笔记 · 绘图区域的结构和子图布局与划分（figure, axes, subplots)
很多时候，我们需要将多张关系密切的图表放在一起展示，便于分析师比对差异或发现关联关系，这时候，我们就需要将画布切分成多个子区域，然后在选定的子区域上绘制需要的图表了。Matplotlib对于绘制区域是这样设计的：首先要有一张画布（figure），然后，我们既可以使用画布的全部幅面来绘制一张图表，也可以将画布切分成多个子区域（axes），在每一个子区域上绘制不同的图表，而第一种情况只是将画布切分为一个子区域的特殊情形。我们以下面这张实际的Matplotlib图表为例
2023-01-05 09:35:04
3749
原创 正态分布与numpy.random.normal函数
在Numpy中，有一个专门用于生成符合正态分布的随机数函数：numpy.random.normal，本文我们梳理一下它的使用方法，在梳理前，需要先了解一下什么是正态分布。正态分布（Normal Distribution）又称高斯分布（Gaussian Distribution）。记得以前这个函数是在大学概率论里才介绍的，现在它已经出现在了高中课本中…这个神奇的函数描绘了现实世界中绝大多数事物的分布形态，用通俗的话解释“正态分布”就是：一个群体在某种指标上，绝大部分个体会落在平均值附近，超过平均值太多或低于平
2023-01-03 09:16:32
2827
2
原创 方差和标准差的意义
在此前一篇文章中，我们介绍了方差/标准差的计算方法，也点出了它们是用来“度量数据离散程度”的一种数学方法，但是对于它们的意义并没有给出更具体和形象的解释。本文，我们把这块内容补上。一言以蔽之，。反之，我们也可以在一些工具中通过设定方差/标准差的大小来生成离散程度不同的数据集，本文，我们就用这种方法来帮助我们理解方差/标准差的意义。
2023-01-02 14:44:11
4931
原创 如何理解并记忆DataFrame中的Axis参数
当我们遇到有axis参数的方法时，脑子里的第一反应应该是：这个方法一定是沿着某一方向进行某种“聚合”或者“过滤”操作。在此场景下，Axis参数就是用来设定操作方向的：垂直方向还是水平方向。
2022-12-28 15:28:47
1545
2
原创 抽样偏差（Sampling Bias）与 分层抽样（Stratified Sampling）
通常最基本的采样手段是：随机抽样，但是在很多场景下，随机抽样是有问题的，举一个简单的例子：如果现在要发起一个啤酒品牌知名度的调查问卷，我们能使用随机抽样来筛选参与调查的候选人吗？答案是否定的，因为性别在这个调研的目标人群中发挥着显著的影响，不能进行随机抽样，否则抽样数据将“严重失真”，并不能反映真实的数据分布，此时应该性别进行分层抽样，增大男性在抽样中的比例。进行分层采样的前提是目标属性往往是类别化的离散值，对于那些连续的数值型属性，通常需要进行一下“预处理”：把连续的数值型数据转换为离散的类别型数据。
2022-12-26 17:16:02
772
原创 机器学习中的数据集切分
应用有监督的机器学习算法时，需要将数据集切分成训练数据集和测试数据集两部分。在《Handson ML》一书中，使用了numpy.random.permutation，对数据集进行了切分。其思路是：利用permutation生成shuffle后记录索引(打乱顺序的索引集合)，然后按比例
2022-12-26 11:43:54
1459
原创 Numpy笔记 · Permutation
创建了一个数组，我们注意一下这个数组的特点：参数5决定了数组由5个元素组成，从0到4，但是元素顺序是随机的。把这个数组给到df的take方法，df的take方法将以数组中的元素的值作为新的索引重新进行排序，如下图所示，将Permutation数组。与Permutation相类似的是shuffle, 区别在于shuffle直接在原来的数组上进行操作，改变原来数组的顺序，无返回值。而permutation不直接在原来的数组上进行操作，而是返回一个新的打乱顺序的数组，并不改变原来的数组。
2022-12-25 10:17:55
1067
原创 解决cmder吃掉第一个空格和缺失右键菜单Cmder Here的问题
新安装好的cmder在输入命令的过程中，如果遇到第一个空格，并不会显示输入的空格，给使用带来了麻烦，解决方法是：显式地设置字符集为utf-8:此外，如果安装后右键菜单中没有出现：Cmder Here菜单：k。
2022-12-24 12:54:05
590
1
原创 在Windows右键菜单中添加：在此处打开命令窗口(Open command window here)
然后双击文件完成导入。导入后打开任务管理器(taskmgr)，找到：Windows资源管理器的进程，选中后，再选择窗口右下角的“重新启动”，刷新一下explorer.exe进程，让注册表生效，然后就能在右键菜单中看到“在此处打开命令窗口”选项了。本地环境是Windows 10 Home Edition。网上介绍的方法很多，其中将。
2022-12-24 10:41:19
806
原创 HiveServer2 和 HiveMetastore 梳理
从使用者的角度理解这就够了。，也就是说这已经进入到了Hive的内部设计细节了，设计者设计各种重要的业务实体，抽象各种概念，将不同的职责委派给合适的类，所以回到话题本身，Driver类确实是Hiveserver2中的一个核心的类，组织与串联了SQL提交后到转译为MR作业的关键操作，但是从大的架构层面上， 我们可以认为这是HiveServer2的职责和工作内容。不同于，HiveServer2，HiveMetastore的进程有一点隐秘，使用jps罗列进程时是看不到Metastore相关进程的，改使用。
2022-12-22 12:20:33
2003
Big_Data_SMACK.pdf
2016-10-14
The.Art.of.Multiprocessor.Programming.Revised.Reprint
2014-02-06
win7下硬盘安装Linux（Fedora17，CentOS 6.4，Ubuntu 12.10，LinuxMint 13 64-bit）
2013-08-16
Packtpub.Hadoop.MapReduce.Cookbook.Jan.2013
2013-03-04
OpenSSH for Windows
2013-02-06
Professional Website Performance.pdf
2013-02-04
Red.Gate.SQL.Toolbelt.v1.8.2.238.Incl.Keygen
2013-01-14
Araxis.Merge.Professional.v2012.4260.x64-BEAN
2012-12-27
Apress.Pro.SQL.Server.2012.Practices.Nov.2012
2012-12-24
Professional JavaScript for Web Developers, 3rd Edition 附书中代码
2012-09-19
Head.First.HTML.and.CSS.2nd.Edition.Aug.2012
2012-09-11
Packtpub.Spring.Security.3.May.2010
2012-09-10
Pro Apache Log4j Second Edition
2012-09-06
PowerDesigner16.1 crack keygen 破解文件
2012-06-21
SecureCRT.v6.7.3.292(含注册码和破解补丁)，
2012-06-13
SecureCRT.v6.7.3.292.x64(含注册码和破解补丁)
2012-06-13
Apache Solr 3.1 Cookbook
2012-04-24
Lucene in Action 2nd Edition
2012-04-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人