![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Google Cloud Platform
IT-Cruiser
干了10来年IT,主流和非主流语言,专业和非专业框架也都有些经验。
总结一下自己用过的东西,踩过的坑,希望能帮到有需要的盆友。
展开
-
【Bigquery】写一个SQL,以A列分组,只取每组的三条数据
函数为每个分组中的行分配行号。然后,它会从具有行号小于或等于3的每个分组中选择行。目标:先赚一个亿,啊不是,写一个SQL,以A列分组,只取每组的三条数据。函数和子查询来实现此操作。这个SQL语句会将输入表()按列A分组,并使用。其实也不仅限于BQ。原创 2023-04-11 13:16:38 · 524 阅读 · 0 评论 -
【GCP】blob.exists()和bucket.exists()
在使用这两个方法时,请确保您已经正确设置了GCS的身份验证凭据,并且输入了正确的Bucket名称和Blob名称。如果存在任何错误,这些方法可能会返回错误的结果,从而导致出现问题。方法都是Google Cloud Storage Python客户端库提供的方法,用于检查指定的Blob(文件)或Bucket是否存在。方法:此方法用于检查特定Bucket中的Blob(文件)是否存在。使用此方法之前,需要确保已经设置好GCS的身份验证凭据。方法:此方法用于检查指定的Bucket是否存在。如果Blob存在,则返回。原创 2023-04-10 21:05:34 · 207 阅读 · 0 评论 -
GCP的服务账户(Service Account)
但是我们在Python逻辑处理的时候,需要访问某个PJ的BigQuery的数据,但是A没有访问权限,管理员出于权限管理的考虑,给了你一个可以访问该BigQuery的Service Account,叫做B;其实在这种情况下,A只是负责CloudRun运行的,可视为从始至终的Service Account,只不过在处理Bigquery的时候,是需要配置的。定义一些Service Account,可以给不同的User或者不同的服务提供不同的Service Account,进行一些权限方面的管理。原创 2023-04-07 19:55:41 · 877 阅读 · 0 评论 -
bigquery取得件数判断
无论是什么数据库,select count(*) from table 之后,查询语句返回的结果总是包含一个行,即使结果为 0。函数获取结果集中的第一行,然后从该行中提取出件数。原创 2023-04-07 19:23:59 · 90 阅读 · 0 评论 -
【Bigquery】IFNULL,NULLIF,SAFE_DIVIDE
该函数接受两个参数:numerator和denominator。如果denominator的值为0,则SAFE_DIVIDE函数返回NULL;否则返回numerator/denominator的值。IFNULL函数返回第一个参数,如果第一个参数为NULL,则返回第二个参数。Bigquery里有两个函数,IFNULL和NULLIF,差点搞混。NULLIF函数返回第一个参数,如果两个参数相同,则返回NULL。这些函数可以用于处理空值,以便在查询结果中使用默认值或其他值。原创 2023-03-28 19:20:24 · 494 阅读 · 0 评论 -
如何登录数据到Bigquery
BQ有个很搞笑,很自作聪明的功能,如果表里没有数据,登录一条,或者CSV上传一条数据,它会根据你登的数据去更改表字段的类型,理解不了大公司的脑洞。在bigquery.LoadJobConfig有这么一个OPTION,自动探索的说,说啥呢,就是一开始讲的,会更改表字段的类型,我是不会用的。当然主要说的是IDE,习惯了SSMS,SQL Developer,突然用BQ,很不适应。不得不写SQL去增啥改数据,拿登录来说,大量的数据登录就很麻烦了。原创 2023-03-22 17:23:35 · 133 阅读 · 0 评论 -
Google Cloud Platform搭建一个小的Web API
4.CloudRun是不需要设定的,CloudBuild执行后,会生成一个名为${_BASE_NAME}的服务,但是有些时候需要一些特殊的设置,这里用到另一个文件:service.yaml,这个文件里可以进行一些范文权限的设置,还有Python用到的环境变量的设置。再往下是变量的设定,在Cloudbuild.yaml设定的时候,可能会处于对运行环境的考虑,有些设定成变量,会比较好管理,这种情况下可以考虑在这个画面上将变量设定进去。大体的步骤就是这些了,当然了,具体的还要看各自的权限和代码的设计。原创 2023-03-22 14:31:37 · 215 阅读 · 0 评论