自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

小朋友2滴偷偷的在写博客

记得双击么么哒

  • 博客(62)
  • 收藏
  • 关注

原创 Python可迭代对象、迭代器与生成器

1. 概念1.1. iterable可迭代对象,是可以使用for循环遍历的对象实现__iter__()方法注意,程序通过判断是否有声明__iter__()方法来确认对象是否为可迭代对象,但是得到的对象是否真的能执行for循环并不确定string,list,map,set都算是iterable1.2. iterator迭代器是将可迭代对象添加了迭代遍历特性后转变而成的对象(可迭代对象的升级版)同时实现__iter__()方法和__next__()方法遍历结束需要抛出St

2022-02-01 23:09:25 1402

原创 Python装饰器@property的原理

最初的声明方式在没有@property修饰的情况下,需要分别声明get、set、delete函数,然后初始化property类,将这些方法加载进property中class C持有property的实例化对象x对外表现出来C().x时,实际上是调用C()中的x(property类)中设置的fset,fget,fdel,分别对应getx,setx,delxC真正持有的x,是self._x被隐藏起来了class C(object): def getx(self): ret

2022-01-25 10:56:47 723

原创 2021-10-24

1024

2021-10-24 17:00:05 167

原创 MongoDB ObjectId _id的默认生成方式,从pymongo源码解析

起因最近发现有的同事在查询mongo的时候,使用_id进行排序,来查找某个时间之后的数据有多少条。一直没有留意_id的生成方式,才知道原来16进制_id是有序的,所以记录研究一下经过从python包中找到bson/objectid.py找到ObjectId类,先阅读一下init注释class ObjectId(object): """这部分代码先跳过 """ def __init__(self, oid=None): """Initialize a new

2021-04-16 14:27:51 1221

原创 gRPC基础概念

使用API从在一个proto文件中定义一个服务开始,gRPC提供了protocol buffer编译器插件可以用来生成服务端和客户端代码。gRPC使用者只需要在客户端调用这些API,在服务端实现对应API即可。在服务端,需要实现RPC服务中定义的方法,并运行gRPC服务器来处理客户端的调用。gRPC的底层会对请求(requests)进行解码,执行服务端方法,然后再编码成响应数据。在客户端,客户端拥有一个本地的对象成为stub,也可以成为client,它与服务一样实现了相同的方法。客户端可以将调用参数

2021-02-06 15:35:32 1004

转载 Redis高并发下的读写锁

https://www.cnblogs.com/suyuan1573/p/6037066.html

2021-01-27 20:02:46 569

转载 Python多继承的初始化方式

https://blog.csdn.net/RSstudent/article/details/108809921

2021-01-18 16:51:47 819

原创 AWS知识点笔记

Interface EndpointGateway EndpointWhatElastic Network Interface with a Private IPA gateway that is target for a specific routeHowUses DNS entries to redirect trafficUses prefix lists in the route table to redirect trafficWhich services...

2020-11-26 11:32:26 355

原创 AttributeError: module ‘platform‘ has no attribute ‘linux_distribution‘

背景使用windows server linux(WSL),安装pipapt install python3-pip之后要通过pip3 install xxx的时候出现错误原因由于WSL中的python3.8,已经不存在platform.linux_distribution()方法。而通过apt安装的pip版本为8.1.1,需要进行更新解决方法sudo apt remove python3-pipsudo python3.8 -m easy_install pip...

2020-11-21 19:11:00 8593 2

原创 AWS认证解决方案架构助理 - AWS Lambda笔记

计算服务的演进AWS公有云基础设施容器ContainersServerless(物理基础设施交由AWS进行托管,只需要关注代码逻辑)资源预配置和使用率可靠性和容错扩展性运维和管理事件驱动 Event Driven事件驱动 -> 持续自动扩展(λ)-> 按使用量付费(代码执行时间,使用力度,etc.)代码只在需要的时候执行,并自动缩放Lambda使用场景S3 + λ = Dynamic data ingestion图片压缩,视频转码,文建索引,日志处理,

2020-11-09 20:49:46 244

转载 Docker四种网络模式

https://www.jianshu.com/p/22a7032bb7bd

2020-11-06 11:00:15 96

原创 Python 调用ctypes报错 free(): invalid pointer,double free or corruption (!prev)

Issues for reference.tensorflow#6968mxnet#13710tensorflow#8717Introduction.google gperftools tcmalloc

2020-09-27 18:23:49 659

转载 Python docker镜像对比

https://aws.amazon.com/cn/blogs/china/choose-the-best-docker-image-for-your-python-application/

2020-09-27 16:03:08 327

转载 Python JWT Authentication

https://auth0.com/docs/quickstart/backend/python/01-authorization#validate-access-tokens

2020-08-29 00:23:42 181

转载 Python 日志最佳实践

https://docs.python.org/3.8/howto/logging-cookbook.html

2020-08-26 16:58:31 138

转载 Python 给类成员取别名

https://stackoverflow.com/questions/4017572/how-can-i-make-an-alias-to-a-non-function-member-attribute-in-a-python-class/4017591

2020-08-14 16:00:13 803 1

转载 Python 对象转换为字典或json的方法

https://jenrey.blog.csdn.net/article/details/86622958

2020-08-14 15:56:38 158

转载 Sanic与FastAPI性能对比

https://www.jianshu.com/p/89dc09e15891

2020-07-20 16:52:15 3341

原创 AWS认证解决方案架构助理 - AWS CloudFront笔记

Content Delivery Network(CDN)Creates cached copies of your website at various edge locations around the world.Content Delivery Network (CDN)A CDN is a distributed network of servers which delivers web pages and content to users based on their geographic

2020-07-16 14:51:09 694

转载 EC2安装Docker报错:Requires: container-selinux

https://stackoverflow.com/questions/60690568/unable-to-install-docker-on-aws-linux-ami

2020-07-14 14:39:20 243

原创 AWS认证解决方案架构助理 - AWS EFS笔记

Elastic File System (EFS)Stable, elastic, cloud-native NFS file system.Attach a single file system to multiple EC2 InstancesDon’t worry about running out or managing disk space.EFS is a file storage service for EC2 instances.Storage capacity grows (up

2020-07-09 19:11:56 544

原创 AWS认证解决方案架构助理 - AWS EC2笔记

Cloud Computing ServiceChoose your OS, Storage, Memory, Network Throughput.Launch and SSH into your server within minutes.Elastic Compute Cloud (EC2) is a highly configurable server.EC2 is resizable compute capacity. It takes minutes to launch new inst

2020-07-03 15:34:16 4262

原创 AWS认证解决方案架构助理 - AWS DNS笔记

Domain Name SystemThe Phonebooke of the InternetDNS translates domain names to IP address, so browsers can find Internet resources.Domain Name System(DNS) is the service which handles coverting a domain name into a routable Internet Protocol (IP) addres

2020-07-01 18:34:03 1808

原创 AWS认证解决方案架构助理 - AWS CLI笔记

AWS Command Line InterfaceControl multiple AWS services from the command line and automate them through scripts.The CLI lets you interact with AWS from anywhere by simply using a command line.You can from the CLI perform action such as:List buckets, u

2020-07-01 16:21:50 206

原创 AWS认证解决方案架构助理 - AWS Cognito笔记

Decentralized Managed Authentication.Sign-up, sign-in integration for your apps.Social identity provider. eg. Facebook, Google.Cognito User PoolsUser directory with authentication to IdP to grant access to your appCognito Identity PoolsProvide te

2020-06-19 15:38:37 610

原创 AWS认证解决方案架构助理 - AWS IAM笔记

Identity Access ManagementManages access of AWS users and resources.Core ComponentsIAM allows management of access of users and resources.IAM IdentitiesIAM UsersEnd users who log into the console or interact with AWS resource programmaticallyIAM

2020-05-28 18:03:08 564

原创 AWS认证解决方案架构助理 - AWS VPC笔记

Virtual Private CloudProvision a logically isolated section of the AWS Cloud where you can launch AWS resources in a virtual network that you define.Think of a AWS VPC as your own personal data center. Gives you complete control over your virtual network

2020-05-25 15:47:25 970

原创 AWS认证解决方案架构师助理 - AWS Snowball笔记

Snowball - Large Scale Transport (physical data transport service)Low CostIt cost thousands of dollars to transfer 100TB over high speed internet. Snowball can reduce that cost by 1/5th.SpeedIt can take 100TB over 100 days to transfer over high spe

2020-05-22 18:08:54 529

原创 AWS认证解决方案架构师助理 - AWS S3笔记

S3 (Simple Storage Service)object-based storage serviceserverless storage in the cloudDon’t worry about file systems or disk spacewhat is object storage?data storage architecture that manages d...

2020-05-06 14:16:37 718

原创 Spark SQL关于minus的问题记录

今天写了一个曲折的SQL,大概是这样-- 有可能是我给人家写复杂了withorg_year_view as( select distinct org, year from A)select *from Aminus-- find data that cannot be used because of missing data in formula select f....

2019-11-29 11:22:16 1278

原创 tail -f与tail -F的区别

tail -f等同于–follow=descriptor,根据文件描述符进行追踪,当文件改名或被删除,追踪停止测试如下# 创建新文件touch test.log# 使用tail -ftail -f test.log# 写数据echo 1 >> test.logecho 2 >> test.logecho 2 > test.logecho 3 &...

2019-07-14 14:04:45 6979

翻译 Kafka的exactly-once精准一次语义

精确一次消息语义(Exactly-once semantics)是可以实现的:让我们看看Kafka是怎么实现的。我很兴奋,我们到达了Kafka社区一直以来期待的令人激动的里程碑:我们在Apache Kafka 0.11 release版本和Confluent Platform 3.3中引入了精确一次消息语义。在这篇文章中,我会告诉你Apache Kafka中的精确一次语义是什么意思,为什么这是一...

2019-07-12 22:35:36 1631

原创 深入理解SparkSession(未完成)

文章目录版本变化spark1.xspark2.x与SparkContext的区别和联系区别联系SparkSession的作用功能简述成员属性简述版本变化spark1.x在Spark1.6中使用的为Hive on spark,主要是依赖hive生成spark程序,有两个核心组件SQLcontext和HiveContext。// 创建SparkConfval sparkConf = new ...

2019-07-12 11:32:53 717

转载 Spark的HashShuffleManager与SortShuffleManager原理

调优概述大多数Spark作业的性能主要就是消耗在了shuffle环节,因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此,如果要让作业的性能更上一层楼,就有必要对shuffle过程进行调优。但是也必须提醒大家的是,影响一个Spark作业性能的因素,主要还是代码开发、资源参数以及数据倾斜,shuffle调优只能在整个Spark的性能调优中占到一小部分而已。因此大家务必把握住调优的基本...

2019-07-11 22:39:58 386

转载 Kafka高吞吐(一),Broker内部读写优化

不同于Redis和MemcacheQ等内存消息队列,Kafka的设计是把所有的Message都要写入速度低容量大的硬盘,以此来换取更强的存储能力。实际上,Kafka使用硬盘并没有带来过多的性能损失,“规规矩矩”的抄了一条“近道”。首先,说“规规矩矩”是因为Kafka在磁盘上只做Sequence I/O,由于消息系统读写的特殊性,这并不存在什么问题。关于磁盘I/O的性能,引用一组Kafka官方给出...

2019-07-08 14:55:37 296

转载 SQL在Spark的解析过程(三)

文章目录全阶段代码生成阶段 - WholeStageCodegen为什么需要代码生成表达式代码生成(expression codegen)全阶段代码生成(Whole-stage Code Generation)代码编译SQL 执行全阶段代码生成阶段 - WholeStageCodegen前面我们已经介绍了从逻辑计划生成物理计划(Physical Plan),但是这个物理计划还是不能直接交给 S...

2019-07-06 11:35:04 831

转载 SQL在Spark的解析过程(二)

文章目录优化逻辑计划阶段 - Optimizer谓词下推列裁剪常量替换常量累加生成可执行的物理计划阶段 - SparkPlanner优化逻辑计划阶段 - Optimizer在前文的绑定逻辑计划阶段对 Unresolved LogicalPlan 进行相关 transform 操作得到了 Analyzed Logical Plan,这个 Analyzed Logical Plan 是可以直接转换...

2019-07-06 11:22:04 785

转载 SQL在Spark的解析过程(一)

文章目录一条SQL在Spark之旅SQL 解析阶段 - SparkSqlParser绑定逻辑计划阶段 - AnalyzerSpark SQL 是 Spark 众多组件中技术最复杂的组件之一,它同时支持 SQL 查询和 DataFrame DSL。通过引入了 SQL 的支持,大大降低了开发人员的学习和使用成本。目前,整个 SQL 、Spark ML、Spark Graph 以及 Structure...

2019-07-06 10:58:11 1457

原创 Spark分组排序TopN

文章目录数据源目标解决方法spark corespark core数据源# f://data.txt# className, studentName, scorec1 a 85c2 b 77c3 c 88c1 d 22c1 e 66c3 f 95c3 g 54c2 h 91c2 i 66c1 j 54c1 k 65c2 l 41c4 m 65目标对班级进行分组...

2019-06-27 15:22:58 1174 1

原创 Spark on Yarn的内存分配

文章目录1 初始化配置2 ApplicationMaster(AM)的相关配置2.1 amMemory2.2 amMemoryOverhead1 初始化配置// 初始化yarn clientprivate val yarnClient = YarnClient.createYarnClient// 初始化hadoop配置private val hadoopConf = new YarnC...

2019-06-12 23:34:15 571

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除