自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Python抽象类(ABC)浅析

今天在看apscheduler源代码中,看到abc.py这个文件,出于好奇,深入看了一下。 abc的缩写是Abstract Base Classes,翻译就是抽象基类。详细链接可以查看此处 可以看出这个是类是2007年,由Python创始人Guido van Rossum和Talin一起引...

2019-11-12 17:38:35 104 0

转载 Linux查看公有IP和私有IP的办法

查看公有IP: curl ifconfig.me curl -4/-6 icanhazip.com curl ipinfo.io/ip curl api.ipify.org curl checkip.dyndns.org dig +short myip.opendns.com @res...

2019-10-31 15:56:32 532 0

原创 用Python如何检查一个列表是否为另一个列表的子集?

要实现一个方法,验证参数中是否全部包含必填? params = { "ImageId": '', "RegionId": '', "VSwitchId": '...

2019-10-28 16:23:45 519 0

原创 Jenkins访问Github private项目报权限访问错误

协助同事定位一个访问git问题。 报错 stderr: remote: Invalid username or password. 首先我检查一个pub和privatekey,发现里面的key是用root生成的。 而jenkins默认访问进行服务器鉴权时候是用jenkins用户的。所以要用j...

2019-10-24 11:46:40 319 0

原创 FTP地址Python正则解析

今天看到以下这段代码: import re _USER_RE = r'''(?P<user>[^:@]+|'[^']+'|"[^"]+")''' _PASSWO...

2019-10-08 20:03:44 125 0

原创 Google开发高可用应用的最佳实践

本文总结在Google内部分享。 为了开发易扩展、高可用、高安全的应用应该遵守哪些最佳实践呢? 主要从四个方面考虑: 1 代码和环境管理 2 设计和实现 3 扩展性和可靠性 4 易迁移 实践点: 利用版本管理系统(Git或者Subversion)来管理代码 不要在代码中保存第三方...

2019-09-16 15:44:32 63 0

原创 Python实现移动平均数

首先,什么是移动平均数呢?(来自百度百科) 若依次得到测定值 时,按顺序取一定个数所做的全部算术平均值。 例如 等是移动平均值 详细可以点击此处链接 Python中是如何实现呢? Python中有个一个现有的类, deque.这个一个双向队列。我们知道,队列具有先进先出的特点。 ...

2019-09-06 18:15:26 2865 0

翻译 7种提高代码阅读能力的方法

阅读源代码是软件开发人员的工作任务之一。但是,这种经历并不总是令人愉快的。不是每个人都想阅读其他人的代码,因为他们发现它很无聊,有时令人沮丧。有些情况下,当你开始阅读其他人的代码但最终会因为无法理解或代码写得不好而感到痛苦。大多数开发人员都希望专注于编码而不是阅读,并且意识不到阅读代码也是一项技能...

2019-08-13 17:08:26 102 0

原创 Python从字符串串中如何提取国家、地区或者城市信息?

今天有位朋友请教,如何在不联网的情况下,从根据几个地址获取所在国家的ISO编码? 比如: 快递地址是西安市丈八六路12小区,国家ISO编码:CHN 我解决思路是: 1、首先要从几个地址拼接在一起,然后从中提取信息,城市、省份/State或者国家 ,因为这个地址中不一定包含省和国家 2、获得...

2019-07-17 17:16:15 2174 0

翻译 【Tensorflow】训练多特征模型

说明: 这个学习代码来自于Google的COLAB, 原链接点击here. 课程目的: 1、用多个特征代替单个特征,来提高模型的有效性 2、调试输入数据的异常值 3、用测试集验证模型是否过度拟合于验证集 准备环境,如果不清楚可以看我写的第一篇博客,点击此处 特征预处理: 检...

2019-06-27 16:18:44 498 0

翻译 Tensorflow入门第一步

说明: 这个学习代码来自于Google的COLAB, 原链接点击here. 课程目的: 1、了解Tensorflow的基本概念 2、用TEnsorflow自带的逻辑回归算法预测房价中位数 3、利用均方根误差RMSE来评估模型预测准确度 (如果不清楚RMSE是什么,请点击此处看我的另一篇博...

2019-06-13 16:15:44 184 0

原创 【pandas入门】创建DataFrame的7种方法

笔者在学习pandas,在学习过程中总结了一下创建dataframe的方法,通过查阅资料总结遗下几种方法,如果你有其他的方法欢迎留言补充。 练习代码 请点击此处下载 学习环境: 第一种: 用Python中的字典生成 第二种: 利用指定的列内容、索引以及数据 第三种:通过读取文...

2019-06-06 15:30:23 11282 2

翻译 【pandas入门】pandas的基本操作

学习目标: 1、熟悉pandas工具的一些基本概念,了解DataFrame和Series数据结构 2、基于DataFrame 和 Series数据结构操作数据 3、 导入CSV到pandas的DataFrame数据结构 4、利用函数reindex将pandas里面的数据进行随机打乱 一、...

2019-06-03 17:29:27 187 0

翻译 用户账号、授权以及密码管理的12个最佳实践

帐户管理,授权和密码管理可能很棘手。 对于许多开发人员来说,帐户管理是一个遗忘的部分,没有得到足够的重视。 对于产品经理和客户而言,由此产生的体验往往达不到预期。 幸运的是,谷歌云平台(GCP)带来了一些工具,可以帮助您围绕用户帐户(这里指所有想要访问系统的人,不分客户账号或者内部账号)的创建,...

2019-04-30 17:33:16 242 0

原创 【机器学习】Google Developer-特征交叉

1、什么是特征交叉? 特征交叉是通过组合两个或更多个特征而形成的合成特征, 通过特征组合的方式增加特征的维度,以求得更好的训练效果。 如下图,无法用一条直线来对两组数据进行分类。 但是如果我们如果增加一个组合特征x1x2,得到分类图如下,下图我们就可以很好对两个类型的数据进行分类了。 ...

2019-04-12 11:09:32 614 0

原创 【机器学习】Google Developer-特征工程介绍

Table of Contents 1、什么是特征工程? 2、 那么将原始数据如何进行转换呢? 2.1 数值映射 2.2 分类值映射 3、如何提高特征的质量? 3.1 尽量避免很少使用离散的特征值 3.2 推荐特征使用清晰且明确的含义 3.3 不要将异常数据和真实数据相混淆 3....

2019-04-09 17:06:56 150 0

翻译 Google Cloud 专业数据工程师经验分享

写在前面: 考试结束后,趁还记着的时候我赶紧记录下来。因为这些是没有顺序的,我只是根据自己遇到的问题总结一下考点。我记录考点的目的不是为您提供问题,而是为您提供您可以备考的重点。 我经常被一些问题困扰; 希望你可以根据我的经验做好准备。 祝你一切顺利! 因为我以前有参加过其他认证考试的经验,我...

2019-03-06 14:46:44 1436 0

转载 关于机器学习工程的最佳实践

本文档旨在帮助已掌握机器学习基础知识的人员从 Google 机器学习的最佳实践中受益。它介绍了一种机器学习样式,类似于 Google C++ 样式指南和其他常用的实用编程指南。如果您学习过机器学习方面的课程,或者拥有机器学习模型的构建或开发经验,则具备阅读本文档所必需的背景知识。 术语 在我们...

2019-03-06 11:45:26 253 0

原创 Google Cloud的专业架构师和专业云工程师认证经验分享

首先说一下自己情况: 在2018年年底,因工作需要通过GCP的专业认证。我大概这样复习的,首先大概花了1个月利用下班的时间学习Coursera的课程,在Coursera上针对GCP Architect的课程有6节课程,课程中还包括Qwiklabs的实验。当时报名在2019年1月份参加考试。由于考...

2019-02-19 16:15:04 7276 2

转载 各大厂分布式链路跟踪系统架构对比

 随着互联网架构的扩张,分布式系统变得日趋复杂,越来越多的组件开始走向分布式化,如微服务、消息收发、分布式数据库、分布式缓存、分布式对象存储、跨域调用,这些组件共同构成了繁杂的分布式网络,那现在的问题是一个请求经过了这些服务后其中出现了一个调用失败的问题,只知道有异常,但具体的异常在哪个服务引起的...

2018-12-28 10:40:17 301 0

原创 计算广告学学习笔记---计算过广告基本概念

学刘鹏老师的《计算广告学》笔记,课程是免费的,课程地址 一、广告的目的和效果是什么? 广告 Advertisng:广告是由已确定的出资人通过各种媒介进行的有关产品(商品、服务和观点)的,通 常是有偿的、有组织的、综合的、劝服性的非人员的信息传播活动 主题: 广告主(Advertiser)、媒...

2018-12-15 16:25:25 362 0

原创 数学基础-拉格朗日乘子法学习资料

最近学习支持SVM,其中目标函数是一个有约束条件下的最优化问题。 这个问题要用拉格朗日乘子法进行推导。个人本来打算写一篇文章来解释这个。后来通过查询,发现网上有很多资料,把这些读了一遍,发现疑问都解决了。所以在这里把资料汇总一下,与大家分享。 学习资料 数学扫盲----拉格朗日乘子法 拉格朗...

2018-12-14 16:41:23 410 0

原创 如何实现网易公开课的倍速播放?

笔者平时学习的时候都是用2倍速看视频的。最近计划到公开课上学习泛函。但是发现上面不支持倍速播放,手机端的也只支持1.5倍速。百度经验有帖子,但要下载VLC播放器。 所以觉得麻烦。笔者就研究了一下,发现只要两步就搞定: 第一步: 打开硕鼠的官网, 输入视频链接: 会得到下载地址: 这个...

2018-12-14 10:13:21 3757 0

原创 Bobo老师机器学习笔记第九课-PR曲线和ROC曲线

在上篇文章中,我们已经概述了PR曲线。现在做个简单的回归 1、什么是PR曲线?  PR曲线是精准率(Precision)和召回率(Recall)的缩写, 精准率表示在预测的关注事件中,其中预测正确的有多少。  Precision = TP / (TP + FP) 召回率表示在实际的关注事件...

2018-12-10 18:43:10 335 2

原创 Bobo老师机器学习笔记第九课-分类算法的评价指标

1、以前学习分类算法时候,一直用分类准确度进行算法的好坏,准确度一定准确吗? 对于极度偏斜(Skewed data)的数据,只使用分类准确度是不够的。比如一种癌症的发病率是0.01%,那么我们系统即使在不分类的情况下,预测健康的情况准确率就可以达到99.99%。这个明显是不符合实际情况的。 因...

2018-12-07 14:38:18 197 0

原创 Bobo老师机器学习笔记第九课-如何处理多分类任务?

1、什么是多分类任务?    针对多类问题的分类中,具体讲有两种,即multiclass classification和multilabel classification。 multiclass是指分类任务中包含不止一个类别时,每条数据仅仅对应其中一个类别,不会对应多个类别。 multila...

2018-12-06 18:50:03 156 0

原创 Bobo老师机器学习笔记第九课-逻辑回归添加多项式

在上面博客中我们主要使用逻辑回归进行线性数据的分类,那么逻辑如何处理非线性数据分类呢?比如下面的数据: 1、利用逻辑回归如何处理非线性数据回归? 针对上面的数据,我们首先尝试回归一下,看看获取的结果是: 0.605, 这个评分不是很高,让后我们绘制一下决策边界: 很明显决策边界误差很...

2018-12-06 17:58:45 166 2

原创 Bobo老师机器学习笔记第九课-逻辑回归之决策边界

1、什么是决策边界? 决策边界又称为是限定边界,引用百度的定义:在具有两个类的统计分类问题中,决策边界或决策表面是超曲面,其将基础向量空间划分为两个集合,一个集合。 分类器将决策边界一侧的所有点分类为属于一个类,而将另一侧的所有点分类为属于另一个类。 我们先看逻辑回归的sigmoid函数。  ...

2018-12-06 09:40:09 340 0

原创 Bobo老师机器学习笔记第九课-逻辑回归代码展示

在上一篇博客中我们学习了逻辑回归(LogisticRegression)的理论。那么在这篇博客中,我们用代码展示一下,如何用梯度下降法获取逻辑回归的参数 步骤1:我们加载sklearn中的鸢尾花数据进行测试,由于为了数据可视化,我们选择2种类型的鸢尾花,并且只选择2个特征。  imp...

2018-12-05 19:25:39 242 0

原创 Bobo老师机器学习笔记第九课-逻辑回归理论

1、什么是逻辑回归?(Logistic Regresssion) 逻辑回归(Logistic Regression)是一种用于解决二分类(0 or 1)问题的机器学习方法,用于估计某种事物的可能性。逻辑回归既可以看做是一个回归算法,也可以看作是一个分类问题,通常是用过分类,并且是二分类。 分类主...

2018-12-05 12:50:19 182 0

原创 Bobo老师机器学习笔记第八课-方差、偏差、岭回归、LASSO回归?

对误差分类 问题一、什么是偏差和方差? 先看下面这幅图图: 方差: 都是围着数据中心的,方差越大则表示距离数据中心分布的越分散,越小说明越近越集中 偏差: 偏离数据中心, 偏差越大,说明整个数据距离中心越远,偏差越小,说明距离数据中心越近。 这两者的关系通常是矛盾的,降低偏差会提高方...

2018-12-04 13:19:16 591 0

原创 当前开源的那些优秀AIOPS工具?

1、 Metis  腾讯研发开源的。 官方介绍: Metis 这个名字取自希腊神话中的智慧女神墨提斯(Metis),它是一系列AIOps领域的应用实践集合。主要解决在质量、效率、成本方面的智能运维问题。当前版本开源的时间序列异常检测学件,是从机器学习的角度来解决时序数据的异常检测问题。 时...

2018-11-21 15:51:08 2244 0

转载 AIOps学习资料汇总

White Paper 《企业级 AIOps 实施建议》白皮书 Course and Slides Tsinghua-Peidan - AIOps course in Tsinghua. 基于机器学习的智能运维 Industry Practice 腾讯运维的AI...

2018-11-21 10:58:03 2514 0

原创 Bobo老师机器学习笔记第八课-什么是交叉验证?

1、测试数据的真正意义是什么? 在上篇博客中,我们看到测试集和训练集在同一个模型上会表现不同的结果。我们通过学习曲线可以直观的看到具体是过拟合还是欠拟合,从而调整参数,进行不断验证,直到找到一个在训练集表现好的数据。 总结一句话,就是通过测试数据进行对模型的调优。 2、 依靠测试数据来调优...

2018-11-19 19:54:05 183 0

原创 Bobo老师机器学习笔记第八课-如何防止过拟合和欠拟合?

问题一、什么是过拟合和欠拟合? 首先拟合是一个统计学概念,它表示所求函数逼近目标函数的远近程度。应用的机器学习中,就是我们所求的函数与未知的映射函数之间的相似度。如何求得函数参数与潜在的函数参数越逼近,说明效果越好。  假设我们用上篇博客中的数据,源码可以见上文: 通过上图可以看出: ...

2018-11-16 10:15:27 124 0

原创 Bobo老师机器学习笔记第八课-多项式回归

问题1: 什么是多项式回归? 以前我们学习了线性回归,但是线性回归比较适用于数据之间明显线性关系的。但有时我们使用的数据不一定它们之间有线性关系。那么这时候就要用到多项式回归。多项式我们以前学过,那么多项式的回归方程就类似于 问题2: 那么非线性的数据,我们如何做呢,比如下面数据? ...

2018-11-12 13:11:20 119 0

原创 Bobo老师机器学习笔记第七课-PCA在人工智能领域应用-特征脸

问题1: 什么是特征脸? 特征脸(Eigenface)是指用于机器视觉领域中的人脸识别问题的一组特征向量,就是我们以前讲过的由前N个主成分组成的。 每一个特征脸代表了一个主成分。 如下图:X代表由m个人组成,提前脸上n个特征的矩阵。W(k)表示前K的主成分,每一行可以理解代表人脸的一个特征。所...

2018-11-08 20:44:40 331 0

原创 Bobo老师机器学习笔记第七课-使用PCA对MNIST数据集进行降噪

问题1:什么是MNIST数据集?   MNIST 数据集来自美国国家标准与技术研究所, National Institute of Standards and Technology (NIST). 训练集 (training set) 由来自 250 个不同人手写的数字构成, 其中 50% 是高...

2018-11-08 19:25:32 1544 0

原创 Bobo老师机器学习笔记第七课-sklearn中PCA的用法

问题1: PCA在sklearn中的哪个模块? 答:PCA在sklearn的decomposition模块中。通过from sklearn.decomposition import PCA可以导入PCA。sklearn.decomposition模块包括矩阵分解算法,包括PCA,NMF或ICA。...

2018-11-07 22:19:47 8502 2

原创 【工作经验】如何在IT外包公司快速成长?

写在前面 “ 看书时候,突然心中有一份感动,想和工作中的朋友分享一些心得,希望对正在阅读的你有所帮助。” 第一点:停止抱怨       有的人一进到公司就开始抱怨,公司这里不行,那里不好。但我们要知道能到公司里面,意味着这家公司是我们当时候能做出来的最好选择,或是能力,或是周围环境,都让我们...

2018-11-05 17:55:28 2958 5

提示
确定要删除当前文章?
取消 删除