python 机器学习 后端 爬虫 系列课程
文章平均质量分 93
python教程精品推荐,python爬虫教程、python工具,poython后端,python机器学习、深度学习各类算法示例: lr/svm/gbdt/xgboost/各种聚类分析/关联分析/集成学习,dnn/cnn/rnn 。scikit-learn、caffe、keras、tf...
腾讯AI架构师
主要涉及领域 docker kubernetes 云原生技术,AI平台,大数据架构,python,分布式微服务,自动化运维
展开
-
cube studio开源一站式云原生机器学习平台-架构(三)
前言:cube是开源的云原生机器学习平台,目前包含特征平台,支持在/离线特征;数据源管理,支持结构数据和媒体标注数据管理;在线开发,在线的vscode/jupyter代码开发;在线镜像调试,支持免dockerfile,增量构建;任务流编排,在线拖拉拽;开放的模板框架,支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务;task的单节点debug,分布式任务的批量优先级调度,聚合日志;任务运行资源监控,报警;定时调度,支持补录,忽略,重试,依赖,并发限制,定时任务算力的智原创 2022-04-15 14:21:54 · 2251 阅读 · 0 评论 -
python测试系列教程——python+Selenium+chrome自动化测试框架
全栈工程师开发手册 (作者:栾鹏) python教程全解需要的环境浏览器(Firefox/Chrome/IE..)PythonSeleniumSelenium IDE(如果用Firefox)FireBug、FirePath(如果用Firefox)chromedriver、IEDriverServer、phantomjs.exeIDE(Pycharm/Subl...原创 2018-03-10 09:47:42 · 102267 阅读 · 32 评论 -
jinja2
jinja2 详解原创 2021-02-02 15:56:46 · 655 阅读 · 0 评论 -
session 、cookie、token的区别及联系
sessionsession的中文翻译是“会话”,当用户打开某个web应用时,便与web服务器产生一次session。服务器使用session把用户的信息临时保存在了服务器上,用户离开网站后session会被销毁。这种用户信息存储方式相对cookie来说更安全,可是session有一个缺陷:如果web服务器做了负载均衡,那么下一个操作请求到了另一台服务器的时候session会丢失。cookie...转载 2020-01-05 21:53:40 · 787 阅读 · 0 评论 -
swagger入门和实践(含docker部署swagger)
简介Swagger 是最流行的 API 开发工具,它遵循 OpenAPI Specification(OpenAPI 规范,也简称 OAS)。Swagger 可以贯穿于整个 API 生态,如 API 的设计、编写 API 文档、测试和部署。Swagger 是一种通用的,和编程语言无关的 API 描述规范。应用场景如果你的 RESTful API 接口都开发完成了,你可以用 Swagg...转载 2018-09-23 23:06:49 · 21714 阅读 · 2 评论 -
时间序列分析预测
全栈工程师开发手册 (作者:栾鹏) python数据挖掘系列教程时间序列中常用预测技术,一个时间序列是一组对于某一变量连续时间点或连续时段上的观测值。参考:https://blog.csdn.net/u010414589/article/details/496226251. 移动平均法 (MA)1.1. 简单移动平均法设有一时间序列y1,y2,…, 则按数据点的顺...原创 2020-04-09 22:52:15 · 5098 阅读 · 0 评论 -
Flask AppBuilder 详解
官方:https://flask-appbuilder.readthedocs.io/en/latest/cli.html#create-app-create-new-applications安装pip install flask-appbuilder命令行启动fabmanager 命令不再使用,新版本使用Flask cli集成的新命令行管理器。不过命令形式和参数是一样的。也就是使用fl...原创 2020-01-05 21:54:28 · 11308 阅读 · 0 评论 -
零基础入门深度学习(7) - 递归神经网络
python深度学习大全原文地址:https://zybuluo.com/hanbingtao/note/626300往期回顾在前面的文章中,我们介绍了循环神经网络,它可以用来处理包含序列结构的信息。然而,除此之外,信息往往还存在着诸如树结构、图结构等更复杂的结构。对于这种复杂的结构,循环神经网络就无能为力了。本文介绍一种更为强大、复杂的神经网络:递归神经网络 (Recur转载 2018-01-09 09:55:24 · 3791 阅读 · 0 评论 -
零基础入门深度学习(3) - 神经网络和反向传播算法
python深度学习大全原文地址:https://www.zybuluo.com/hanbingtao/note/476663往期回顾在上一篇文章中,我们已经掌握了机器学习的基本套路,对模型、目标函数、优化算法这些概念有了一定程度的理解,而且已经会训练单个的感知器或者线性单元了。在这篇文章中,我们将把这些单独的单元按照一定的规则相互连接在一起形成神经网络,从而奇迹般的获得了转载 2018-01-09 09:45:30 · 27772 阅读 · 5 评论 -
零基础入门深度学习(4) - 卷积神经网络
python深度学习大全原文地址:https://www.zybuluo.com/hanbingtao/note/485480往期回顾在前面的文章中,我们介绍了全连接神经网络,以及它的训练和使用。我们用它来识别了手写数字,然而,这种结构的网络对于图像识别任务来说并不是很合适。本文将要介绍一种更适合图像、语音识别任务的神经网络结构——卷积神经网络(Convolutional转载 2018-01-09 09:48:19 · 31302 阅读 · 8 评论 -
ubuntu安装opencv的c++开发环境
为了搭建opencv3,看了各种教程,装了卸,卸了装,多次失败后,在几篇文档的借鉴下,终于是成功搭建了环境。首先,更新ubuntu上的一些库:sudo apt-get updatesudo apt-get upgrade其次,需要安装一些搭建opencv3的库(要在opencv3搭建前安装好)具体需要的库如下:sudo apt-get install cmakes...转载 2018-07-24 12:57:56 · 22907 阅读 · 4 评论 -
零基础入门深度学习(2) - 线性单元和梯度下降
python深度学习大全原文地址:https://www.zybuluo.com/hanbingtao/note/448086往期回顾在上一篇文章中,我们已经学会了编写一个简单的感知器,并用它来实现一个线性分类器。你应该还记得用来训练感知器的『感知器规则』。然而,我们并没有关心这个规则是怎么得到的。本文通过介绍另外一种『感知器』,也就是『线性单元』,来说明关于机器学习一些基转载 2018-01-09 09:44:20 · 7234 阅读 · 2 评论 -
零基础入门深度学习(1) - 感知器
python深度学习大全原文地址:https://www.zybuluo.com/hanbingtao/note/433855深度学习是啥在人工智能领域,有一个方法叫机器学习。在机器学习这个方法里,有一类算法叫神经网络。神经网络如下图所示:上图中每个圆圈都是一个神经元,每条线表示神经元之间的连接。我们可以看到,上面的神经元被分成了多层,层与层之间的神转载 2018-01-09 09:42:15 · 14241 阅读 · 3 评论 -
数据挖掘工程师知识集锦
全栈工程师开发手册 (作者:栾鹏) python开发大全、系列文章、精品教程数据挖掘的技术过程:数据清理(消除噪音或不一致数据)数据集成(多种数据源可以组合在一起) 数据选择(从数据库中提取与分析任务相关的数据)数据变换(数据变换或统一成适合挖掘的形式;如,通过汇总或聚集操作) 数据挖掘(基本步骤,使用智能方法提取数据模式)模式评估(根据某种兴趣度度量,识...原创 2017-12-26 20:25:02 · 14764 阅读 · 1 评论 -
零基础入门深度学习(5) - 循环神经网络
python深度学习大全原文地址:https://zybuluo.com/hanbingtao/note/541458往期回顾在前面的文章系列文章中,我们介绍了全连接神经网络和卷积神经网络,以及它们的训练和使用。他们都只能单独的取处理一个个的输入,前一个输入和后一个输入是完全没有关系的。但是,某些任务需要能够更好的处理序列的信息,即前面的输入和后面的输入是有关系的。比如,当转载 2018-01-09 09:50:05 · 5137 阅读 · 5 评论 -
零基础入门深度学习(6) - 长短时记忆网络(LSTM)
python深度学习大全原文地址:https://zybuluo.com/hanbingtao/note/581764往期回顾在上一篇文章中,我们介绍了循环神经网络以及它的训练算法。我们也介绍了循环神经网络很难训练的原因,这导致了它在实际应用中,很难处理长距离的依赖。在本文中,我们将介绍一种改进之后的循环神经网络:长短时记忆网络(Long Short Term Memory转载 2018-01-09 09:51:47 · 5923 阅读 · 2 评论 -
机器学习书籍推荐
机器学习(Machine Learning, ML)无疑是目前计算机领域最热门的方向了。机器学习专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、线性代数等多门学科。下面罗列了机器学习转载 2017-12-07 17:43:56 · 14829 阅读 · 1 评论 -
抓包工具Fiddler的使用说明
软件介绍Fiddler是一个C#实现的浏览器抓包和调试工具,fiddler启用后作为一个proxy存在于浏览器和服务器之间,从中监测浏览器与服务器之间的http/https级别的网络交互。目前可以支持各种主要浏览器如IE, Chrome, FireFox, Safari, Opera。Fiddler是最强大最好用的Web调试工具之一,已更新至4.4.9.9版。它能记录所有客户端和服务器的http和h原创 2017-11-08 18:44:06 · 11770 阅读 · 0 评论 -
linux-网络数据包抓取-tcpdump
用法格式:tcpdump [-i 网卡] [选项] ‘表达式’选项说明如下:-i:interface 监听的网卡。-nn:表示以ip和port的方式显示来源主机和目的主机,而不是用主机名和服务。-A:以ascii的方式显示数据包,抓取web数据时很有用。-X:数据包将会以16进制和ascii的方式显示。表达式:表达式有很多种,常见的有:host 主机;port 端口;src h...转载 2018-10-10 09:20:29 · 2196 阅读 · 0 评论 -
aiohttp/flask python后端单元测试,单元测试覆盖率测试
aiohttp web服务器单元测试官方代码:https://github.com/aio-libs/aiohttp/blob/master/tests/test_client_functional.py安装插件pip install pytest-aiohttp后端+测试 文件 server.pyimport pytestfrom aiohttp import webimport...原创 2019-10-22 13:45:23 · 1662 阅读 · 0 评论 -
python数据存储系列教程——python(pandas)读写csv文件
全栈工程师开发手册 (作者:栾鹏) python教程全解CSV文件的规范1、使用回车换行(两个字符)作为行分隔符,最后一行数据可以没有这两个字符。2、标题行是否需要,要双方显示约定3、每行记录的字段数要相同,使用逗号分隔。逗号是默认使用的值,双方可以约定别的。 4、任何字段的值都可以使用双引号括起来. 为简单期间,可以要求都使用双引号。5、字段值中如果原创 2017-10-26 21:32:43 · 25591 阅读 · 0 评论 -
python后台Flask 快速入门
在python web框架的世界里充满了选择。有Django,Flask,Pyramid,Tornado,Bottle,Diesel,Pecan,Falcon等等的来吸引开发者的注意。作为一个开发者,你想要从中选择一个框架来帮你完成项目,并且能继续做大事情。关于读者该选择哪个框架,这里不做选择,本文带大家入门flask框架...原创 2018-07-07 14:14:20 · 38802 阅读 · 2 评论 -
python之gunicorn的配置
python常见的web部署搭配nginx+gunicorn,下面记录一下gunicorn的配置使用。安装gunicornpip install gunicorngunicorn -h # 查看使用的命令gunicorn启动一个flask的应用程序# app.pyfrom flask import Flask def create_app(): app = F...转载 2019-06-18 10:55:34 · 4870 阅读 · 0 评论 -
python装饰器快速入门
学python过程中,常会看到一类用法,就是在函数前面加个@***,类似以下:@logdef convert(a): return str(a)很多的python库也有这个用法,比如Ray,比如pysnooper,都只需要引入这个python库,然后在需要进行并行加速或跟踪执行的函数前面加上@pysnooper.snoop之类的就可以。那么我们自然会想到三个问题:1. 这种用法学名是什么?2. 这种用法有什么好处?3. 我们平时自己可以怎么用?这种用法,在python中称为装饰器,d原创 2020-12-09 23:43:49 · 657 阅读 · 0 评论 -
python数据挖掘系列教程——PySpider框架应用全解
全栈工程师开发手册 (作者:栾鹏) python教程全解python数据挖掘系列教程——PySpider框架应用全解。PySpider介绍pyspider上手更简单,操作更加简便,因为它增加了 WEB 界面,写爬虫迅速,集成了phantomjs,可以用来抓取js渲染的页面。支持多线程爬取、JS动态解析,提供了可操作界面、出错重试、定时爬取等等的功能PySpider原创 2020-04-09 22:34:19 · 2092 阅读 · 0 评论 -
Python实现Kubernetes Operator
示例:为了使事情变得简单实用,让我们创建一个简单的operator:当出现一个新的namespace,或ConfigMap与Secret之一更改其状态时,复制ConfigMap。从实用的角度来看,我们的新operator可以用于批量更新应用程序的配置(通过更新ConfigMap)或重置Secret,例如用于Docker注册中心的键(当一个Secret添加到namespace时)。先定义CRD...原创 2019-10-12 15:43:04 · 1615 阅读 · 0 评论 -
python后台架构Django教程——路由映射urls
全栈工程师开发手册 (作者:栾鹏)本文衔接至python后台架构Django开发全解。有其他问题请先阅读:http://blog.csdn.net/luanpeng825485697/article/details/79228895前面的教程我们已经创建了名为hello的django项目,app1、app2两个应用,学习了view视图层、templates模板层。地址映射u...原创 2018-02-08 11:49:44 · 10592 阅读 · 1 评论 -
python后台——aiohttp入门
全栈工程师开发手册 (作者:栾鹏) 架构系列文章aiohttp是python中基于asyncio技术实现的。asyncio可参考https://luanpeng.blog.csdn.net/article/details/81461277注意: python的异步返回有时是通过异常expection向上冒泡的, 在异步函数中使用try catch有时无法捕获某些异常的, 异常会作...原创 2020-03-07 16:30:09 · 5064 阅读 · 1 评论 -
python应用系列教程——python操作office办公软件word
全栈工程师开发手册 (作者:栾鹏) python教程全解python操作office办公软件(doc)。前提条件是电脑已经安装了office办公软件,并且下载安装了pywin32-217.win32-py2.7库。安装python库的方法,可以参考 Python库的安装与卸载然后就可以使用python编程操作doc软件了#coding:utf-8from Tkinter import原创 2017-10-27 10:07:22 · 15013 阅读 · 0 评论 -
python机器学习库keras——CNN卷积神经网络人脸识别
全栈工程师开发手册 (作者:栾鹏) python教程全解github地址:https://github.com/626626cdllp/kears/tree/master/Face_Recognition图片来源图片中共40个人,每人10张图片,每张图片高57,宽47。共400张图片。读取图片的py文件import numpyimport pan...原创 2019-11-08 15:24:00 · 14962 阅读 · 7 评论 -
python后台架构Django开发全解
全栈工程师开发手册 (作者:栾鹏) python教程全解我的使用环境win8+python3.6+pycharm+django2.0博主使用的是anaconda佩戴的python3.6,所以python的位置在anaconda的安装目录下。安装完django后,在G:\anaconda\Scripts下存在管理工具django-admin.py、django-adm...原创 2018-02-04 22:12:02 · 16841 阅读 · 1 评论 -
python后台架构Django教程——日志系统
全栈工程师开发手册 (作者:栾鹏) python教程全解python日志的相关内容可以先参考:http://blog.csdn.net/luanpeng825485697/article/details/79470478django使用python内建的logging模块去建造自己的系统日志的,如果你想详细了解这个模块的话,请自己去看python的说明文档,这里仅仅介绍d...原创 2018-03-21 20:27:26 · 6771 阅读 · 0 评论 -
python机器学习库sklearn——Lasso回归(L1正则化)
全栈工程师开发手册 (作者:栾鹏) python数据挖掘系列教程The Lasso 是估计稀疏系数的线性模型。 它在一些情况下是有用的,因为它倾向于使用具有较少参数值的情况,有效地减少给定解决方案所依赖变量的数量。 因此,Lasso 及其变体是压缩感知领域的基础。 在一定条件下,它可以恢复一组非零权重的精确集。在数学公式表达上,它由一个带有ℓ1 \ell_1 先验的正则项的线性模型组成。原创 2018-04-06 09:00:56 · 65734 阅读 · 2 评论 -
python后台架构Django教程——templates模板
全栈工程师开发手册 (作者:栾鹏)本文衔接至python后台架构Django开发全解。有其他问题请先阅读:http://blog.csdn.net/luanpeng825485697/article/details/79228895前面的部分我们创建了一个名为hello的django项目,一个名为app1的应用,连接了mysql数据库,在app1中创建了User和Diary两个...原创 2018-02-08 09:18:37 · 7945 阅读 · 0 评论 -
python应用系列教程——python的GUI界面编程Tkinter全解
全栈工程师开发手册 (作者:栾鹏) python教程全解python的GUI界面编程,主要由Tkinter、Tix、tkMessageBox 几个库提供,当然有更新的更美观的库大家可以去搜索。在库中定义了一些基础控件对象,和组合控件对象。可以在创建控件时传递控件属性,也可以在创建了控件对象以后,再设置属性。窗口的GUI编程主要包含的知识点为窗口(顶层容器)、容器、组合控件、控件、控件属原创 2017-10-27 14:50:28 · 34097 阅读 · 0 评论 -
GraphQL | 一种配得上凡尔赛的API框架
当我们使用flask构建一个简单应用时,我们通常会像下面这样构建该应用:from flask import Flaskimport jsonapp = Flask(__name__)@app.route("/")def homepage(): return "Welcome!"@app.route("/get_response", methods=['GET'])def response(): return json.dumps({ "name":原创 2020-11-28 18:24:56 · 661 阅读 · 0 评论 -
python自定义包的发布与安装
python自定义包的发布与安装编写自定义包代码代码结构your_dir_namesrc__init__.pyyour_package_name__init__.pymodule1.pymodule2.pysetup.py其中setup.py内容如下# 编写完包源码后,python setup.py sdist生成pip压缩包# 解压压缩包,pyth...原创 2019-10-23 16:06:55 · 1877 阅读 · 0 评论 -
python后台架构Django教程——项目配置setting
全栈工程师开发手册 (作者:栾鹏)本文衔接至python后台架构Django开发全解。有其他问题请先阅读:http://blog.csdn.net/luanpeng825485697/article/details/79228895我们已经创建了一个名称为hello的django服务器项目。一个新建立的项目结构大概如下:hello/ manage.py hel原创 2018-02-04 19:32:18 · 6118 阅读 · 1 评论 -
python应用系列教程——python使用smtp协议发送邮件:html文本邮件、图片邮件、文件附件邮件
全栈工程师开发手册 (作者:栾鹏) python教程全解python使用smtp协议发送电子邮件。包含发送普通文本邮件、包含图片附件的邮件,包含其他文件附件的邮件。可设置邮件的收发人,主题,内容。并以163邮件为例,分别在python2.7和python3.6下进行试验。python2.7代码#coding:utf-8print('生成三种不同类型的电子邮件')from email.原创 2017-10-28 08:30:04 · 8569 阅读 · 0 评论 -
python基础系列教程——python基础语法全解
全栈工程师开发手册 (作者:陈玓玏)python教程全解了解python1. 了解PythonPython是一种解释型(这意味着开发过程中没有了编译这个环节)、面向对象(支持面向对象的风格或代码封装在对象的编程技术)、动态数据类型的交互式(可在命令行中通过Python提示符及直接代码执行程序)高级程序设计语言。2. Python标识符标识符由字母、数原创 2017-10-29 20:21:16 · 63363 阅读 · 13 评论