python
文章平均质量分 82
数据科学家corten
python 爬虫工程师,数据挖掘工程师,数据分析工程师,机器学习研究员,自然语言处理工程师,量化研究分析员,人工智障调参工程师
展开
-
python 内置函数或函数(争取日更)
Python rjust()方法描述Python rjust() 返回一个原字符串右对齐,并使用空格填充至长度 width 的新字符串。如果指定的长度小于字符串的长度则返回原字符串。语法rjust()方法语法:str.rjust(width[, fillchar])参数width -- 指定填充指定字符后中字符串的总长度.fillchar -- 填充的字符,默认为空格。返回值返回一个原字符串右对齐......原创 2022-08-18 17:15:03 · 154 阅读 · 0 评论 -
python 杂(一)
Python 字典(Dictionary) items()方法描述Python 字典(Dictionary) items() 函数以列表返回可遍历的(键, 值) 元组数组。语法items()方法语法:dict.items()参数NA。返回值返回可遍历的(键, 值) 元组数组。实例以下实例展示了 items()函数的使用方法:实例(Python 2.0+)#!/usr/bin/python# cod......原创 2022-08-18 17:14:34 · 132 阅读 · 0 评论 -
redis 学习1
"++++++++++++++++++++++++++++++阻塞IO/非阻塞IO; 同步IO/异步IO +++++++++++++++++++++++++++++++++++++++++ "一。IO请求的两个阶段:1.等待资源阶段:IO请求一般需要请求特殊的资源(如磁盘、RAM、文件),当资源被上一个使用者使用没有被释放时,IO请求就会被阻塞,直到能够使用这个资源。2.使用资源阶段:真正进行数据......原创 2022-08-18 15:52:43 · 145 阅读 · 0 评论 -
python基础第五天 (多线程 多进程)
内容提要paramiko模块进程、与线程区别python GIL全局解释器锁多线程语法join线程锁之Lock\Rlock\信号量将线程变为守护进程Event事件 queue队列生产者消费者模型多进程语法join进程Queue进程Pipe进程Manager进程同步进程池 1.paramiko模块 安装:若已安装pip则原创 2018-01-15 13:36:23 · 348 阅读 · 0 评论 -
python-djongo 第一节
创建虚拟环境创建:mkvirtualenv [虚拟环境名称]删除:rmvirtualenv [虚拟环境名称]进入:workon [虚拟环境名称]退出:deactivate所有的虚拟环境,都位于/home/.virtualenvs目录下进入虚拟环境前的提示:进入虚拟环境后的提示:查看当前的所有虚拟环境:workon [两次tab键]查看虚拟环境中已经安装的包p原创 2018-01-23 11:31:07 · 1685 阅读 · 0 评论 -
python模块(APScheduler定时任务)
APScheduler简介在平常的工作中几乎有一半的功能模块都需要定时任务来推动,例如项目中有一个定时统计程序,定时爬出网站的URL程序,定时检测钓鱼网站的程序等等,都涉及到了关于定时任务的问题,第一时间想到的是利用time模块的time.sleep()方法使程序休眠来达到定时任务的目的,虽然这样也可以,但是总觉得不是那么的专业,^_^所以就找到了python的定时任务模块APSchedu原创 2018-01-30 17:35:23 · 8099 阅读 · 1 评论 -
python-django 第二节
ORM简介MVC框架中包括一个重要的部分,就是ORM,它实现了数据模型与数据库的解耦,即数据模型的设计不需要依赖于特定的数据库,通过简单的配置就可以轻松更换数据库ORM是“对象-关系-映射”的简称,主要任务是:根据对象的类型生成表结构将对象、列表的操作,转换为sql语句将sql查询到的结果转换为对象、列表这极大的减轻了开发人员的工作量,不需要面对因数据库变更而导致的无效劳动Dj原创 2018-01-30 10:53:21 · 318 阅读 · 0 评论 -
python模块(使用xlrd、xlwt操作excel表格详解)
这篇文章主要介绍了python中使用xlrd、xlwt操作excel表格详解,python操作excel主要用到xlrd和xlwt这两个库,即xlrd是读excel,xlwt是写excel的库,需要的朋友可以参考下最近遇到一个情景,就是定期生成并发送服务器使用情况报表,按照不同维度统计,涉及python对excel的操作,上网搜罗了一番,大多大同小异,而且不太能满足原创 2018-01-30 11:07:29 · 564 阅读 · 0 评论 -
python模块(shutil文件复制,移动)
python 标准库 -- shutilshutilshutil.move(src,dst)shutil.move('/tmp/20170223/new','/tmp/20170223/test') # 移动文件, 重命名等shutil.copytree(src, dst, symlinks=False, ignore=None)shutil.c原创 2018-01-30 14:52:09 · 28496 阅读 · 0 评论 -
python基础(面对对象编程进阶)
本节内容:面向对象高级语法部分经典类vs新式类 静态方法、类方法、属性方法类的特殊方法反射异常处理Socket开发基础作业:开发一个支持多用户在线的FTP程序 面向对象高级语法部分经典类vs新式类把下面代码用python2 和python3都执行一下123456789101112131415161718192021222324#_*_coding:utf-8_*_ class A: d...原创 2018-03-20 16:29:06 · 505 阅读 · 0 评论 -
python基础(操作MySQL数据库)
本节内容 数据库介绍mysql 数据库安装使用mysql管理mysql 数据类型常用mysql命令创建数据库外键增删改查表权限事务 索引python 操作mysql ORM sqlachemy学习1. 数据库介绍什么是数据库?数据库(Database)是按照数据结构来组织、存储和管理数据的仓库,每个数据库都有一个或多个不同的API用于创建,访原创 2018-03-28 14:35:25 · 417 阅读 · 0 评论 -
信用卡评分模型
基于python的信用卡评分模型基于python的信用卡评分模型1.项目背景介绍1.1 信用风险和评分卡模型的基本概念 信用风险指的是交易对手未能履行约定合同中的义务造成经济损失的风险,即受信人不能履行还本付息的责任而使授信人的预期收益与实际收益发生偏离的可能性,它是金融风险的主要类型。 借贷场景中的评分卡是一种以分数的形式来衡量风险几率的一种手段,也是...原创 2019-05-21 14:32:46 · 1939 阅读 · 0 评论 -
机器学习与评分卡
机器学习简介什么是机器学习如果一个系统能够通过执行某个过程改变它的性能,这就是学习(什么是学习) 不用编程去指定机器做什么,而是让机器有能力自己学习 首先定义任务T,经验E,表现P,如果机器有一个任务T,随着经验E的增多,表现P也会变好,则表示机器正在经验E中学习三要素模型(机器学习的成果,条件概率分布或决策函数) 策略(计算模型的方式) 算法生活中的机器学习应用垃圾邮...原创 2019-05-21 14:36:07 · 1433 阅读 · 0 评论 -
评分卡模型
公式woe=ln(odds),beita为回归系数,altha为截距,n为变量个数,offset为偏移量(视风险偏好而定),比例因子factor。总评分。或去掉负号。Logistic Regression with Weight of Evidence比例因子和偏移量为:令好坏比为50,对应的评分为600;在些基础上评分值增加20分,e.g.600 = l...原创 2019-05-21 14:41:57 · 1226 阅读 · 0 评论 -
python argparse用法总结
1. argparse介绍是python的一个命令行解析包,非常适合编写可读性非常好的程序2. 基本用法prog.py是我在linux下测试argparse的文件,放在/tmp目录下,其内容如下:#!/usr/bin/env python# encoding: utf-8import argparseparser = argparse.ArgumentParser()parse原创 2018-01-12 10:30:56 · 330 阅读 · 0 评论 -
Python furl模块的学习
from furl import furl12.f = furl('http://www.baidu.com/?bid=12331')1打印参数In [21]: print f.args {'bid': '12331'}12增加参数In [22]: f.args['haha']='123'In [23]: print f.args{'bid': '123原创 2017-11-22 17:25:24 · 1326 阅读 · 0 评论 -
python-scrapy 实现对豆瓣电影的爬取
#coding=utf-8'''PyTools:PyCharm 2017.1Python :Python3.5Author :colby_chenCreDate:2017-04-13'''from scrapy.spiders import CrawlSpiderfrom scrapy.http import Requestfrom scrapy.selecto原创 2017-08-28 11:10:48 · 460 阅读 · 0 评论 -
最全Python正则匹配
正则表达式在应用中使用的数量不是特别多,可是一旦使用时就要各种百度了.下面汇总了一些常用的正在表达式.第1种类: 校验数字的表达式 1 数字:^[0-9]*$ 2 n位的数字:^\d{n}$ 3 至少n位的数字:^\d{n,}$ 4 m-n位的数字:^\d{m,n}$ 5 零和非零开头的数字:^(0|[1-9][0-9]*)$ 6 非零开头的最多带两位小数的数字:^([1-9原创 2017-08-28 11:32:14 · 3958 阅读 · 0 评论 -
python 与mysql
管理MySQL的命令以下列出了使用Mysql数据库过程中常用的命令:select*form user\G;查看详情,\G行列 规则显示USE 数据库名 :选择要操作的Mysql数据库,使用该命令后所有Mysql命令都只针对该数据库。SHOW DATABASES: 列出 MySQL 数据库管理系统的数据库列表。SHOW TABLES: #显示指定数据原创 2017-09-25 13:54:59 · 243 阅读 · 0 评论 -
python基础 第一天 (列表操作、字典操作,集合操作,文件操作)
1、 列表的操作(1)切片>>> names = ["Alex","Tenglan","Eric","Rain","Tom","Amy"]>>> names[1:4] #取下标1至下标4之间的数字,包括1,不包括4['Tenglan', 'Eric', 'Rain']>>> names[1:-1] #取下标1至-1的值,不包括-1['Tenglan', 'Eric', 'Rain原创 2017-09-04 14:43:25 · 719 阅读 · 0 评论 -
python基础 第二天(函数)
函数默认参数看下面代码12345678910def stu_register(name,age,country,course): print("----注册学生信息------") print("姓名:",name) pr原创 2017-09-26 10:00:41 · 227 阅读 · 0 评论 -
python 第三天(生成器 迭代器 装饰器 序列化)
一 生成器 生成器通过列表生成式,我们可以直接创建一个列表。但是,受到内存限制,列表容量肯定是有限的。而且,创建一个包含100万个元素的列表,不仅占用很大的存储空间,如果我们仅仅需要访问前面几个元素,那后面绝大多数元素占用的空间都白白浪费了。所以,如果列表元素可以按照某种算法推算出来,那我们是否可以在循环的过程中不断推算出后续的元素呢?这样就不必创建完整的list,原创 2017-10-09 11:28:28 · 362 阅读 · 0 评论 -
python 基础第四天(模块 序列化)
模块,用一砣代码实现了某个功能的代码集合。 类似于函数式编程和面向过程编程,函数式编程则完成一个功能,其他代码用来调用即可,提供了代码的重用性和代码间的耦合。而对于一个复杂的功能来,可能需要多个函数才能完成(函数又可以在不同的.py文件中),n个 .py 文件组成的代码集合就称为模块。如:os 是系统相关的模块;file是文件操作相关的模块模块分为三种:自定义模块内原创 2017-10-09 11:59:21 · 185 阅读 · 0 评论 -
python常见面试题
1 ==与is 的区别Python中的对象包含三要素:id、type、value。其中id用来唯一标识一个对象,type标识对象的类型,value是对象的值。is判断的是a对象是否就是b对象,是通过id来判断的。==判断的是a对象的值是否和b对象的值相等,是通过value来判断的。看下面的例子:2 range 与 xrange的区别ran原创 2017-09-22 12:13:27 · 1011 阅读 · 0 评论 -
python 爬虫知识点 (http 基础)
1 dns 可以把网址解析成ip地址;2 robots.txt 爬虫权限:规定爬虫可以爬取的内容,但是并不是懂遵守的,大型搜索引擎公司都是遵守的3 HTTP和HTTPSHTTP协议(HyperText Transfer Protocol,超文本传输协议):是一种发布和接收 HTML页面的方法。HTTPS(Hypertext Transfer Pr原创 2017-10-11 09:38:27 · 519 阅读 · 0 评论 -
爬虫知识点(xpath)
什么是XPath?XPath (XML Path Language) 是一门在 XML 文档中查找信息的语言,可用来在 XML 文档中对元素和属性进行遍历。W3School官方文档:http://www.w3school.com.cn/xpath/index.aspXPath 开发工具开源的XPath表达式编辑工具:XMLQuire(XML格式文件可用)Chrome插件原创 2017-10-12 10:50:40 · 219 阅读 · 0 评论 -
爬虫知识点(模拟登陆与json)
from bs4 import BeautifulSoupimport requestsimport timedef captcha(captcha_data): with open("captcha.jpg", "wb") as f: f.write(captcha_data) text = raw_input("请输入验证码:") # 返回用户输原创 2017-10-17 14:45:48 · 892 阅读 · 0 评论 -
python 面向对象编程
1 好了,明白 了类的基本定义,接下来我们一起分解一下上面的代码分别 是什么意思 1234567class Role(object): #定义一个类, class是定义类的语法,Role是类名,(object)是新原创 2017-11-14 11:18:26 · 246 阅读 · 0 评论 -
机器学习与贝叶斯分类器
stick-learn朴素贝叶斯的三个常用模型:高斯、多项式、伯努利朴素贝叶斯是一个很不错的分类器,在使用朴素贝叶斯分类器划分邮件有关于朴素贝叶斯的简单介绍。若一个样本有n个特征,分别用x1,x2,...,xn表示,将其划分到类yk的可能性P(yk|x1,x2,...,xn)为:P(yk|x1,x2,...,xn)=P(yk)∏ni=1P(xi|yk)上式中等号右侧的各个值可以原创 2017-11-30 12:32:14 · 463 阅读 · 0 评论 -
python scapy 命令
scrapy入门教程3:scrapy的shell命令python scrapy MrZONT 2015年08月29日发布赞 | 1收藏 | 236.6k 次浏览0. 基本环境说明本文截图及运行环境均在Win8上实现(是的,我放假回家了,家里的机器是win8的没有办法原创 2017-09-05 13:46:20 · 1032 阅读 · 0 评论