学习笔记
文章平均质量分 79
酱汁儿999
孜 不可乎骤得 !
展开
-
python selenium 超时加载url 的解决办法
遇到的问题是:selenium 设置页面超时之后,捕获异常也无法继续get(url) 打开新的url页面。Chrome Options类可用的和最常用的参数列表:start-maximized:最大化模式打开headless:无头模式(后台运行)disable-extensions:扩展Chrome浏览器上现有的扩展disable-popup-blocking:放入弹窗make-default-browser:设置Chrome为替代浏览器disable-infobars:防.原创 2020-07-15 04:06:56 · 2018 阅读 · 0 评论 -
xlrd、xlwt 模块读写excel,封装为功能函数,实现二维列表数据与表格数据随意转换
1、导入xlrd,封装读excel的函数,将表格数据读取为二维列表元素。import xlrddef read_excel( files, sheet, row): """ 该函数用于读取excel文件,按行保存为二维列表。 :param files: 工作簿名 :param sheet: 工作表名 :param row: 从第几行开始读取数据,0表示第1行,1表示第2行 :return: 返回读取的二维列表 """原创 2020-05-15 18:45:59 · 595 阅读 · 0 评论 -
matplotlib数据可视化之绘制散点图、折线图、直方图、柱状图、饼图、箱线图
1.绘制散点图:scatter。2.绘制折线图:plot 。3.绘制直方图:hist。4.绘制柱状图:bar。5.绘制饼图:pie。6.绘制箱线图:boxplot原创 2019-07-24 19:47:51 · 4220 阅读 · 1 评论 -
matplotlib 数据可视化基础(以折线图为例)
matplotlib 数据可视化基础(以折线图为例)原创 2019-07-24 15:04:36 · 1894 阅读 · 1 评论 -
scrapy_redis主机setting配置、从机setting配置、redis.conf配置中更改参数
scrapy_redis配置原创 2019-07-17 11:27:03 · 330 阅读 · 0 评论 -
tesseract-ocr安装使用步骤
tesseract-ocr安装使用步骤原创 2019-07-17 10:17:11 · 691 阅读 · 0 评论 -
Numpy数组排序、数组去重和重复、数组的统计分析
1.数组排序:(sort、argsort、lexsort)。2.数组去重和重复:(unique、tile、repeat)3.数组的统计分析:(sum、 max、 min、 mean 、std、 var 、argmax 、argmin、 cumsum 、cumprod)原创 2019-07-23 21:43:28 · 2921 阅读 · 0 评论 -
Numpy矩阵运算与矩阵属性、数组通用函数、数组的广播机制、数组的存储与读取
1.矩阵运算与矩阵属性:(mat、matmul、dot、multiply、.T转置矩阵、.H共轭转置矩阵、.I逆矩阵、.A视图)2.数组的通用函数:(数组的加+减- 乘* 除/ 冥运算**,比较运算、逻辑运算)3.数组的广播机制:4.数组的存储与读取:(save、savez、load、savetxt、loadtxt、genfromtxt(推荐使用))原创 2019-07-23 21:05:39 · 361 阅读 · 0 评论 -
2019 Python 面试 必备!100 问
2019 Python 面试 必备!python基础!爬虫基础!转载 2019-07-16 20:24:33 · 816 阅读 · 2 评论 -
python爬虫时直接覆盖原来的配置-------setting.py、middlewares.py
python爬虫时直接覆盖原来的配置-------setting.py、middlewares.py原创 2019-07-16 15:20:52 · 447 阅读 · 0 评论 -
Pandas数据处理_分组聚合_透视表交叉表
Pandas数据处理_分组聚合_透视表交叉表原创 2019-07-29 20:33:20 · 3398 阅读 · 0 评论 -
python机器学习_监督学习算法之KNN分类算法
KNN的英文全称叫K-Nearest Neighbor,中文名称为K最近邻算法,它是由Cover和Hart在1968年提出来的。相似性的度量:相似性一般用空间内两个点的距离来度量。距离越大,表示两个越不相似。KNN算法原理:1. 计算已知类别数据集中的点与当前点之间的距离; 2. 按照距离递增次序排序; 3. 选择与当前距离最小的k个点; 4. 确定前k个点所在类别...原创 2019-08-02 20:51:50 · 1249 阅读 · 0 评论 -
豆瓣源、清华源下载python包
#豆瓣源下载python包pip install xxxx -i http://pypi.douban.com/simple --trusted-host pypi.douban.com#清华源下载python包pip install xxxx -i https://pypi.tuna.tsinghua.edu.cn/simple...原创 2019-09-09 17:51:38 · 1403 阅读 · 0 评论 -
异常值处理、3sigma准则
import pandas as pd# 正态分布# 3sigma准则 ---> # mean() - 3* std() ---下限# mean() + 3* std() ---上限# 自实现3sigma 原则def three_sigma(ser): """ 自实现3sigma 原则 :param ser: 数据 :return...原创 2019-09-02 18:35:34 · 19098 阅读 · 3 评论 -
分类聚合、透视表、交叉表、堆叠拼接、标准化与特征相关性
1、分类聚合2、透视表3、交叉表、堆叠、拼接4、标准化与特征相关性原创 2019-09-02 18:00:49 · 324 阅读 · 0 评论 -
缺失值处理:删除法、填充法、拟合插值法
import pandas as pdimport numpy as np# 加载数据data = pd.read_excel("./qs.xlsx")print("data:\n",data)# 检测 是否存在缺失值?---bool_df ---经常与sum连用# print(pd.isnull(data))# print(pd.notnull(data))# ...原创 2019-09-02 17:49:13 · 3117 阅读 · 0 评论 -
pandas数据预处理_合并_清洗_标准化数据_转换数据
目录1. 堆叠合并数据1.1 横向表堆叠(axis=1,concat做行对齐)1.2 纵向堆叠(axis=0,concat做列对齐)1.3 主键合并数据2.清洗数据2.1 检测与处理重复值3 、标准化数据3.1离差标准化公式:3.2标准差标准化数据:3.3小数定标标准化公式及对比:4.转换数据4.1 哑变量处理类别数据5.任务6.相关代码参考...原创 2019-07-31 16:49:01 · 3424 阅读 · 1 评论 -
Numpy创建数组、数组索引、数组拼接与数组拆分、矩阵生成
1.Numpy----创建数组对象、生成各种数组的相关实例(array、arange、linspace、logspace、ones 、zeros 、eye 、diag、random.random 、random.rand、random.randn、random.randint、random_integers)、重新设置数组的 shape 属性及数组中的数据类型、相关实例(shape、reshape、ravel 、flatten)2.Numpy----数组索引、数组拼接与数组拆分、矩阵生成。原创 2019-07-22 20:52:50 · 1034 阅读 · 0 评论 -
python机器学习_K-Means聚类算法
目录1.机器学习分类2. k-means算法3.相关代码参考1.机器学习分类监督学习:监督学习是从标记的训练数据来推断一个功能的机器学习任务。在监督学习中,每个实例都是由一个输入对象(通常为矢量)和一个期望的输出值(也称为监督信号)组成。监督学习算法是分析该训练数据,并产生一个推断的功能,其可以用于映射出新的实例。无监督学习:无监督学习就是按照他们的性质把他们自动地分成很多...原创 2019-07-31 10:01:41 · 1140 阅读 · 2 评论 -
Pandas统计分析基础_数据处理(DataFrame常用操作)
Pandas统计分析基础:1.文本文件读取与存储。2.Excel文件读取与储存。3.DataFrame常用操作。4.描述分析DataFrame数据原创 2019-07-25 22:03:59 · 9538 阅读 · 1 评论 -
MongoDB数据库基本操作、常用命令、示例
MongoDB数据库基本用法原创 2019-07-18 12:41:15 · 285 阅读 · 0 评论 -
python爬虫cookie登录、ip代理、互斥锁、死锁
python爬虫----cookie登录设置、ip代理设置、互斥锁、死锁原创 2019-07-11 19:01:35 · 426 阅读 · 0 评论 -
centos下uwsgi的安装使用
centos下uwsgi的安装使用,本uwsgi方法根据实际项目配置使用原创 2019-06-13 20:51:40 · 7248 阅读 · 0 评论 -
Centos 配置python3环境
介绍Centos 中配置python3环境........原创 2019-06-12 18:58:06 · 1741 阅读 · 0 评论 -
python迭代器、生成器、装饰器原理及示例
介绍python迭代器、生成器、装饰器原创 2019-04-09 19:42:48 · 558 阅读 · 0 评论 -
python递归函数原理及实现
介绍递归函数原创 2019-04-08 20:46:09 · 407 阅读 · 0 评论 -
python里的深拷贝与浅拷贝
理解python里的深拷贝与浅拷贝...........原创 2019-04-08 20:29:25 · 97 阅读 · 0 评论 -
python 中locals() 和 globals()
理解python 中locals() 和 globals()..............原创 2019-04-08 20:01:59 · 1202 阅读 · 0 评论 -
nginx+uwsgi的安装使用
nginx+uwsgi的安装配置与使用原创 2019-06-13 21:05:38 · 244 阅读 · 0 评论 -
NoSQL 简介,MongoDB 数据库特点、配置、基本命令
NoSQL简介,MongoDB数据库简介、配置及命令使用原创 2019-07-15 21:11:04 · 289 阅读 · 0 评论 -
爬虫基础之HTTP请求与响应
介绍HTTP和HTTPS基础以及爬虫参数。原创 2019-07-04 20:51:45 · 533 阅读 · 0 评论 -
基于scrapy-----selenium-----PhantomJS爬虫腾讯招聘
实例介绍基于scrapy与selenium与PhantomJS爬虫腾讯招聘的步骤。原创 2019-07-04 19:52:20 · 341 阅读 · 1 评论 -
python爬虫动态HTML处理(Selenium + PhantomJS 快速入门)
HTML介绍、Selenium 简介 、PhantomJS 简介、示例演示:百度 (Selenium + PhantomJS 快速入门)...........Selenium相关操作.........原创 2019-07-09 19:48:50 · 1901 阅读 · 0 评论 -
python爬虫之Requests 模块------get请求与post请求
通过爬取百度产品、爬取新浪新闻、批量爬取百度贴吧、爬取有道词典等实例学习requests库中的get请求和post请求。原创 2019-07-08 20:19:29 · 1952 阅读 · 1 评论 -
python多线程爬虫实现(多线程爬腾讯招聘)
介绍单线程多线程,实例演示python多线程爬虫腾讯招聘。原创 2019-07-02 20:54:45 · 748 阅读 · 0 评论 -
Navicat Premium 12注册机破解方法
详细步骤演示Navicat Premium 12注册机破解方法,资源已存于百度云盘。原创 2019-07-01 21:59:16 · 25108 阅读 · 7 评论 -
python爬虫之XPATH(爬取糗事百科、扇贝单词、网易云)
介绍XML基础与规则,实例演示python爬虫(爬取糗事百科、爬取扇贝单词、爬取网易云歌手)原创 2019-07-01 21:29:42 · 768 阅读 · 0 评论 -
python爬虫re模块及正则匹配示例
python爬虫中的正则表达式re模块,以及匹配规则和实例演示。原创 2019-07-01 20:55:00 · 425 阅读 · 0 评论 -
MySQL主从备份+读写分离
MySQL主从备份、读写分离的相关命令与配置原创 2019-06-17 18:56:25 · 310 阅读 · 0 评论 -
Django相关使用
diango阶段相关知识,如什么是MVC、MVT..............原创 2019-06-20 21:37:14 · 215 阅读 · 0 评论