- 博客(28)
- 收藏
- 关注
RSS订阅原创 数据库（mysql）的锁--InnoDB的锁
一.锁的粒度锁的粒度是指锁锁锁住的数据库结构，分为表锁和行锁。1.表锁表锁，锁住的结构是数据表，由于mysql数据库管理的表锁数量远远小于行锁数量，因此所需的系统开发量较小，但是并发量也较少，当在一些高并发操作中，如果一直是表锁这种力度，那么等待的时间将会很长，在alter table这类一句中使用的是表锁，锁住整个表，直到该语句执行完成为止。2. 行锁行锁，锁住的结构是数据表的某行，由于mysql数据库管理的行有许多，因此所需的系统开销较大，但是能支持高并发操作。InnoDB储存引擎使用的是行锁
2021-03-13 10:09:48
168
原创 Jupyter Notebook基本使用
一.Jupyter Notebook的优缺点Jupyter Notebook提供了一个环境，用户可以在里面写代码、运行代码、查看结果，并在其中可视化数据。鉴于这些优点，Jupyter Notebook成了数据科学家眼里的一款人见人爱的工具，它能帮助他们便捷地执行各种端到端任务，如数据清洗、统计建模、构建/训练机器学习模型等。对于初学者，Jupyter Notebook也独具魅力。它的一个特色是允许把代码写入独立的cell中，然后单独执行。这样做意味着用户可以在测试项目时单独测试特定代码块，无需从头开
2021-02-09 11:44:26
2679
2
原创 数据清洗---excel异常值处理(scipy)
一.导入模块import pandas as pdfrom scipy.interpolate import interp1d二.读取excel文件data=pd.read_excel(r'E:\pythonwork\数据分析\11.数据清洗\人事终表 (1).xlsx').tail(10)print(data)''' Unnamed: 0 部门 姓名 应发数 发放时间 绩效 合计工资108 108 讲解员（6人） 张
2021-01-06 21:03:57
4200
1
原创 聚合函数处理excel数据------(一)
import numpy as npimport pandas as pd一.transform 聚合函数在pandas 或者numpy 中没有现成的函数可以使用,可以通过transformdata=pd.read_excel(r’地址’)写法一:data2=data[‘counts’].transform(lambda x:x*2)写法二:def transforml(value):values=value*2return valuesdata2=data[‘counts’].tra
2021-01-04 23:13:09
1980
13
原创 matplotlib绘图-----全
一.导入模块import numpy as npimport matplotlib.pyplot as pltfrom matplotlib.gridspec import GridSpec二.画布参数# 1.修改字体plt.rcParams['font.sans-serif']='SimHei'# 2.修改符号显示plt.rcParams['axes.unicode_minus']=False# 3.修正背景颜色plt.rcParams['axes.facecolor']='#0D0
2021-01-01 22:24:31
269
2
原创 pandas数据处理-----(一)
pandas1.表格数据操作:[增删改查]2.实现多个表格的处理3.数据清洗操作: 缺失值,重复值,异常值,数据标准化,数据转化的操作4.实现excel的特殊操作,生成透视表,交叉分析5.完成统计分析一.构建dataframe# 创建方法一import pandas as pddf=pd.DataFrame(data=[['ss',20,'男','0831'],['lx',18,'女','0831'],['lx',18,'女','0831']], index=
2020-12-31 00:11:44
638
原创 matplotlib 散点图的绘制-----(二)
导入模块import matplotlib.pyplot as pltimport numpy as np一.绘制多条散点图1.创建画布plt.figure(figsize=(8,6),facecolor=‘black’)2.添加坐标点x=np.arange(0,2*np.pi,0.1)y1=np.sin(x)y2=np.cos(x)3.绘制第一条线和第二条线plt.scatter(x,y1,c=‘pink’,s=50)plt.scatter(x,y2,c=y2,cmap=‘rain
2020-12-27 23:02:13
357
9
原创 matplotlib 散点图的绘制-----(一)
matplotlib 绘图导入模块import matplotlib.pyplot as pltimport numpy as np一.画布参数1.修改字体plt.rcParams['font.sans-serif']='SimHei'2.修改符号显示plt.rcParams['axes.unicode_minus']=False3.修正背景颜色plt.rcParams['axes.facecolor']='#0D0434'# plt.rcParams['axes.facecol
2020-12-27 20:32:40
367
原创 数组的函数及运算-----(二)
一.文件操作a.二进制文件操作 b.文本文件.npy/.npz文件:二进制文件,必须通过numpy来操作# 二进制文件的生成与读取arr3=np.random.random(20).reshape((10,2))np.save("arr.npy",arr3) #后缀名可以省略# 读取二进制文件np.load("arr.npy") # 完整的名字+后缀名'''array([[ 0.71585413, 0.7233967 ], [ 0.42144233, 0.
2020-12-25 20:40:45
177
原创 数组的函数及运算------(一)
一.特殊函数创建数组1.等差数列import numpy as nparr1=np.linspace(2,10,5)print(arr1) #[ 2. 4. 6. 8. 10.]"""np.linspace(start=a1, stop=an, num=50, endpoint=True, retstep=False, dtype=None, axis=0)参数说明： endpoint=True: 表示等差数列， 在start与stop之间插入 n-2 个值；（n
2020-12-23 23:56:46
463
原创 矩阵/数组的创建-----(二)数据分析
1.numpy矩阵numpy: 计算模块主要有两种数据类型 ----数组 矩阵特点: 运算快# 1.numpy创建矩阵import numpy as npmat1=np.mat("1 2 3;2 3 4;1 2 3")mat2=np.mat("1 2 3 ;3 4 5 ;4 5 6")mat3=np.mat("1 2 ; 3 4 ;2 4")mat4=np.mat("1 3 ;4 3")mat5=np.mat("1;2;3")mat6=np.mat("1 2 3")print(m
2020-12-23 22:57:27
157
2
原创 矩阵的运算----(一)
矩阵高阶行列式(>=3阶行列式)------它是一个方阵性质:1.行列式与它转置行列式相等2.对换行列式的两行或者两列,行列式变号3.行列式中如果存在两行或者两列完全相同或者成比例,则此行列式为04.行列式某一行或者某一列同乘一个数k,等于此行列式乘以k5.若行列式的某一行的元素是两个数的和,可以分开为两个行列式6.把行列式的某一行/列的各元素乘以同一个数然后加到另一行/列的对应元素上,行列式不变余子式 Mij代数余子式 Aij=(-1)^(i+j) * Mij...
2020-12-22 17:00:36
1137
原创 Scrapy 基础框架创建项目------初步
一.ScrapyScrapy是用纯python实现的一个为了爬取网站数据,提取结构性数据而编写的应用框架,用途非常广泛.1.Scrapy架构图scrapy engine(引擎)-----负责 spider ,schedualer , downloader , itempipeline中间的通讯,信号,数据传递等scheduler(调度器) -----它负责接收引擎发送过来的requests请求,并按照一定的方式进行整理排列,入列,当引擎需要时,交还给引擎.downloader(下载器)
2020-12-03 21:11:59
113
原创 Ajax数据获取(想出一个问题难,还是解出这个题难?)
一.爬虫与反爬虫1.2.3.二.Ajax数据获取1.2.3.三.Selenium数据获取1.2.3.四.案例1.2.3.
2020-11-29 21:59:03
182
原创 HTTP请求数据/爬虫
1.爬虫的定义网络爬虫是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本.简单地说:就是用事先写好的程序去抓取网上所需的数据,这样的程序就叫网络爬虫.编写网络爬虫的程序员叫做爬虫工程师.通用爬虫和聚焦爬虫2.数据从何而来1)企业生产的用户数据:百度指数:http://index.baidu.com/阿里指数:http://alizs.taobao.com/2)数据平台购买数据:数据堂：https://www.datatang.com/国云数据市场：http://www.moojnn
2020-11-28 13:29:56
747
原创 为什么要学爬虫---王者荣耀皮肤图片的爬取
一. 爬虫是什么?网络爬虫是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本.简单的说:就是用事先写好的程序去抓取网络上所需的数据.编写网络爬虫的程序员叫做爬虫工程师..二. 爬虫的四个主要步骤:1.明确目标找到需要获取的网页url2.爬将所有网页上的内容都爬下来3.取去掉对我们没用处的数据,筛选出我们需要的数据4.处理数据按照我们的方式储存和使用这些数据.三. 爬虫的案例( 王者荣耀皮肤图片的抓取 )# 导入模块import requests# 定义请求头h
2020-11-27 22:58:43
510
原创 selenium数据获取---webdriver(网页截图等操作)
一.下载selenium模块pip install selenium==2.48.0步骤:# 1.导入webdriverfrom selenium import webdriverfrom selenium.webdriver.common.keys import Keys# 2.调用浏览器driver=webdriver.PhantomJS(executable_path=r'E:\python课件\系统班\爬虫\11.25\phantomjs-2.1.1-windows\bin\ph
2020-11-25 21:38:05
928
7
原创 Requests模拟登陆与代理设置
一.登录页面信息爬取1.cookie和session的定义cookie是网站用来辨别用户身份,进行会话跟踪,储存在本地终端上的数据.他会在下一次请求的时候再一次携带并发送到浏览器上.session(回话)主要用来在服务器端存储特定用户对象回话所需的信息.2.cookie和session产生的原因HTTP 是无状态协议,每个请求都是完全独立的,服务器无法确认当前访问者的身份,服务器和浏览器为了进行会话的跟踪,必须主动去维护一个状态(告诉服务器前后两个请求是否来自同一个浏览器).这个状态需要通过coo
2020-11-22 11:44:49
1205
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人