- 博客(68)
- 收藏
- 关注
RSS订阅原创 时间序列的创建，差分，转换为timestamp ，从表格提取固定时间数据，以及ARIMA模型的构建和预测
选取ARIMA模型p,d,q参数，将表格中时间列转换为时间序列数据，创建ARIMA模型进行差分预测
2022-11-14 11:04:59
1268
1
原创 标准化，归一化，二值化，One-Hot，卡方检验选取重要特征，主成分分析，缺失值和异常值处理
python特征处理和选择 缺失值异常值重复值处理，卡方检验，归一化标准，二值化，One-Hot编码等处理
2022-10-17 18:12:28
3067
7
原创 concat，merge表格的拼接，concatenate数组的拼接以及数组添加列和行
concat，merge,concatenate,数组等操作
2022-09-28 11:35:41
1570
原创 最小二乘法，梯度下降法，sklearn中API来实现线性回归
导入模块import numpy as npimport pandas as pdfrom matplotlib import pyplot as plt1.导入训练集数据x = np.array([0.86, 0.96, 1.12, 1.35, 1.55, 1.63, 1.71, 1.78])y = np.array([12, 15, 20, 35, 48, 51, 59, 66])def fit(x,y): if len(x) != len(y): retu.
2022-01-24 19:39:30
1366
原创 seaborn绘图
导入模块import numpy as npimport pandas as pdfrom matplotlib import pyplot as pltimport seaborn as sns1.关系型绘图1.先读取文件"""total_bill:总金额tip：小费sex: 性别smoker:是否允许吸烟day: 周几time: 午餐 晚餐size: 几个"""tips = pd.read_csv('tips.csv')tips.head()1.relp.
2022-01-19 22:08:13
4209
原创 机器学习之特征的抽取，特征预处理，以及特征的选择，归一化标准化主成分分析来进行特征处理
1.特征抽取1.字典数据的抽取首先导入APIfrom sklearn.feature_extraction import DictVectorizerdef dictvec(): """ 字典数据抽取 :return: """ # 实例化 dict1 = DictVectorizer() # 调用fit_transform data = dict1.fit_transform( [{'city': '北京', 't
2022-01-16 16:46:49
842
原创 pandas中groupby分组
import numpy as npimport pandas as pd导入模块df1 = pd.DataFrame({'fruit':['apple','banana','orange','apple','banana'], 'color':['red','yellow','yellow','cyan','cyan'], 'price':[8.5,6.8,5.6,7.8,6.4]})df11.求苹果的平
2022-01-13 20:27:03
493
原创 csv ，TXT ，Excel 以及数据库的保存和读取
导入pandas numpy 模块import numpy as npimport pandas as pd1.csv文件的读取和保存1.csv文件的读取chunksize=None 可以选择读取多少条df = pd.read_csv('上课数据/ex1.csv',engine='python') df2.让列索引变为第一行（header=None）engine=‘python’ 指定解释器sep=’,’ 指定分隔符df = pd.read_csv('上课数据/e.
2022-01-13 14:32:10
1277
原创 mysql数据库的查询操作
1.查询多列select device_id,gender,age,university from user_profile2.查询一列结果去重加关键词 DISTINCTSELECT DISTINCT university from user_profile 3.查询结果限制返回行数使用limit语句解析： select device_id from user_profile limit 0,2 limit可接受1或者2个参数。接受1个参数时默认主键列/筛选列行数开始计数；接
2022-01-12 18:48:59
736
原创 fiddler的安装和switchyomega的下载
fiddler和switchyomega的安装包链接：https://pan.baidu.com/s/1uvxyJwBINuqLGB4zUo2_kg提取码：08121.switchyomega.zip打不开的话后缀改成.rar解压到一个文件夹中2.然后放到扩展程序里面3.点击选项，然后配置完成...
2022-01-10 14:45:54
7905
原创 u2 和 adb对手机app的安装卸载操作
1.首先安装u2模块pip install uiautomator2 2.导入模块import uiautomator2 as u23.通过adb安装手机appadb install 包名 # 安装手机appadb shell pm list packages # 展示所有包名adb uninstall 包名 # 卸载手机appadb client adb server1.u2连接手机方式1.wifi的连接 u2.connect_wifi('172..
2022-01-08 20:42:58
1043
原创 matplotlib的基本绘图
1.饼图plt.rcParams['font.sans-serif'] = ['SimHei'] # 指定默认字体# 设置绘画的主题风格# plt.style.use('ggplot')plt.figure(figsize=(10,5))# 构造数据edu = [0.2515,0.3724,0.3336,0.0368,0.0057]labels = ['中专','大专','本科','硕士','其他']explode = [0,0.1,0,0,0] # 用于突出大专colors=['#F
2022-01-02 20:48:37
951
原创 并行多图，顺序多图，选项卡地图，时间线轮播图的动态图片的绘制
1.并行多图from pyecharts import options as optsfrom pyecharts.charts import Bar, Geo, Gridfrom pyecharts.faker import Fakerbar = ( Bar(init_opts=opts.InitOpts(width="200px",height="300px")) .add_xaxis(Faker.choose()) .add_yaxis("商家A", Faker.v
2021-12-30 23:51:58
1692
原创 pandas 一行代码获取数据
import pandas as pda = pd.read_html('https://s.askci.com/data/industry/a020905/')a
2021-12-30 23:51:27
670
原创 pyecharts的方法导入以及地图的制作
1.导入这个库是1.9.0以上版本from pyecharts.charts import Bar2.不是这个版本的要以这种方法导入from pyecharts import Barbar = Bar()bar.add_xaxis(['羽绒服','裤子','帽子','袜子','毛裤','衬衫'])bar.add_yaxis("商家A",[5,20,36,10,75,90])# 渲染 生成本地html文件 默认在当前目录生成render.html# 路径参数 bar.render('
2021-12-26 17:56:20
3627
原创 重复数据和缺失值的处理 , 离散化和面元划分,在表格中取出一列字符串，提取我们所需要的数据
1.重复数据的处理1.检测是否是重复数据（每一行中的饿每一列的数据都相同）data.duplicated()如果在后面加 keep=‘last’ 这个参数的话，保留后面的一条数据，如：data.duplicated(keep=‘last’)如果在后面加 inplace=True 这个参数的话，则在原数据上删除，如：data.drop_duplicates(inplace=True)2.检测有多少个重复数据data.duplicated().sum()3.检测某一
2021-12-23 21:37:37
684
原创 pandas数据结构下的Series以及DataFrame数据的增删改查以及创建
pandas的数据结构的介绍1.Series 对象的创建Series是一种一维的数组型对象，它包含了一个值序列(values)，并且包含了数据标签，称为索引(index)pd.Series(data=None,index=None,dtype=None,name=None,copy=False)● data：创建数组的数据，可为array-like, dict, or scalar value● index：指定索引● dtype：数组数据类型● name：数组名称● copy：是否拷贝
2021-12-14 16:57:11
4024
原创 大O时间复杂度分析
1.大O复杂度表示法算法的执行效率，粗略的讲就是算法的执行时间。所有代码的执行时间T(n)与每行代码的执行次数n成正比即：T(n)=O(f(n))import numpy as npimport timestart = time.time()for a in range(1000): for b in range(1000): for c in range(1000): if a + b + c == 1000 and np.square(a
2021-11-14 21:30:03
837
原创 简单的理解K近邻算法的实现
K近邻算法介绍近朱者赤，近墨者黑如果一个样本在特征空间中的k个最相似（即特征空间中最邻近）的样本中的大多数属于某一类别，则该样本也属于该类别总结knn工作流程计算待分类物体与其他物体之间的距离统计距离最近的k个邻居对于k个邻居，他们属于哪种分类多，待分类物体就属于哪一类1.手动实现KNN算法五个步骤1.读取数据2.数据的基本处理3.特征工程4.数据可视化训练数据 特征:打斗和亲吻次数 类别：电影类型预测数据5.算法实现在算法运用的过程中我们可以使用欧式距离来进行运
2021-10-18 20:58:14
420
1
原创 numpy数组拼接
1.数组的拼接1.行的拼接vstack方法import numpy as npa1 = np.random.randint(1,100,size = (3,4))a2 = np.random.randint(1,100,size = (1,4))a1array([[26, 8, 77, 22], [40, 84, 89, 88], [46, 14, 66, 40]])a2array([[ 4, 88, 85, 55]])将俩个行不相同列相同的数组进行
2021-10-11 13:43:59
340
原创 numpy的函数应用，生成随机数
1.生成[0,1)的随机数import randomrandom.random()# 生成一个随机的大于等于0小于1的数0.9974875675350712.生成随机的二维数组import randomnp.random.random((3,4))# 生成随机的三行四列的二维数组array([[0.22346273, 0.31560513, 0.12086595, 0.7976233 ], [0.48278617, 0.44617591, 0.67508186, 0.809
2021-10-10 14:22:47
1532
原创 numpy的数组多维度转化及其创建
1.numpy数组里面只有一种数据类型，如果既有整型又有字符串，那么都会变成字符串,如果既有整型又有浮点型，都会变成浮点型1.numpy运行速度之所以快是由c语言编写的，数据类型需要我们命名所以运算速度快1.浮点型创建数组import numpy as npa = np.array([1,2,3,1.5])a2.整型创建数组a = np.array([1,2,3])a3.字符串创建数组a = np.array(‘123’)a4.从头创建数组a
2021-09-24 12:59:27
2175
原创 redis基本命令
可以按tab键输入前几个字母自动补充后面的1.redis string类型1.创建一个简单的名字set name tomkeys *2.获取名字内容get name3.创建多个标签名mset age 30 home yanan4.获取多个标签内容mget age name5.追加内容append 1236.查看字符串长度strlen name7.删除内容del name8.几秒后过时（3s）expire
2021-06-19 18:34:22
209
原创 win环境下安装redis数据库
1.在win环境下安装redis非关系型数据库1.链接：添加链接描述提取码：1213点击以上链接，然后，解压文件到固定的盘符中，比如，这里我解压到了D盘2. 然后，我们点开这个解压好的文件夹，在最上面输入cmd，之后回车，就会在该路径下用cmd命令中打开3.之后我们输入redis-server来连接服务4.我们再次利用上面的方式在该路径下打开一个cmd输入redis-cli来连接客户端，我们可以输入key * 来进行验证是否成功安装如果和我的一样即是成功安装...
2021-06-19 17:29:37
128
原创 判断给定的数组中是否可以找到三个数字的组合满足求和等于o，并返回所有不重复的组合。
def fan(nums): list1 = [] length = len(nums) nums.sort() for i in range(length): if nums[i] > 0: break if i > 0 and nums[i] == nums[i - 1]: continue left = i + 1 right = length.
2021-06-02 18:55:34
364
原创 写代码需要注意的问题
写代码遇到的问题处理1.driver = webdriver.Chrome()写在类里面会出错,箭头指向的是错误的要删除驱动不写在类里面，由于python的垃圾回收机制，当这个类销毁的时候，我们的驱动就随着类的销毁而销毁，我们把驱动写到全局2.隐式等待from selenium import webdriverdriver = webdriver.Chrome()driver.get(‘url’)driver.implicitly_wait(10)或者 使用import tim
2021-05-23 21:16:13
194
原创 select 下拉框标签，用selenium处理
1.我们来以https://www.17sucai.com/pins/demo-show?id=5926这个网站进行练习下拉框iframe 是html标签，作用是文档中的文档如果有iframe标签，我们就需要切换到这个标签1.我们需要导入一个模块from selenium.webdriver.support.ui import Select2.其次它有个iframe标签，所以我们现需要转换driver.switch_to_frame(driver.find_element_by_id('
2021-05-15 21:14:12
346
1
原创 selenium点击浏览器的简单方法
1.导入selenium模块，也可以导入第二行模块，通过其他方式来定位from selenium import webdriverfrom selenium.webdriver.common.by import By2.我们来以百度为例来打开并且输入点击https://www.baidu.com/driver = webdriver.Chrome()driver.get('https://www.baidu.com/')通过上面俩行代码，我们就可以来打开浏览器下面我们来定位输入框，
2021-05-15 20:42:22
531
原创 AttributeError: ‘NoneType‘ object has no attribute ‘click‘ 错误
1.AttributeError: ‘NoneType’ object has no attribute ‘click’ 错误以上错误显示“NoneType”对象没有“click”属性意味着我们定位的标签不能来点击2.Message: no such window: target window already closed from unknown error: web view not founddriver.find_element_by_id('wrapper').send_keys('
2021-05-15 20:40:05
9507
4
原创 selenium安装和下载
1.首先我们需要下载selenium的文件http://chromedriver.storage.googleapis.com/index.html我们首先点击上面的网页链接，然后在下载个谷歌浏览器，打开之后点击关于Google Chrome即可查看我们当前的版本，只要前面的；基本一致就可以下载例如，我下载的就是 89.0.4389.23版本，然后，我们解压在桌面上，然后，把他拖动到我们所用的python环境下，我用的是pycharm，然后，我的在f盘中找到文件夹路径，把解压的文件放进去
2021-05-15 19:49:15
5419
3
原创 bs4中select方法的学习
从以下文本中查找html_doc = """<html><head><title>The Dormouse's story</title></head><body><p class="title"><b>The Dormouse's story</b></p><p class="story">Once upon a time there were three l.
2021-05-11 22:38:32
3305
原创 bs4中的方法详解
1.bs4的简单应用在以下的html文件中来提取我们所需要的数据html_doc = """<html><head><title>The Dormouse's story</title></head><body><p class="title"><b>The Dormouse's story</b></p><p class="story">Once upon
2021-05-08 22:29:05
2050
原创 ValueError: dict contains fields not in fieldnames: ‘link‘ csv写入时错误
ValueError: dict contains fields not in fieldnames: ‘link’import requestsimport jsonimport csvurl = 'https://silkroad.csdn.net/api/v2/assemble/list/channel/pc_hot_word?channel_name=pc_hot_word&size=10&user_name=weixin_46700209&platform=pc&a
2021-05-07 13:41:25
4133
原创 xpath的简介及其安装教程
1.xpath是什么？xpath就是一种可以根据地址找人的技术 确定的路径xpath是在xml下查找的技术，如果我们需要查找html文件的内容，就需要lxml库来进行转化xpath(XML Path Language) 可以在树状结构中寻找结点 可以通过元素和属性进行导2.xpath有什么作用？解析网页 提取数据我们对不同的网页采取不同的方法，也可能会用到正则来提取都是解析网页的方法2.html，xml，lxml的区别html 超文本标记语言xml 可扩展标记语言lx
2021-05-05 15:33:08
2196
原创 csv模块的使用
1.csv模块是python的内置模块，跨多种形式导入导出数据，excel进行打开格式可以是.csv .json .html .txt2.写入csv文件1.通过创建writer对象用到了writerow是写入一行，用writerows是写入多行的import csvheaders = ('name','age','sex')persons = [ ('张三',16,'男'), ('李四',15,'男'), ('王麻子',13,'女')]with o
2021-04-29 17:22:43
509
原创 TypeError: POST data should be bytes, an iterable of bytes, or a file object.制作有道翻译小翻译软件的问题解决方法
TypeError: POST data should be bytes, an iterable of bytes, or a file object. It cannot be of type str.的错误urllib发送post请求必须是字节不能是字符串import urllib.requestimport urllib.parseimport jsonwhile True: key=input('你需要翻译的数据：') data={ 'i':key,
2021-04-22 20:59:45
507
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人