python
Rankiy
这个作者很懒,什么都没留下…
展开
-
python实现线性回归梯度下降算法
梯度下降模型伪代码:读取数据(查看数据分布)拆分正负数据集实现逻辑回归算法建立分类器设定阈值,根据阈值完成数据结果优化及比较梯度下降处理原则首先优化数据,如归一化处理等然后优化模型,如更换算法模型,调整参数等比较三种梯度下降方法1、迭代次数,限定梯度下降计算次数2、计算损失值,比较损失值,与目标函数变化很小3、梯度变化,判断梯度很小时三种梯度下降法1、批量梯度下降法...原创 2019-12-03 16:19:42 · 838 阅读 · 0 评论 -
python matplotlib封装包seaborn
seaborn5种主题风格darkgrid #灰背景,网格图,无边线whitegrid #白背景,网格图,无边线dark #灰背景图,无边线white #白色标准图,有边线ticks #white+轴外标线,有边线sns.set_style(‘whitegrid’) #网格图data=np.random.normal(size=(20,6))+np.arange(6)/2s...原创 2019-11-07 17:29:57 · 629 阅读 · 1 评论 -
pandas DataFrame.pivot_table分类汇总
pivot_table(self, values=None, index=None, columns=None, aggfunc=‘mean’, fill_value=None, margins=False, dropna=True, margins_name=‘All’)import pandas as pd#创建数据集df = pd.DataFrame({"A": ["foo", "fo...原创 2019-11-07 10:39:59 · 2866 阅读 · 0 评论 -
python pandas DataFrame.apply调用自定义函数
DataFrame.apply调用自定义函数DataFrame.apply(self, func, axis=0, broadcast=None, raw=False, reduce=None, result_type=None, args=(), **kwds)按指定行/列传输到函数,调用函数进行数据处理,并返回按行/列计算值统计列为空值的数量#创建函数计算列空值 def not_nu...原创 2019-11-06 17:18:15 · 11034 阅读 · 2 评论 -
python sklearn.svm.SVC支持向量机实例
分类import numpy as npimport matplotlib.pyplot as pltfrom sklearn import svm,datasetsdef make_meshgrid(x,y,h=.02): x_min,x_max=x.min()-1,x.max()+1 y_min,y_max=y.min()-1,y.max()+1 xx,yy=...原创 2019-10-22 14:19:03 · 1347 阅读 · 0 评论 -
python3_网页爬取_框架
学习实例淘宝页面爬取#程序的结构设计步骤1:提交商品搜索请求,循环获取页面步骤2:对于每个页面,提取商品名称和价格信息步骤3:将信息国人出到屏幕上步骤4:将数据存入数据库#实例import requestsimport refrom sqlalchemy import create_enginedef gethtmltext(url): try: r=...原创 2019-08-14 09:36:20 · 93 阅读 · 0 评论 -
关联规则Apriori算法实例
Apriori算法关联规则计算结果Apriori算法关联规则以下数据使用关联规则计算import pandas as pd#import Apriorifrom apriori import *inputfile ='../menu_orders.xls'outputfile = 'tmp/apriori_rules.xls'data = pd.read_excel(input...原创 2019-10-18 11:03:47 · 7176 阅读 · 4 评论 -
房价数据爬取及分析
房价数据爬取及分析1、爬取URL2、URL爬取房屋信息3、数据处理4、相关分析5、主成分分析上传代码只为记录,有待提升1、爬取URL爬取所有URL1、获取区域连接2、区域连接获各道路连接3、道路连接如果大于5页,就获取价位的信息获取的所有URL存入数据中等级编号 类别 url1 市 URL1-1 区 URL 11-1-1 路 URL 21-1-1-1 价格 URL 3im...原创 2019-10-17 17:24:15 · 4066 阅读 · 0 评论 -
python pandas数据批导入数据库,使用sqlalchemy
数据直接存入数据库数据转换为DataFarme直接存入数据库,存入方式:替换、追加(不存在直接创建表)from sqlalchemy import create_engineimport pandas as pddef save_mysql(data,table_url='hours_url_6'): conn = create_engine('mysql+pymysql://...原创 2019-09-12 10:49:23 · 765 阅读 · 0 评论 -
python 新浪的邮件的发送与接收
邮件的收发以新浪邮箱为例,使用SMTP发送一个邮件,使用POP3协议读取邮件列表,下载第一个邮件from smtplib import SMTPfrom poplib import POP3from time import sleepprint('***************SMPT发送邮件和POP3收邮件************')SMTPSVR='smtp.sina.com...原创 2019-09-12 10:18:03 · 1246 阅读 · 1 评论 -
Pandas输出省略问题
pandas 输出显示设置**pandas.set_option(pat, value) **= <pandas._config.config.CallableDynamicDoc object>Available options:display.[max_categories, max_columns, max_colwidth, max_info_columns, max_i...原创 2019-09-10 11:59:40 · 1427 阅读 · 0 评论 -
python安居客数据爬取
获取安居客房价数据从主页面获取连接每个获取到的URL获取明细数据数据库入数据库获取数据框架def gethtml(url): #获取网页信息 pass def html_url_data(html,list_url): #处理一级页,获取网页URL passdef html_room_data(html,list_room_data): #处理二级...原创 2019-08-30 14:25:34 · 1814 阅读 · 0 评论 -
python requests获取浏览器表头
获取浏览器的表头使用fiddler使用fiddler打开官网,官网下载地址是[https://www.telerik.com/download/fiddler]参考文档[https://blog.csdn.net/ychgyyn/article/details/82154433]...原创 2019-08-28 15:35:06 · 648 阅读 · 0 评论 -
python 数据库的连接与封装
数据库连接方法mysql连接方法import pymysqlconn=pymysql.connect(host='localhost',user='root',passwd='123', charset='utf8',database='gethtml')cursor=conn.cursor()sql=' select * from stock_...原创 2019-08-26 12:12:24 · 986 阅读 · 0 评论 -
python sklearn KNN 卷积神经网络-手写字识别实例
手写字识别KNN实例利用sklearn来训练一个K近邻(k-Nearset Neighbor,KNN)分类器,用于识别数据集DBRHD的手写数字比较KNN的识别效果与多层感知机的识别效果DBRHD数据集的每个图片是一个由0或1组成的32*32的文本矩阵;KNN的输入为图片矩阵展开的一个1024维的向量KNN手写识别实体构建步骤1:建立工程并导入sklearn包步骤2:加载训练数据...原创 2019-08-23 17:17:42 · 2498 阅读 · 0 评论 -
python sklearn K-Mearns---实例——消费水平
sklearn.cluster.KMeansK-mearns取类算法k-mearns算法以k为参数,把n个对象分成k个簇,使簇内具有较高的相似度,而簇间的相似度较低1、随机选择k个点作为初始的聚类中心2、对于剩下的点,根据其与聚类中心的距离,将其归入最近的簇3、对每个簇,计算所有点的均值作为新的取类中心4、重复2、3直到取类中心不再发生改变拓展计算两条数据相似性时,sklearn....原创 2019-08-20 14:33:36 · 2716 阅读 · 0 评论 -
python sklearn DBSCAN 实例 上网时间聚类
python sklearn DBSCANDBSCAN密度聚类DBSCAN算法是一种基于密度的聚类算法1、聚类的时候不需要预先指定簇的个数2、最终的簇的个数不定DBSCAN数据点分为三类:核心点:在半径Eps内含有超过MinPts数目的点办界点:在半径Eps内点的数量小于MinPts,但是落在核心点的邻域内噪音点:既不是核心点也不是办界点的点DBSCAN算法流程:1、将所有点标...原创 2019-08-21 08:46:24 · 1454 阅读 · 0 评论 -
python sklearn PCA 实例-主成分分析
python sklearn decomposition PCA 主成分分析主成分分析(PCA)1、主成分分析(Principal Component Analysis,PCA)是最常用的一种降维方法,通常用于高维数据集的探索与可视化,还可以用作数据压缩和预处理2、PCA可以把具有相关性的高维变量合成为线性无关的低维变量,称为主成分。主成分能够尽可能保留原始数据的信息3、概念方差:用...原创 2019-08-21 11:17:22 · 10540 阅读 · 2 评论 -
python3_股票信息爬取
股票信息爬取交易信息爬取程序结构设计步骤1:从东方财富网获得股票代码 http://quote.eastmoney.com/stock_list.html步骤2:根据股票代码列表,从百度股票网获取股票信息 http://gupiao.baidu.com/stock/步骤3:股票信息存入数据库技术路线:requests–>Beautiful|re–>mysql结...原创 2019-08-16 12:16:00 · 1258 阅读 · 2 评论 -
python sklearn NMF人脸识别
非负矩阵分解(NMF,Non-negative Matrix Factorization)非负矩阵分解是在矩阵中所有元素均为非负数约束条件之下的矩阵分解方法基本思想:给定一个非负矩阵V,NMF能够找到一个百负矩阵W和一个非负矩阵H,使得矩阵W和H的乘积近似等于矩阵V中的值V=W*HW矩阵:基础图像矩阵,相当于从原矩阵V中抽取出来的特征V矩阵:系数矩阵NMF能够广泛应用于图像分析、文本挖掘...原创 2019-08-21 15:36:56 · 2039 阅读 · 0 评论 -
python PIL.Image 图像处理
图像处理图像的RGB色彩模式图像一般使用RGB色彩模式,即每个像素点的颜色由RGB组成(红、绿、蓝)RGB三个颜色通道的变化和叠加得到各种颜色(256^3=1.68e+7),其中R红色,取值范围 0-255G绿色,取值范围 0-255B蓝色,取值范围 0-255RGB形成的颜色包括了人类视力所能感知的所有颜色PIL库PIL,python image libraryPIP库是一个...原创 2019-08-17 12:17:10 · 1240 阅读 · 0 评论 -
python sklearn linear 线性回归-实例
LinearRegression 线性回归线性回归线性回归是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系的一种统计方法线性回归利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归线性回归:使如y=(w.T*x+b)的线性模...原创 2019-08-22 15:30:39 · 1875 阅读 · 0 评论 -
python sklearn MLP多层感知器 手写字识别
python MLP多层感知器手写识别手写识别是常见的图像识别任务,计算机通过 手写体图片来识别出图片中的字,与印刷字体不同的是,不同人的手写体风格迥异大小不一,造成了计算机对手写识别任务的一些困难数字手写体识别由于其有限的类别(0-9共10个数字)成为了相对简单的手写识别任务,DBRHD和MNIST是常用的两个数字手写识别数据集MNIST数据集MNIST的下载连接:http://y...原创 2019-08-23 15:24:26 · 4074 阅读 · 1 评论 -
python sklearn Rideg岭回归--交通流量预测实例
岭回归岭回归为线性回归的优化对于一般线性回归问题参数的求解采用的是最小二乘法,其目标函数:argmin||Xw-y||^2参数w的求解,也可以使用如下矩阵方法进行:w=(X.TX)^(-1)X.Ty对于矩阵X,若某些列线性相关性较大(即训练样本中某些属性线性相关),就会导致X.TX的值接近0,在计算(X.T*X)^(-1)时就会出现不稳定性结论:传统的基于最小二乘的线笥回归缺乏稳定性...原创 2019-08-23 11:37:46 · 6273 阅读 · 6 评论 -
python3_scock爬取
python3 coding:utf-8功能描述修选数据网站:程序的结构设计功能描述目标:获取上交所和深交所所有股票的名称的交易信息输出:保存到数据库中技术路线:requests-bs4-re修选数据网站:新浪股票:http://finance.sina.com.cn/stock/百度股票:http://gupiao.baidu.com/stock/选取原则:股票信息静态存在于HT...原创 2019-08-14 11:44:07 · 221 阅读 · 0 评论