mysql 笔记

use job; alter table company_data change companyLabelList companyLabelList varchar(255), change companyShortName companyShortName varchar(255), c...

2018-09-25 01:04:15

阅读数 64

评论数 0

mmmy

show processlist;  show status;    alter table star.user_info change iidenx idenx int primary key;  alter table star.order_info change iidenx idenx2 ...

2018-09-25 01:03:24

阅读数 65

评论数 0

MYSQL 笔记【回购数】

1、group by语句 select userid,date_format(paytime,'%Y-%m-%d') from dash.order_info where userid is not null group by userid,date_format(paytime,'%Y-%m...

2018-09-23 23:14:15

阅读数 115

评论数 0

python的元类与类继承的区别

类的继承,主要涉及   类之间关系。 元类metaclass,某种意思上可以理解为类的父类;类是元类的实例。 第一:type函数创建类 在python中,类也是对象。既然是类是对象,必然有个存在生成它。那么什么东西创建了类? 答案是type。 怎么去理解? eg:str,这个可以创建字...

2018-09-04 17:40:48

阅读数 691

评论数 0

python的类的继承

----------------------------------------------------------------------------------------------------------------------------------------------- 面向对象...

2018-09-04 15:04:17

阅读数 139

评论数 0

【数据可视化】matplotlib、seaborn、pycharts

数据分析第一件事就是数据审查。 内容包括,特征变量的含义、类型、分布、缺失值、异常值等,方便下一步的数据预处理和特征的构造。 数据可视化在这个阶段,很方便展示。 第一:数据的特征 选取的数据是,电商相关数据。 第二:查看类型、统计变量 raw_data.describe() ra...

2018-09-02 15:38:22

阅读数 592

评论数 0

【warning】本地计算机上的MySQL服务启动后停止。某些服务在未由其他服务或程序使用时将自动

背景:写入数据库,报错           LookupError: unknown encoding: utf8mb4 第一:修改my.ini,新加语句            default-character-set=utf8        第二:这个作死操作后           ...

2018-08-25 23:54:17

阅读数 122

评论数 0

【warning】 pandas 写入MySQL错误

背景:pandas 利用sqlalchemy 存入数据到mysql            数据,有中文字符; //////////////////////////////////////////////////////针对linux///////////////////////////////...

2018-08-25 23:26:45

阅读数 353

评论数 0

【Warning】pandas sqlalchemy报错

第一:报错内容 报错代码:sqlalchemy Warning: (1366, "Incorrect string value: '\\xD6\\xD0\\xB9\\xFA\\xB1\\xEA 第二:怎么出现? 在保存dataframe格式至mysql时,出现报错。 但是...

2018-08-20 15:24:44

阅读数 463

评论数 0

【数据库】利用python的pandas库读取csv文件保存至mysql

第一:pandas.read_csv读取本地csv文件为数据框形式 data=pd.read_csv('G:\data_operation\python_book\chapter5\\sales.csv') 第二:如果存在日期格式数据,利用pandas.to_datatime()改变类型 ...

2018-08-19 16:44:19

阅读数 843

评论数 0

训练模型的持久化保存

第一:算法对象 复杂的模型训练训练耗时太长,避免重复劳动,有必要保存下来 第二:pickle 这个包主要的功能:序列化对象为字符串,反序列化 第三:dump方法和load方法 import pickle #保存至本地 pickle.dump(model_kmeans,file=open...

2018-08-07 22:47:12

阅读数 351

评论数 0

【线性回归】线性代数角度解释最小二乘法

第一:背景  问题:广告和销量之间的关系?  数据集:特征包含三块:电视广告xt,网络广告xm,楼宇广告xf,因变量销量记作y。                      数据集样本数为m。 第二:拟合线性回归模型           y’ = β0  +  β1 * xt  +  β...

2018-08-05 18:21:31

阅读数 835

评论数 0

【模拟登陆】github模拟登陆,打印信息流

目的:动态获取cookie 第一:分析登陆过程 1、打开开发者工具,查看各自请求 2、可以看到name为session的请求【方式post,传入的data】 3、查看name为login的请求,源码中获得token,作为上一个请求中的data的一部分   第二:登陆以后,解析页...

2018-07-31 17:43:31

阅读数 198

评论数 0

【爬虫】利用selenium爬取淘宝并保存到mongodb数据库

背景:淘宝的Ajax加密处理,不方便直接解析Ajax请求数据,所以利用selenium库实现模拟爬取 架构: 第一:主要的思路 第二:定义mongodb是类,实现数据存储 主要注意的是,mongodb用户名和密码的问题。 第三:爬取产品搜索结果页面 第四:解析具体的pr...

2018-07-31 15:48:21

阅读数 464

评论数 0

【数据库】mongodb 安装/账号管理/python连接

第一:安装 1、新建文件夹       data文件夹下新建db文件夹       log文件夹下新建mongodb.log【非强求】       bin同级目录新建mongodb.config文件 2、运行mongodb服务 mongod.exe dbpath H:/mongo/...

2018-07-31 14:54:05

阅读数 112

评论数 0

【爬虫】python爬取微信公众号文章

背景:利用代理池爬取微信公众号文章并保存 架构: 巨坑:实例的名不可于类的名重复。 第一:请求及请求队列 1、为什么要创建weixinrequest()?       因为Sogou微信搜索反爬虫能力强,response.status_code容易出现302,也就是需要输入验证码...

2018-07-21 15:27:07

阅读数 1691

评论数 1

【正则表达式】python 中的re模块及正斜杠/ 反斜杠

第一:转义字符: 改变原有字符的意义,一般都以反斜杠\作为起始。 \n   意思是换行,不再表示字母n。   第二:python中,反斜杠\本身就是个转义字符。 1、\\,第一个反斜杠表示转义,意思是第二反斜杠不再视为一个转义字符。 print('\\') 打印输出单独一个\。 ...

2018-07-19 23:32:20

阅读数 2049

评论数 0

日常笔记【不定时更新】

1、python if else 简写 data = [] if data is None else data 如果data为None,那么就设置为空列表,否则就是data。   2、继承父类super  class weixinrequest(Request): def _...

2018-07-19 22:55:52

阅读数 147

评论数 0

【学习笔记】python爬虫---代理池

背景:崔庆才的爬虫学习笔记 整体架构:   获取模块【各大网址爬取代理】----->存储模块【redis有序集合存储】<==========>检测模块                                   ...

2018-07-19 22:48:04

阅读数 3544

评论数 4

【统计学习3】线性回归:R方(R-squared)及调整R方(Adjusted R-Square)

第一:R方(R-squared)定义:衡量模型拟合度的一个量,是一个比例形式,被解释方差/总方差。公式:R-squared = SSR/TSS                            =1 -  RSS/TSS其中:TSS是执行回归分析前,响应变量固有的方差。          RS...

2018-07-12 16:54:27

阅读数 26129

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭