wutanghua的博客

原创 在MySQL中，你可以使用动态SQL和存储过程来根据元数据表查询多个表，并将结果集合并。以下是一个具体的示例，展示如何实现这一目标：假设你有一个元数据表table，它有一个字段table_name，其...

DELIMITER $$CREATE PROCEDURE MergeDataFromTables()BEGIN -- 游标声明 DECLARE done INT DEFAULT FALSE; DECLARE tbl_name VARCHAR(255); DECLARE cur CURSOR FOR SELECT 表明 FROM table_col; ...

原创 pandas 将空值替换为0

df3.fillna(0, inplace=True)

原创 panas 行转列

print(df2)test_data = pd.pivot(data=df2 # 待转换df , index=['main_customer_code1','product_code1'] # df交叉后行 , columns='data_date1' # df交叉后的列 ...

原创 python新发地每日菜价提取

import requestsimport csvimport timeclass price_spider(object): def __init__(self): self.headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) App...

原创 Excel求商品最近三次购买价格

商品名称 日期 价格商品A 2022/1/3 150商品A 2022/1/4 200商品A 2022/1/1 100商品B 2022/1/2 180商品B 2022/1/1 1201. 首先，你需要有一个包含商品名称、采购日期和采购价格的表格。例如，A列是商品名称，B列是采购日期，C列是采购价格。2. 然后，在D列中，我们将使用一个数组公式来找到每个商品最近的采购价格。在D2单...

原创 python中openpyxl模块操作excel

import pandas as pdfrom openpyxl.utils import get_column_letter, column_index_from_stringimport openpyxlwb = openpyxl.load_workbook('cases.xlsx')sh = wb['Sheet1']for i in range(2,100000): c...

原创 批量插入数据库

importpandasaspdfromsqlalchemyimportcreate_enginepath="C:\\Users\\Administrator\\Desktop\指标\\"data=pd.DataFrame()flile=os.listdir(path)list_len=len(flile)foriinrange(list_len):d...

原创 MYSQL窗口函数用法

1,顿号 插入数据insert into order_table VALUES(1,001,100,'2018-01-01 00:00:00');insert into order_table VALUES(2,001,300,'2018-01-02 00:00:00');insert into order_table VALUES(3,001,500,'2018-01-02 00:00...

原创 MySQL根据逗号将一行数据拆成多行数据

原始数据处理结果展示DDLCREATE TABLE `company` (`id` int(20) DEFAULT NULL,`name` varchar(100) DEFAULT NULL,`shareholder` varchar(100) DEFAULT NULL) ENGINE=InnoDB DEFAULT CHARSET=utf8;DMLINSERT I...

原创 pyhon实现excel的转置

变换成如下格式import pandas as pdfrom win32com.client import Dispatchimport openpyxlimport xlsxwriterworkbook=xlsxwriter.Workbook('you.xlsx')worksheet=workbook.add_worksheet()data = pd.read_excel(...

原创 python批量加入数据库

#!/usr/bin/env python3# -*- coding:utf-8 -*-#import pymysql# 原始数据的数据连接db1 = pymysql.connect('127.0.0.1', 'root', '1234', 'test')cursor1 = db1.cursor()# 定义查询语句len1 = cursor1.execute('select ...

原创 jieba词频统计

from wordcloud import WordCloudimport matplotlib.pyplot as pltimport numpy as npfrom PIL import Imagefrom jieba import *def Replace(text,old,new): #替换列表的字符串 for char in old: te...

原创 python 求顾客相邻两次购买周期

import smtplibimport pymysqlimport pymysqlimport pandas as pdfrom email.mime.text import MIMETextfrom email.utils import formataddrdef data_out_msql(DB, msql): conn = pymysql.connect...

原创 mysql求取最后两次价格上涨趋势

SELECT DISTINCT pp.物料编码, pp.物料名称, IFNULL(pp.规格型号, '') AS 规格型号 , pp.物料类型, pp.单位, max1.日期 AS 最新日期, max1.单价 AS 最新价, max2.日期 AS 上一次日期 , max2.单价 AS 上一次价 , (max...

原创 mysql求每一个顾客购买商品的相邻时间间隔

t_punch_cadeselect a.*,(@i := @i + 1) as ord_num from t_punch_cade a,(select @i := 1) d order by user_id,punch_timeselect a.*,(@j := @j + 1) as ord_num from t_punch_cade a,(select @j := 0)...

原创 利用Python从一个数据库中查询结果插入到另一个数据库中

import pymysqlimport pandas as pdDB = {'host': '****', 'port': ####, 'user': 'root', 'password': '#####', 'dbname': '%%%%'}def data_out_msql(DB, msql): conn = ...

原创 电商项目数据分析

最近做了一个电商项目分析，觉得捋清楚分析的思路是完成一份优秀数据分析报告的前提，故在此总结一下这个项目的分析思路：step1：查看数据 读取数据并查看数据前面数行，了解包含的字段以及各个字段的类型，检查数据完整性，对数据有有一个大体了解，并根据需要对数据进行相应的预处理。step2：进行用户消费趋势的分析（按月） 内容：1.每月的消费总金额 ...

原创 线程的两种调用方式

直接调用importthreadingimporttimedefsayhi(num):#定义每个线程要运行的函数print("running on number:%s"%num)time.sleep(3)if__name__=='__main__':t1=threading.Thread...

原创 数据分析与人工智能总结

原创 基于朴素贝叶斯的书籍评价信息分类任务

import pandas as pdimport jiebafrom sklearn.feature_extraction.text import CountVectorizerimport numpy as npfrom sklearn.naive_bayes import MultinomialNB# 加载数据data = pd.read_csv("...

原创 贝叶斯原理

条件概率：　　　　　　　　　　　　　B条件下A发生的概率等于B发生概率分之A和B同时发生的概率全概率公式：　　　　　　　　　　　　　　　　　　P(A) = P(AB1)+P(AB2)+...+P(ABn)　　　　　　= P(A|B1)P(B1)+P(A|B2)P(B2)+...+P(A|Bn)P(Bn)　　　　　　　　　　　　贝叶斯公式：...

原创 knn算法手写字识别案例

import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport osfrom sklearn.neighbors import KNeighborsClassifierdef build_data(dir_name): """ 构建数据 :...

原创 knn原理及借助电影分类实现knn算法

KNN最近邻算法原理　　KNN英文全称K-nearst neighbor，中文名称为K近邻算法，它是由Cover和Hart在1968年提出来的　　　KNN算法原理：　　　　　　　　1. 计算已知类别数据集中的点与当前点之间的距离；　　　　　　　　2. 按照距离递增次序排序；　　　　　　　　3. 选择与当前距离最小的k个点；　　　　　　　　4. 确定前k个点...

原创 航空公司案列分析

"""了解航空现状了解 40个特征--每个特征的含义观察窗口---2012-04-01 ----2014-03-31，我们给定的数据 就是观察窗口内的数据# 丢弃票价为空的记录-----保留票价不为空的记录# 丢弃票价为0 ，折扣不为0，飞行里程大于0 的数据 -----没花钱，而且还乘坐飞机了# ===》保留票价>0 ,折扣不为0 ，飞行里程大于0 ...

原创 k-meanas原理自实现

import numpy as npimport matplotlib.pyplot as pltdef build_data(): """ 准备数据 :return:准备好的数据 """ data_list = [] # 加载数据 with open("./test.txt") as f: ...

原创 df认识

import pandas as pd#自己创建一个dfdf = pd.DataFrame({ 'col1':[0,1,2], 'col2':["zs",'li','zl'], 'col3':[3.14,5.20,6.78] ...

原创 箱线图

import numpy as npimport matplotlib.pyplot as plt# 加载数据res = np.load("./国民经济核算季度数据.npz", allow_pickle=True)# 获取数据columns = res['columns']values = res['values']print("column...

原创 pandas认识

import numpy as npimport pandas as pd# pandas 主要是用来进行数据处理的库，# 里面不仅包含了数据处理、甚至还有 统计分析、相关计算，其内部封装了numpy 相关组件# numpy 核心 ---多维数组-ndarray# pandas 要做数据处理---也有承载# 结构三种形式----# series...

原创 python中matplotlib的颜色及线条控制

plt.subplots(1, 1)x= range(100)y= [i**2 for i in x]plt.plot(x, y, linewidth = '1', label = "test", color=' coral ', linestyle=':', marker='|')plt.legend(loc='upper left')plt.show()...

原创 绘制折线图

import matplotlib.pyplot as pltimport numpy as np# 1、创建画布# figsize=(20, 8), dpi=80fig =plt.figure()# 默认不支持中文，需要配置RC 参数plt.rcParams['font.sans-serif']='SimHei'# 设置字体之后不支持负号，需要去设置RC参数更改编码plt...

原创 饼图

import matplotlib .pyplot as pltimport numpy as np# 加载数据res = np.load("./国民经济核算季度数据.npz")columns = res['columns']values = res['values']print("columns:\n",columns)print("values:\n",values)...

原创 直方图

import numpy as npimport matplotlib.pyplot as plt# 绘制班级同学体重的分布规律直方图# 1、创建画布plt.figure()# 2、绘图# 假设咱们有20个同学weight = np.array([40,44,48,46,51,56,58,62,69,75,89,78,69,56,88,57,49,60,50,61])...

原创 柱状图

"""直方图 与柱状图 区别直方图：---数据的分布情况，横轴是数据范围，纵轴是落在范围内的频数，适用于大数据柱状图：---统计类别数据的数量，横轴是数据的类别，纵轴是类别的频数，适用于少量数据，而且类别不宜过多"""import matplotlib.pyplot as pltimport numpy as np# 加载数据res = np.load("./国民经济核算季...

翻译 散点图

import numpy as npimport matplotlib.pyplot as plt#1、创建画布plt.figure()# 2、绘图#构建 x 与 y 轴坐标x = np.arange(1,6)y = np.random.randn(5)# 绘制散点图---比折线图严格，x,y维数必须一致# s 点的大小，可以传一个，也可以传一个数组，会从前往后依次使用...

原创 数组的索引

import numpy as np#创建一个一维数组# arr = np.arange(16)# print("arr:\n",arr)# print("arr 的 形状：\n",arr.shape)# print("arr 的 ndim：\n",arr.ndim)# 获取单个元素---可以通过下标来访问单个元素# data = arr[4]# print("data:\...

原创 mongo数据库基本查询语句

D:\MongoDB\Server\3.4\bin>mongoMongoDB shell version v3.4.16-41-g83c3022fe4connecting to: mongodb://127.0.0.1:27017MongoDB server version: 3.4.16-41-g83c3022fe4Server has startup w...

原创 多线程爬取QQ音乐

import requestsimport osimport timefrom lxml import etreeimport threadingfrom queue import Queuefrom fake_useragent import UserAgentua=UserAgent()useragent=(ua.random)headers={‘useragent’:use...

原创 生产者消费者模式

import threadingimport requestsfrom queue import Queueimport timeclass Product(threading.Thread):def init(self, i, page_queue):#1.继承父类init:super().init()self.i = iself.page_queue = page_queue...

原创 定时发送邮件任务

1.第一步把所有故事的链接写入文件import jsonimport requestsfrom lxml import etreefrom fake_useragent import UserAgentua=UserAgent()useragent=(ua.random)headers={'useragent':useragent}def requests_html(u...

原创 正则的基本习题

Python正则表达式篇课后习题1-1. 识别下列字符串：“bat,” “bit,” “but,” “hat,” “hit,” 或 “hut”import redata = 'bat bit btt a ta tib atb but hat hit hut'patt = '[bh][aiu]t'm = re.findall(patt,data)print(m...