- 博客(97)
- 收藏
- 关注
RSS订阅原创 axios结合vue使用
axios结合vue使用<html> <head> <title> axios网络请求 </title> </head><body> <div id="app"> <input type="button" value="获取笑话" @click="getJoke"> <p&g
2022-05-07 14:45:20
327
原创 axios网络请求
axios网络请求<html> <head> <title> axios网络请求 </title> </head><body> <input type="button" value="get请求" class="get"> <input type="button" value="post请求"
2022-05-07 14:43:04
195
原创 VUE基础使用
VUE基础使用<html> <head> <title> VUE基础 </title> <style> .active{ border: 1px solid red; } </style> </head><bo
2022-05-07 14:40:39
279
原创 机器学习之数据处理，均值移除/范围缩放/归一化/二值化
数据预处理数据预处理的过程： 输入数据 -> 模型 -> 输出数据数据样本矩阵年龄学历经验性别月薪25硕士2女1000020本科3男8000……………一行一样本，一列一特征。数据预处理相关库# 解决机器学习问题的科学计算工具包import sklearn.preprocessing as sp均值移除(标准化)由于一个样本的不同特征值差异较大，不利于使用现有机器学习算法进行样本处理。均值移除可以让样本矩阵中的每
2020-07-20 22:17:24
991
原创 pandas常用操作总结
pandas常用操作总结常用操作pandas常用操作总结pandas读取csv，txt，excel，mysqlpandas存入excel，mysqlpandas数据结构常用操作pandas增加数据列pandas统计结果和排序pandas缺失值和缺失日期处理pandas两个表对应关系Merge合并pandas两个字段相同的表合并concatpandas拆分合并excelpandas读取csv，txt，excel，mysql详细文章import pandas as pdfpath = './datas
2020-07-19 15:49:48
313
原创 pandas画图分析网站原始访问日志
pandas画图分析网站原始访问日志实现步骤：1、读取数据、清理、格式化2、统计爬虫spider的访问比例，输出柱状图3、统计http状态码的访问占比，输出饼图4、统计按小时、按天的PV/UV流量趋势，输出折线图import pandas as pdimport numpy as npimport os# 让输出不会被截断pd.set_option('display.max_colwidth', -1)from pyecharts import options as optsfr
2020-07-18 22:20:24
355
原创 pandas结合Sklearn实现泰坦尼克存活率预测
pandas结合Sklearn实现泰坦尼克存活率预测实例目标：实现泰坦尼克存活预测处理步骤：1、输入数据：使用Pandas读取训练数据(历史数据，特点是已经知道了这个人最后有没有活下来)2、训练模型：使用Sklearn训练模型3、使用模型：对于一个新的不知道存活的人，预估他存活的概率import pandas as pdfrom sklearn.linear_model import LogisticRegressiondf_train = pd.read_csv("./pandas/an
2020-07-18 21:15:07
279
原创 pandas结合Pyecharts绘制交互性折线图
pandas结合Pyecharts绘制交互性折线图Pandas是Python用于数据分析领域的超级牛的库Echarts是百度开源的非常好用强大的可视化图表库，Pyecharts是它的Python库版本import pandas as pdfrom pyecharts.charts import Linefrom pyecharts import options as opts# 读取百度股票，并设置时间列为索引，类型为日期格式df = pd.read_excel("./pandas/ant-
2020-07-18 20:51:00
1486
原创 pandas实现Excel的vlookup，在指定列后面输出
pandas实现Excel的vlookup，在指定列后面输出1.有两个excel，他们有相同的一个列；2.按照这个列合并成一个大的excel，即vlookup功能，只需要第二个excel的少量的列，比如从40个列中挑选2个列新增的来自第二个excel的列需要放到第一个excel指定的列后面；3.将结果输出到一个新的excel;import pandas as pd# 学生成绩表df_grade = pd.read_excel("./pandas/ant-learn-pandas/cours
2020-07-18 20:18:32
951
原创 pandas处理日期数据，日期查询日期缺失处理
Pandas怎样快捷方便的处理日期数据Pandas日期处理的作用：将2018-01-01、1/1/2018等多种日期格式映射成统一的格式对象，在该对象上提供强大的功能支持几个概念：pd.to_datetime：pandas的一个函数，能将字符串、列表、series变成日期形式Timestamp：pandas表示日期的对象形式DatetimeIndex：pandas表示日期的对象列表形式其中：DatetimeIndex是Timestamp的列表形式pd.to_datetime对单个日期字符串处
2020-07-16 22:37:50
4301
原创 pandas分组后应用apply函数
pandas分组后应用apply函数知识：Pandas的GroupBy遵从split、apply、combine模这里的split指的是pandas的groupby，我们自己实现apply函数，apply返回的结果由pandas进行combine得到结果GroupBy.apply(function)function的第一个参数是dataframefunction的返回结果，可是dataframe、series、单个值，甚至和输入dataframe完全没关系怎样对数值列按分组的归一化？将不同范
2020-07-15 21:48:08
1714
原创 pandas的数据转换函数map、apply、applymap
Pandas的数据转换函数map、apply、applymap数据转换函数对比：map、apply、applymap：map：只用于Series，实现每个值->值的映射；apply：用于Series实现每个值的处理，用于Dataframe实现某个轴的Series的处理；applymap：只能用于DataFrame，用于处理该DataFrame的每个元素；import pandas as pdstocks = pd.read_excel('./pandas/ant-learn-pandas
2020-07-15 21:01:51
681
原创 pandas的分层索引MultiIndex
import pandas as pdstocks = pd.read_excel('./pandas/ant-learn-pandas/datas/stocks/互联网公司股票.xlsx')print(stocks.head())''' 日期 公司 收盘 开盘 高 低 交易量 涨跌幅0 2019-10-03 BIDU 104.32 102.35 104.73 101.15 2.24 0.021
2020-07-13 22:34:44
271
原创 pandas实现groupby分组统计
Pandas怎样实现groupby分组统计类似SQL：select city,max(temperature) from city_weather group by city;groupby：先对数据分组，然后在每个分组上应用聚合函数、转换函数import pandas as pdimport numpy as npdf = pd.DataFrame({'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'],
2020-07-13 21:11:44
3867
原创 使用pandas拆分合并excel文件
import pandas as pdimport osdf_source = pd.read_excel( "./pandas/ant-learn-pandas/course_datas/c15_excel_split_merge/crazyant_blog_articles_source.xlsx")print(df_source.head(5))# 创建文件夹if not os.path.exists("splits_dir"): os.mkdir("splits_di
2020-07-13 20:40:16
877
原创 pandas实现数据的合并concat
使用场景：批量合并相同格式的Excel、给DataFrame添加行、给DataFrame添加列一句话说明concat语法：使用某种合并方式(inner/outer)沿着某个轴向(axis=0/1)把多个Pandas对象(DataFrame/Series)合并成一个。concat语法:pandas.concat(objs, axis=0, join='outer', ignore_index=False)objs：一个列表，内容可以是DataFrame或者Series，可以混合axis：默
2020-07-11 22:30:59
411
原创 pandas实现DataFrame的Merge合并
pandas实现DataFrame的Merge合并Pandas的Merge，相当于Sql的Join，将不同的表按key关联到一个表merge的语法：pd.merge(left, right, how='inner', on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=True, suffixes=('x', 'y'), copy=True, indicator=False, validate=
2020-07-11 21:54:38
872
原创 pandas的索引 index的用途
pandas的索引index的用途把数据存储于普通的column列也能用于数据查询，那使用index有什么好处？index的用途总结：更方便的数据查询；使用index可以获得性能提升；自动的数据对齐功能；更多更强大的数据结构支持；import pandas as pddf = pd.read_csv("D:/python基础课程/pandas/ant-learn-pandas/datas/ml-latest-small/ratings.csv", encoding="utf8",
2020-07-11 20:55:52
1418
原创 pandas的axis参数理解
pandas的axis参数怎么理解？axis=0或者"index"：如果是单行操作，就指的是某一行如果是聚合操作，指的是跨行cross rowsaxis=1或者"columns"：如果是单列操作，就指的是某一列如果是聚合操作，指的是跨列cross columns按哪个axis，就是这个axis要动起来(类似被for遍历)，其它的axis保持不动import pandas as pdimport numpy as npdf = pd.DataFrame(np.arange(12).res
2020-07-11 20:18:20
509
1
原创 pandas字符串处理
Pandas字符串处理前面我们已经使用了字符串的处理函数：df[“bWendu”].str.replace(“℃”, “”).astype(‘int32’)Pandas的字符串处理：使用方法：先获取Series的str属性，然后在属性上调用函数；只能在字符串列上使用，不能数字列上使用；Dataframe上没有str属性和处理方法Series.str并不是Python原生字符串，而是自己的一套方法，不过大部分和原生str很相似；Series.str字符串方法列表参考文档:https://pa
2020-07-11 18:15:45
174
原创 pandas的SettingWithCopyWarning报警原因
报错原因发出警告的代码 df[condition][“wen_cha”] = df[“bWendu”]-df[“yWendu”]相当于：df.get(condition).set(wen_cha)，第一步骤的get发出了报警链式操作其实是两个步骤，先get后set，get得到的dataframe可能是view也可能是copy，pandas发出警告官网文档： https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#re
2020-07-11 13:59:31
299
原创 pandas对缺失值的处理，清洗数据
Pandas对缺失值的处理isnull和notnull：检测是否是空值，可用于df和seriesdropna：丢弃、删除缺失值axis : 删除行还是列，{0 or ‘index’, 1 or ‘columns’}, default 0how : 如果等于any则任何值为空都删除，如果等于all则所有值都为空才删除inplace : 如果为True则修改当前df，否则返回新的dffillna：填充空值value：用于填充的值，可以是单个值，或者字典（key是列名，value是值）method
2020-07-11 13:21:48
1587
原创 pandas统计函数协方差和相关系数，数据排序
import pandas as pddf = pd.read_csv("D:/python基础课程/pandas/ant-learn-pandas/datas/beijing_tianqi/beijing_tianqi_2018.csv", encoding="utf8", engine="python")print(df.head(5))df.loc[:, "bWendu"] = df["bWendu"].str.replace("℃", "").astype("int32")df.loc
2020-07-11 12:43:31
1399
原创 pandas增加数据列
import pandas as pddf = pd.read_csv("D:/python基础课程/pandas/ant-learn-pandas/datas/beijing_tianqi/beijing_tianqi_2018.csv", engine='python', encoding='utf-8')print(df.head())直接赋值的方法# 替换掉温度的后缀℃df.loc[:, "bWendu"] = df["bWendu"].str.rep
2020-07-08 22:18:00
1703
原创 pandas查询数据
Pandas查询数据的几种方法df.loc方法，根据行、列的标签值查询df.iloc方法，根据行、列的数字位置查询df.where方法df.query方法.loc既能查询，又能覆盖写入，强烈推荐！Pandas使用df.loc查询数据的方法使用单个label值查询数据使用值列表批量查询使用数值区间进行范围查询使用条件表达式查询调用函数查询注意以上查询方法，既适用于行，也适用于列注意观察降维dataFrame>Series>值import pandas as pdd
2020-07-08 21:36:30
651
原创 pandas数据结构Series和DataFrame
import pandas as pdimport numpy as nps1 = pd.Series([1, "a", 5.3, 7])# 左侧为索引，右侧为数据print(s1)# 获取索引print(s1.index)# 获取数据print(s1.values)# 创建一个具有标签索引的Seriess2 = pd.Series([1, 'a', 5.2, 7], index=['d', 'b', 'a', 'c'])# 使用python字典创建Seriessdata
2020-07-08 20:52:31
158
原创 pandas读取csv,txt,excel文件
准备工作 导包import pandas as pd读取csv文件pandas的 read_excel() 方法fpath = './datas/ml-latest-small/ratings.csv'# # 使用pd.read_csv读取数据ratings = pd.read_csv(fpath)查看DataFrame的具体结构ratings.head() # 查看前几行数据userIdmovieIdratingtimestamp0114.0964
2020-07-06 22:47:12
573
原创 numpy基本操作
numpy概述Numerical Python，数值的Python，补充了Python语言所欠缺的数值计算能力。Numpy是其它数据分析及机器学习库的底层库。Numpy完全标准C语言实现，运行效率充分优化。Numpy开源免费。numpy历史1995年，Numeric，Python语言数值计算扩充。2001年，Scipy->Numarray，多维数组运算。2005年，Numeric+Numarray->Numpy。2006年，Numpy脱离Scipy成为独立的项目。nu
2020-07-06 21:12:05
224
原创 flask-sqlacodegen快速生成ORM表结构
安装pip install flask-sqlacodegen使用flask-sqlacodegen "mysql://root:pwd@127.0.0.1/food_db" --outfile "common/models/User.py" --flask根据表名生成flask-sqlacodegen mysql://root:pwd@127.0.0.1/db_name --tables user --outfile "models/user.py" --flaskwindows
2020-07-05 19:55:11
372
原创 django项目中Rabbitmq的使用，两个项目之间数据传输存储
解决问题：1、开发时会使用django环境进行一些初始化操作，这些程序一般只执行几次，但是需要django中的环境变量。2、使用django运行阻塞监听的程序，比如Rabbitmq监听，放在主程序中就阻塞住了，需要另外开命令执行。│ ├── MyRab # app名称│ │ ├── admin.py│ │ ├── apps.py│ │ ├── __init__.py│ │ ├── management # 这个就是创建的 management 文
2020-07-05 19:49:00
2098
原创 windows查看端口进程，并杀死进程
1.查看所有网络连接信息Windows键 + R ,在弹出的运行窗口中输入cmd,在cmd窗口中输入netstat-ano显示协议统计信息和当前的TCP/IP网络连接。-a 显示所有连接和侦听端口。-n 以数字形式显示地址和端口号。-o 显示拥有的与每个连接关联的进程 ID。详细的使用方式使用netstat/?进行查看2.查看指定端口的连接信息使用netstat -ano | findstr “8080”，在“|”前面的命令执行结果作为后一个命令执行的输入。3.查看进程列表使用
2020-07-05 11:25:20
702
原创 使用SQLALchemy操作MySql数据库
连接数据库并进行操作[ORM概念]是Object-Relational Mapping即对象关系映射，就是将关系型数据库和对象之间做一个映射，这样就可以不用使用SQL语句，直接用python语句就可以处理数据库了，其中，python中最成熟的ORM库就是SQLALchemy～使用SQLALchemy进行数据库操作，需要三步，定义表（对应着数据库的表），与数据库进行连接，对数据库进行操作。安装库pip3 install sqlalchemy# 如果pymysql驱动失败，需要安装pip3 ins
2020-07-02 21:53:39
1408
原创 解决windows使用go get报环境变量错误问题
初次使用golang语言下载引用其他模块，使用go get 命令总是报错，发现在国内需要使用需要访问外网，然而在国内是访问不了的！原因是缺少golang.org/x/net 的依赖包，GitHub已经有托管依赖包，安装下载其依赖包就能解决了：#%GOPATH%---是安装go时设置的变量名称，GOPATH路径mkdir -p %GOPATH%\src\golang.org\x cd %GOPATH%\src\golang.org\x git clone https://github.com/gol
2020-06-30 20:22:22
504
原创 Ubantu服务器搭建YApi
YApi 是由去哪儿移动架构组推出的一款开源项目，是高效、易用、功能强大的 api 管理平台，旨在为开发、产品、测试人员提供更优雅的接口管理服务。官网：https://yapi.ymfe.org/，Yapi具有以下功能特性一、环境 nodejs(7.6+) mongo(2.6+)1.nodejs安装sudo apt-get updatecurl -sL https://deb.nodesource.com/setup_9.x | sudo -E bash -sudo apt-get inst
2020-06-27 21:16:14
217
原创 rabbitmq简单模式及交换机模式
一 什么是消息队列（MQ）MQ全称为Message Queue 消息队列（MQ）是一种应用程序对应用程序的通信方法。MQ是消费-生产者模型的一个典型的代表，一端往消息队列中不断写入消息，而另一端则可以读取队列中的消息。这样发布者和使用者都不用知道对方的存在。'''生产者消费者模式是通过一个容器来解决生产者和消费者的强耦合问题。生产者和消费者彼此之间不直接通讯，而通过阻塞队列来进行通讯，所以生产者生产完数据之后不用等待消费者处理，直接扔给阻塞队列，消费者不找生产者要数据，而是直接从阻塞队列里取，阻塞队
2020-06-26 16:14:59
909
原创 celery+redis异步任务定时任务
一、什么是Celery1.1、celery是什么Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（task result store）组成。消息中间件Celery本身不提供消息服务，但是可以方便的和第三方提供的消息中间件集成。包括，RabbitMQ, Redis等等任务执行单元Worker是Celery提供
2020-06-25 16:52:43
726
1
原创 go语言Context标准库
在 Go http包的Server中，每一个请求在都有一个对应的 goroutine 去处理。请求处理函数通常会启动额外的 goroutine 用来访问后端服务，比如数据库和RPC服务。用来处理一个请求的 goroutine 通常需要访问一些与请求特定的数据，比如终端用户的身份认证信息、验证相关的token、请求的截止时间。 当一个请求被取消或超时时，所有用来处理该请求的 goroutine 都应该迅速退出，然后系统才能释放这些 goroutine 占用的资源。为什么需要Context基本示例pack
2020-06-23 22:27:45
146
原创 Go语言的依赖管理及如何使用
Go语言的依赖管理随着版本的更迭正逐渐完善起来。依赖管理为什么需要依赖管理最早的时候，Go所依赖的所有的第三方库都放在GOPATH这个目录下面。这就导致了同一个库只能保存一个版本的代码。如果不同的项目依赖同一个第三方的库的不同版本，应该怎么解决？godepGo语言从v1.5开始开始引入vendor模式，如果项目目录下有vendor目录，那么go工具链会优先使用vendor内的包进行编译、测试等。godep是一个通过vender模式实现的Go语言的第三方依赖管理工具，类似的还有由社区维护准官方包管
2020-06-23 21:23:13
870
原创 NSQ分布式消息队列
NSQ是目前比较流行的一个分布式的消息队列，本文主要介绍了NSQ及Go语言如何操作NSQ。NSQNSQ介绍NSQ是Go语言编写的一个开源的实时分布式内存消息队列，其性能十分优异。 NSQ的优势有以下优势：NSQ提倡分布式和分散的拓扑，没有单点故障，支持容错和高可用性，并提供可靠的消息交付保证NSQ支持横向扩展，没有任何集中式代理。NSQ易于配置和部署，并且内置了管理界面。NSQ的应用场景通常来说，消息队列都适用以下场景。异步处理参照下图利用消息队列把业务流程中的非关键流程异步化，从而
2020-06-22 22:46:37
1423
原创 go语言操作redis
在项目开发中redis的使用也比较频繁，本文介绍了Go语言中go-redis库的基本使用。Redis介绍Redis是一个开源的内存数据库，Redis提供了多种不同类型的数据结构，很多业务场景下的问题都可以很自然地映射到这些数据结构上。除此之外，通过复制、持久化和客户端分片等特性，我们可以很方便地将Redis扩展成一个能够包含数百GB数据、每秒处理上百万次请求的系统。Redis支持的数据结构Redis支持诸如字符串（strings）、哈希（hashes）、列表（lists）、集合（sets）、带范围查
2020-06-22 21:58:18
337
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人