w_yuqing的博客

原创 数据分析统计学必知——描述性统计之概括性度量

统计学是数据分析的基石，也是数据分析师的根本。学了统计学，你会发现很多时候的分析并不靠谱。比如很多人都喜欢用平均数去分析一个事物的结果，但是这往往是粗糙的，不准确的。如果学了统计学，那么我们就能以更多更科学的角度看待数据。用统计学作为数据分析的支撑和方向，使得分析结果更加有底气。本文主要分享描述性统计理论结合对应的python实现方式，更好的帮助大家将统计学应用到实际工作中。什么是描述性统计描述性统计是通过图表或数学方法，对数据资料进行整理、分析，并对数据的分布状态、数字特征和随机变量之间关系进行评估

原创 买月饼了吗？用 Python 数据分析做个月饼选购攻略!

马上要到八月十五了，又迎来了一年一度的中秋节。中秋节起源于古代对月的崇拜,至今已历史悠久。中秋节到了，各地都有自己的习俗。但中秋节的习俗共同之处不外乎：祭月、赏月、观花灯、吃月饼。月饼在我印象中，记忆最深的还是"五仁"口味，是家里长辈们的最爱。还记得小时候最讨厌吃到"五仁"里面的"红丝丝绿丝丝"。后来也吃到有一些非常好吃的月饼，今天特意上网搜了一下，见到好多没吃过的口味，看的眼花缭乱，所以我要忍着口水用 Python 分析看看什么口味最好吃，帮助还没买月饼的小伙伴做个选购参考。技术：Python + .

原创 数据分析进阶必看干货！销售额下滑详细分析案例

写在最前：最近工作一直在忙，终于能得空写篇文章。本篇文章是以一个案例的方式呈现一些数据分析相关知识。涉及详细的分析思路及多种分析方法，如多维度拆解、假设检验、相关性分析、回归分析，适用问题场景是：如何把有限的资源投放到有效的地方才能发挥出最好的效果（比如商品价格和满意度对新增用户同时有影响，这时重点关注哪个）。通过本文的学习，相信你能积累一些解决实际问题的经验。一、项目背景公司发现汽车销售额自一年前开始逐渐减少，想让你帮忙找找汽车销量下滑的原因，最好能提出一些解决方案。二、利用数据分析解决问题的过.

原创 爬取58同城，解决反爬字体加密解析问题

【导语】我们在爬取数据中，会遇到字体乱码的下，其实是字体加密，本篇文章主要解决字体解密这种反爬方式。1.在浏览器打开58同城网址进入北京租房2.点击检查,找到房租价格对应位置,发现源码中价格部分是乱码,但是页面显示正常3.得出结果这段代码是经过字体加密的我们看到的如下：那么，按F12查看源码，如下：【解决思路】字体加密一般是通过字体文件进行映射,所以我们只需要找到对应的字体文件,然后通过一些手段找到他们字体对应的映射关系就可以破解字体反爬1、当我们发现字体反爬之后,首先可以找一下是通

原创 docker之修改镜像内部并上传docker hub

应用场景：昨天在用docker部署项目时，生成镜像并启动。但是当我又修改了项目时，再刷新项目，并未更新。随后开始排查问题，下面将解决思路及用到的命令记录下来。先说解决方式：由于利用docker部署，其实在docker内部拷贝了一份项目，而你修改源目录的项目时不起作用的，替换一下就好了图中/usr/src/app就是我将项目存到docker中的地址，将docker中的项目替换成更新的源目录项...

原创 MySQL重要知识点（总结）

最近一段时间都学习mysql，将重要的知识点总结如下：一、字段、表、索引设计规范相关二、事务相关三、锁相关四、存储引擎相关五、大表优化相关六、索引优化相关七、语句优化相关一、字段、表、索引设计规范1、字段设计规范① 字段类型优先选择符合存储需要的最小类型字段类型优先级：整型>date;time >enum>char;varchar>blob原因...

原创 Nginx 的原理学习

如果你跟我一样，不知道正向代理和反向代理是什么，很推荐啃啃这篇文章，可以深入了解Nginx。Nginx的产生　　没有听过Nginx？那么一定听过它的"同行"Apache吧！Nginx同Apache一样都是一种WEB服务器。基于REST架构风格，以统一资源描述符(Uniform Resources Identifier)URI或者统一资源定位符(Uniform Resources Locator...

原创 Git使用（二）git命令汇总

原创 Git使用（一）Python项目上传到Github

Git：分布式版本控制系统。Github：面向开源及私有软件项目的托管平台。Git与Github的关系：只支持Git 作为唯一的版本库格式进行托管，故名GitHub。下载安装Git【下载】移步至Git官网 https://git-scm.com/ 下载。【安装】按默认选项安装即可。创建本地仓库安装完成之后。在开始菜单会出现：打开Git Bash，依次输入命令：$ git c...

原创 基于Docker搭建分布式文件系统FastDfs

最近公司业务要做了一个报表管理系统，这就涉及到了海量文件存储问题。对于文件存储来说，一般情况下简单的处理就是在Django配置文件中配置存储目录，按照规则对文件进行上传或者下载。实际上，当文件较少的时候，Django是可以应付的过来的。但当文件以海量形式出现的时候，Django就并不是那么好用了，于是Fast DFS应运而出。FastDFS是一个开源的分布式文件系统，它对文件进行管理，功能包括...

原创 解决windows启动celery报TypeError: can't pickle module objects错误问题

windows启动celery（版本3.1.18）报错如下：解决方案：# coding:utf-8from celery import Celeryfrom ihome.tasks import config# 定义celery对象celery_app = Celery("ihome")# 引入配置信息celery_app.config_from_object(conf...

原创 MongoDB学习笔记

mongo属于nosql非关系数据库。一、关系与非关系数据库区别：1、数据和数据之间不存在关系，每条数据独立个体存在字典之中；2、mysql扩展性差，大数据量下IO压力大，表结构更改困难；3、mongo易扩展，大数据量高性能（读写），灵活的数据模型（无需事先为要存储的数据建立字段），高可用；4、mongo占硬盘空间大二、mongo基础命令查看当前数据库：db查看所有数据库：sh...

原创 3、python文件变化监控模块watchdog使用

业务场景：最近公司要开发云虚拟机文件操作平台，其中重要的一步就是记录出用户进入该windows虚拟机，对文件的操作行为。查了一上午资料，在python中文件监控主要有两个库，一个是pyinotify （ https://github.com/seb-m/pyinotify/wiki ），一个是watchdog（http://pythonhosted.org/watchd...

原创 （二）机器学习之基础库Numpy学习笔记

一、Numpy介绍Numpy（Numerical Python）是⼀个开源的Python科学计算库，⽤于快速处理任意维度的数组。Numpy⽀持常⻅的数组和矩阵操作。对于同样的数值计算任务，使⽤Numpy⽐直接使⽤Python要简洁的多。Numpy使⽤ndarray对象来处理多维数组，该对象是⼀个快速⽽灵活的⼤数据容器。二、ndarray介绍NumPy提供了⼀个N维数组类型ndarray，...

原创 （一）机器学习之基础环境安装与使用

参考链接：https://blog.csdn.net/ITLearnHall/article/details/817081481、进入虚拟环境activate python37(你的虚拟环境)2、启动Jupyter2.1为什么使用Jupyter``` ⽬的是具体的洞察⽬标，⽽不是机械的完成任务 通过执⾏代码来理解问题 迭代式地改进代码来改进解决⽅法```具体详细使用方式...

原创 Flask 接口如何在Linux后台持续运行

之前公司程序我用的nohup 后台执行任务，发现不太靠谱，进程总是被莫名其妙的关闭。随后查些资料，经过一番测试觉得tmux是个好东西~分享给大家通常本地连接远程linux服务器以后我们需要服务器一直执行程序，即使我们本地电脑关机或者断开连接，此时我们需要用到开后台神器tmux，后台运行程序 ，大概有三种 : & , nohup , tmux ,其中 tmux 最优雅，可以保存上次的工作...

原创 flask 中current_app._get_current_object()与current_app区别

在学习flask开发，书中一段异步发送邮件的代码是这样写的：from threading import Threadfrom flask import current_app, render_templatefrom flask.ext.mail import Messagefrom . import maildef send_async_email(app, msg): w...

转载 Mysql优化（二）

场景我用的数据库是mysql5.6，下面简单的介绍下场景课程表：create table Course(c_id int PRIMARY KEY,name varchar(10))数据100条学生表:create table Student(id int PRIMARY KEY,name varchar(10))数据70000条学生成绩表SCCREATE table SC(s...

原创 Mysql优化（—）

原创 docker-compose 运行 Flask 应用最佳实践

Compose 是定义和运行多个 Docker 容器的应用，我们知道使用一个 Dockerfile 模板文件，可以让用户很方便的定义一个单独的应用容器。然而，在日常工作中，经常会碰到需要多个容器相互配合来完成某项任务的情况。例如要实现一个 Web 项目，除了 Web 服务容器本身，往往还需要再加上后端的数据库服务容器，甚至还包括负载均衡容器等。Compose 恰好满足了这样的需求。它允许用户通过...

原创 基于Docker搭建分布式文件系统FastDfs

最近公司业务要做了一个报表管理系统，这就涉及到了海量文件存储问题。对于文件存储来说，一般情况下简单的处理就是在Django配置文件中配置存储目录，按照规则对文件进行上传或者下载。实际上，当文件较少的时候，Django是可以应付的过来的。但当文件以海量形式出现的时候，Django就并不是那么好用了，于是Fast DFS应运而出。FastDFS是一个开源的分布式文件系统，它对文件进行管理，功能包括...

原创 解决flask的序列化对象报错（TypeError: Object of type 'BookCollection' is not JSON serializable）

出错场景： return jsonify(books)解决办法：return json.dumps(books, default=lambda o: o.__dict__)原理剖析：首先我们知道flask的视图函数能够直接序列化字典，通常情况下对于序列化对象我们可以用__dict__ (它能够将对象下面的所有属性序列化成字典)，但是当在对象的属性包含对象，那么__dict__就会...

原创 1、python之魔法函数

python中常见的内置类型什么是魔法函数？python的魔法函数总被双下划线包围，它们可以给你的类增加特殊的方法。如果你的对象实现了这些方法中的一个，那么这个方法就会在特殊情况下被调用，你可以定义想要的行为，而这一切都是自动发生的。魔法函数一览魔法函数举例1.1.getitem把对象变成可迭代的对象例子：class Company(object): def __ini...

原创 2、python深入装饰器

装饰器两个重要的概念：① ‘@’ 语法糖② 在不改变原函数代码的基础上，在执行前后进行定制操作装饰器放在一个函数开始定义的地方，它就像一顶帽子一样戴在这个函数的头上。和这个函数绑定在一起。在我们调用这个函数的时候，第一件事并不是执行这个函数，而是将这个函数做为参数传入它头顶上这顶帽子，这顶帽子我们称之为 装饰器 ，返回值是函数对象。使用场景：应用场景：F...

原创 Django前后端分离开发-新闻管理系统(六)

项目源码下载：https://github.com/Cherish-sun/NEWS/tree/master一、新闻搜索功能# 搜索def search(request): strquery = request.GET.get('query') page = int(request.GET.get('page', 1)) data = { "searc...

原创 Django前后端分离开发-新闻管理系统(五)

项目源码下载：https://github.com/Cherish-sun/NEWS/tree/master前端系统架构图一、创建前端项目和应用django-admin.py startproject newsapipython manage.py startapp article将static和templates文件夹拷贝到我们的项目中。并在setting的APP里，添加arti...

原创 Django前后端分离开发-新闻管理系统(四)

项目源码下载：https://github.com/Cherish-sun/NEWS/tree/master实现新闻标签、广告的web API一、serializers.py 添加# 按serializers来序列化新闻标签class TagSerializer(serializers.ModelSerializer): # id = serializers.Field() ...

原创 Django前后端分离开发-新闻管理系统(三)

项目源码下载：https://github.com/Cherish-sun/NEWS/tree/master一、view 视图（实现新闻类别的api）drf为我们提供强大的通用view的功能主要的几种view以及他们之间的关系这其中，还涉及了mixins，主要也分为5类建议在做drf的时候，使用ViewSet与mixins方法结合进行开发• 路由系统是用于接收合适的请求，然后返回相应的响...

原创 Django前后端分离开发-新闻管理系统(二)

项目源码下载：https://github.com/Cherish-sun/NEWS/tree/master一、Models数据结构二、创建模型 models.pyCreate your models here.from django.db import modelsimport datetimefrom django.contrib.auth.models import Userfrom...

原创 Django前后端分离开发-新闻管理系统(一)

项目源码下载：https://github.com/Cherish-sun/NEWS/tree/master一、开发目的通过新闻系统前后端分离开发，在后端开发web api的过程中让你快速熟练掌握django rest framework框架的开发，让你要项目实战中掌握rest 标准api的开发技术。在前端开发让你快捷简便的掌握django模板调用api的过程。二、开发环境•开发工具:Pycha...

原创 Python 实现小型文本分类系统

最近在做微信公众号采集开发，将要对公众号文章数据（mysql里），进行文本分类，查了很多资料，找到一篇适合新手的一篇博文：https://blog.csdn.net/github_36326955/article/details/54891204，本人提供了人工分好类的文章训练集语料库（1000多篇）和测试集语料库（11篇），和大家一起学习。一、中文文本分类流程1、预处理2、中文分词3、结构化表示...

原创 REST Framework 设计指南

一、简介项目源码下载：https://github.com/Cherish-sun/NEWS/tree/masterREST（英文：Representational State Transfer，简称REST）描述了一个架构样式的网络系统，比如 web 应用程序。它首次出现在 2000 年 Roy Fielding 的博士论文中，他是 HTTP 规范的主要编写者之一。在目前主流的三种Web服务交互...

原创 1、python赋值、浅拷贝、深拷贝

之前面试遇到了深拷贝、浅拷贝问题，由于平时总是注重实现功能，而忽略了一些基础原理，对其理解很模糊。所以决定脚踏实地好好学习基础，并整理下来。Python为简单赋值、浅拷贝、深拷贝这几种“拷贝”方式一、赋值赋值算是这三种操作中最常见的了，我们通过一些例子来分析下赋值操作：str例子：a = 'hello'b = 'hello'c = ad = [id(x) for x in [a, ...