可爱的大崔儿-CSDN博客

原创 pyppeteer 常规使用方法总结

pyppeteer github 地址：https://github.com/miyakogi/pyppeteerpyppeteer 英文文档地址：https://miyakogi.github.io/pyppeteer/pyppeteer 官方文档 API Reference ：https://miyakogi.github.io/pyppeteer/reference.htmlpupp...

2020-04-20 17:32:45 5766 1

原创总结:python 计算两个日期之间的间隔日期，两个日期之间的天数，一个日期推迟或提前N天对应的日期

网页上有很多关于标题上我提到的一些方法，今天我将我收集到的整合一下～～用户输入两个日期，输出两日期之间的日期def getBetweenDay(begin_date,end_date): date_list = [] begin_date = datetime.datetime.strptime(begin_date, "%Y-%m-%d") end_date = ...

2019-07-12 17:21:28 2731 1

原创 pandas---apply函数的应用

简单介绍一下apply函数，它属于pandas里面非常自由的函数，如果你想对表格里面每行或者每列某些数据进行操作（例：增，加，求平均数等等）就可以使用这个函数。举例：一张表里，两个日期对应的列（’ReceivedTime‘，‘PublishedTime’）之间相差的天数。表样式如下：首先我们先定义两个日期间求天数的函数：def Caltime(date1, date2): # %...

2019-04-12 17:18:15 591

原创 k-means算法与pca结合对多特征组聚类

数据：6个画像，每个画像中有700个标签。解释：同一标签下不同画像对应的数据，我要对此数据做聚类，结果展示：后端代码显示def kmeans_img(request): #获取前段数据 UPLOAD_ROOT=os.path.join(os.path.dirname(os.path.dirname(os.path.abspath(__file__))), 'static/img')...

2019-03-22 16:38:39 5851 3

原创 bootstrap-select2 ajax将模糊匹配修改为实时搜索

近几天要写一个用户可以实时搜索数据的下拉框，就搜到了bootstrap的一个插件，我具体实现的功能是：下拉框显示的内容根据用户的搜索词实时(ajax)发生变化首先官方文档大家可以参考一下，里面有很多基础的东西，具体大家可根据实际情况结合使用https://select2.org/前段代码：#这里引用官方文档提供的js ,css#这里设置长度大有用处var mylength=0/...

2019-03-13 22:16:10 1319

原创 django---将服务器上的文件保存至本地以及本地文件上传

1.用户down线上文件这个有两种情况，一种是用户申请，页面跑完数据，文件直接down下来，一种是用户需要点击特定的按钮去下载这个文件，整体的来说这两种情况大同小异，看具体需求首先不管是那种需求，都要现在项目的配置文件settings.py 去设置静态文件路径STATIC_URL = '/static/'STATICFILES_DIRS = [ os.path.join(BASE_...

2019-02-02 14:34:28 4833

原创 pandas 学习记录及详解

1.pandas----rankrank内置函数详解def rank(self, axis=0, method='average', numeric_only=None, na_option='keep', ascending=True, pct=False)axis=0 or ‘index’ ----对行生效axis=1 or ‘columns’ --------对列生效 defa...

2018-12-25 16:10:04 200

原创 pandas --合并表格

因为我经常要做数据拉取并合并存储在表格里，所以这里对我遇到的几种类型的表格合并进行讲解。第一种就是columns是一样的，表格进行追加，如图import glob,osfrom numpy import *# 下面这些变量需要您根据自己的具体情况选择biaotou = ['类目', '渠道', '时间', '品牌名', 'TOP品牌', '销售金额(指数)', '销量(指数)', ...

2018-12-05 18:44:11 10322

转载多线程+队列--爬虫

参考文章：连接我找不到了，这里有原博主的代码，写的特别详尽# coding=utf-8import requestsfrom lxml import etreeimport threadingfrom queue import Queue# https://docs.python.org/3/library/queue.html#module-queue# 队列使用方法简介# q...

2018-11-28 18:45:19 590

websocket是最近开发很常用的技术之一，他可以一直保持着连接不断，但是你的页面还可以继续展示其它任务，很适用于直播时候的弹幕等。这个是我自己的基础理解，详细理解大家可以参考：https://segmentfault.com/a/1190000013149749我觉得针对websocket的数据爬取，一定要有逆向思维，首先找到数据，然后去倒退这个流程，进而掌握数据传送的全过程。而且针对web...

2018-11-23 17:33:45 15541 36

原创 PostgreSQL的简单应用

这里有一个很好的文章介绍PostgreSQL和mysql之间的优势对比P和M对比详细介绍PostgreSQL应用这篇文章主要介绍PostgreSQL和python的结合数据库：创建数据库create database cui删除数据库DROP DATABASE cui表#连接数据库pgdb_conn =pg.connect(database="cui", user="po...

2018-11-23 16:58:33 259

原创 django--监测celery完成进度

我从别人那里看到了一个简单的测试，大家可以先试一下，我具体说一下我在测试的时候，遇到的问题以及，解决办法。以下是摘抄于：(https://www.cnblogs.com/raxxar1024/p/6744501.html)给大家介绍一篇很好的文章：django-celery1 from celery import task 2 from time import sleep 3 4 ...

2018-11-19 18:59:11 5355 2

原创 django进阶之celery

当djcelery.setup_loader()运行时，Celery便会去查看INSTALLD_APPS下包含的所有app目录中的tasks.py文件，找到标记为task的方法，将它们注册为celery task BROKER_URL：broker是代理人，它负责分发任务给worker去执行。我使用的是Redis作为broker 没有设置 CELERY_RESULT_BACKEND，默认没有配置，此时Django会使用默认的数据库(也是你指定的orm数据库)。CELERY_IMPORTS：是

2018-11-19 18:41:06 208

weixin_41505223的博客