- 博客(13)
- 收藏
- 关注
原创 pyppeteer 常规使用方法总结
pyppeteer github 地址:https://github.com/miyakogi/pyppeteerpyppeteer 英文文档地址:https://miyakogi.github.io/pyppeteer/pyppeteer 官方文档 API Reference :https://miyakogi.github.io/pyppeteer/reference.htmlpupp...
2020-04-20 17:32:45
5824
1
原创 总结:python 计算 两个日期之间的间隔日期,两个日期之间的天数,一个日期推迟或提前N天对应的日期
网页上有很多关于标题上我提到的一些方法,今天我将我收集到的整合一下~~用户输入两个日期,输出两日期之间的日期def getBetweenDay(begin_date,end_date): date_list = [] begin_date = datetime.datetime.strptime(begin_date, "%Y-%m-%d") end_date = ...
2019-07-12 17:21:28
2763
1
原创 pandas---apply函数的应用
简单介绍一下apply函数,它属于pandas里面非常自由的函数,如果你想对表格里面每行或者每列某些数据进行操作(例:增,加,求平均数等等)就可以使用这个函数。举例:一张表里,两个日期对应的列(’ReceivedTime‘,‘PublishedTime’)之间相差的天数。表样式如下:首先我们先定义两个日期间求天数的函数:def Caltime(date1, date2): # %...
2019-04-12 17:18:15
615
原创 k-means算法与pca结合对多特征组聚类
数据:6个画像,每个画像中有700个标签。解释:同一标签下不同画像对应的数据,我要对此数据做聚类,结果展示:后端代码显示def kmeans_img(request): #获取前段数据 UPLOAD_ROOT=os.path.join(os.path.dirname(os.path.dirname(os.path.abspath(__file__))), 'static/img')...
2019-03-22 16:38:39
5911
3
原创 bootstrap-select2 ajax将模糊匹配修改为实时搜索
近几天要写一个用户可以实时搜索数据的下拉框,就搜到了bootstrap的一个插件,我具体实现的功能是:下拉框显示的内容根据用户的搜索词实时(ajax)发生变化首先官方文档大家可以参考一下,里面有很多基础的东西,具体大家可根据实际情况结合使用https://select2.org/前段代码:#这里引用官方文档提供的js ,css#这里设置长度大有用处var mylength=0/...
2019-03-13 22:16:10
1343
原创 django---将服务器上的文件保存至本地以及本地文件上传
1.用户down线上文件这个有两种情况,一种是用户申请,页面跑完数据,文件直接down下来,一种是用户需要点击特定的按钮去下载这个文件,整体的来说这两种情况大同小异,看具体需求首先不管是那种需求,都要现在项目的配置文件settings.py 去设置静态文件路径STATIC_URL = '/static/'STATICFILES_DIRS = [ os.path.join(BASE_...
2019-02-02 14:34:28
4874
原创 pandas 学习记录及详解
1.pandas----rankrank内置函数详解def rank(self, axis=0, method='average', numeric_only=None, na_option='keep', ascending=True, pct=False)axis=0 or ‘index’ ----对行生效axis=1 or ‘columns’ --------对列生效 defa...
2018-12-25 16:10:04
225
原创 pandas --合并表格
因为我经常要做数据拉取并合并存储在表格里,所以这里对我遇到的几种类型的表格合并进行讲解。第一种就是columns是一样的,表格进行追加,如图import glob,osfrom numpy import *# 下面这些变量需要您根据自己的具体情况选择biaotou = ['类目', '渠道', '时间', '品牌名', 'TOP品牌', '销售金额(指数)', '销量(指数)', ...
2018-12-05 18:44:11
10327
转载 多线程+队列--爬虫
参考文章:连接我找不到了,这里有原博主的代码,写的特别详尽# coding=utf-8import requestsfrom lxml import etreeimport threadingfrom queue import Queue# https://docs.python.org/3/library/queue.html#module-queue# 队列使用方法简介# q...
2018-11-28 18:45:19
611
原创 爬虫之websocket数据爬取
websocket是最近开发很常用的技术之一,他可以一直保持着连接不断,但是你的页面还可以继续展示其它任务,很适用于直播时候的弹幕等。这个是我自己的基础理解,详细理解大家可以参考:https://segmentfault.com/a/1190000013149749我觉得针对websocket的数据爬取,一定要有逆向思维,首先找到数据,然后去倒退这个流程,进而掌握数据传送的全过程。而且针对web...
2018-11-23 17:33:45
15661
36
原创 PostgreSQL的简单应用
这里有一个很好的文章介绍PostgreSQL和mysql之间的优势对比P和M对比详细介绍PostgreSQL应用这篇文章主要介绍PostgreSQL和python的结合数据库:创建数据库create database cui删除数据库DROP DATABASE cui表#连接数据库pgdb_conn =pg.connect(database="cui", user="po...
2018-11-23 16:58:33
274
原创 django--监测celery完成进度
我从别人那里看到了一个简单的测试,大家可以先试一下,我具体说一下我在测试的时候,遇到的问题以及,解决办法。以下是摘抄于:(https://www.cnblogs.com/raxxar1024/p/6744501.html)给大家介绍一篇很好的文章:django-celery1 from celery import task 2 from time import sleep 3 4 ...
2018-11-19 18:59:11
5382
2
原创 django进阶之celery
当djcelery.setup_loader()运行时,Celery便会去查看INSTALLD_APPS下包含的所有app目录中的tasks.py文件,找到标记为task的方法,将它们注册为celery task BROKER_URL:broker是代理人,它负责分发任务给worker去执行。我使用的是Redis作为broker 没有设置 CELERY_RESULT_BACKEND,默认没有配置,此时Django会使用默认的数据库(也是你指定的orm数据库)。CELERY_IMPORTS:是
2018-11-19 18:41:06
220
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人