- 博客(87)
- 收藏
- 关注
RSS订阅原创 django之 annotate，aggrate
annotate()不是一个终止子句。annotate()子句的输出是一个QuerySet；这个QuerySet可以使用任何其他QuerySet操作进行修改，包括filter()order_by()，甚至对annotate()的额外调用。是QuerySet的一个终止子句，当调用时，它返回一个名称-值对的字典。名称是聚合值的标识符；值是计算的聚合。名称会根据字段名称和聚合函数自动生成。如果你想手动指定聚合值的名称，你可以在指定聚合子句时提供该名称。
2024-07-14 16:17:17
603
原创 Linux之时间显示
在linux中使用使用date的方式来显示时间，但是如果想按照自己想要的格式展示，那就需要加上一点参数了。2024年 06月 23日 星期日 23:21:42 CST。
2024-06-23 23:28:07
188
原创 Linux之文件打包，压缩，解压
在Linux中，tar命令是一个常用的工具，用于打包和解压文件。tar（tape archive）最初是为磁带设备设计的，但现在已经成为文件操作的标准工具之一。它能够将一组文件和目录打包成单个归档文件，也可以从归档文件中提取出文件和目录。通过结合不同的选项，你可以在tar命令中实现广泛的功能。tar：将文件进行打包(通过和其他命令结合，也能实现压缩的功能)tar [选项] file.tar [file]Linux中对文件进行打包，压缩有两种命令。zip file.zip [选项] 文件。
2024-06-05 23:40:42
7454
原创 Linux之检索文件内容
在Linux中可以通过grep对文件内容进行检索grep [选项] 字符串 文件名-i:忽略大小写-v:排查-E:正则表达式# 在anaconda-ks.cfg 查找 timezone# 在anaconda-ks.cfg 不匹配大小写 查找 TIMEZONE# 在anaconda-ks.cfg 使用正则 查找 TIMEZONE# 在进程查询。
2024-06-05 00:29:24
308
原创 python协程实战
print('hello 异步')c = test() # 调用异步函数,得到协程对象-->cloop = asyncio.get_event_loop() # 创建事件循环loop.run_until_complete(c) # 把协程对象丢给循环,并执行异步函数内部代码await asyncio.sleep(1):用来模拟耗时的任务task：对协程对象的进一步封装print('hello 异步')c = test() # 调用异步函数,得到协程对象-->c。
2023-04-22 22:11:08
766
1
原创 Haproxy 介绍与参数详解
haproxy的配置文件由两部分组成：全局设置和对代理的设定，共分为五段：globaldefaultsfrontendbackendlisten。global: 全局配置，主要用于定义全局参数，属于进程级的配置，通常和操作系统配置有关。default: 配置默认参数，这些参数可以被用到frontend，backend，Listen组件。frontend：接收请求的前端虚拟节点，frontend可以指定具体使用后端的backend。
2023-03-17 00:44:58
2848
原创 Nginx常见用法
负载均衡建立在现有网络结构之上，它提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。负载均衡（Load Balance）其意思就是分摊到多个操作单元上进行执行，例如Web服务器、FTP服务器、企业关键应用服务器和其它关键任务服务器等，从而共同完成工作任务。
2023-03-15 22:24:12
1124
原创 k8s详解
endpoint是k8s集群中的一个资源对象，存储在etcd里面，用来记录一个service对应的所有pod的访问地址。前面我们部署的应用，都是不需要存储数据，不需要记住状态的，可以随意扩充副本，每个副本都是一样的，可替代的。kubernetes 集群不会为你处理数据的存储，我们可以为数据库挂载一个磁盘来确保数据的安全。k8s 部署项目时，有一个敏感词或者动态变更的参数，不能写死在docker镜像中，同时，也可以引入外部服务，使得 k8s能够访问外部有状态的服务，比如db等。如果是业务场景，一般首选使用。
2023-03-15 22:02:21
867
2
原创 Docker
在 Linux系统中常见一个 文件系统，可以通过创建多个镜像来实现各个项目之间的隔离，同时每个镜像之间都没有接口相同，沙箱处理镜像是静态的定义， 容器是镜像的动态。
2023-03-15 21:53:57
833
原创 Vsftpd
s /sbin/nologin 表示这个用户不能用来登录secureCRT这样的客户端，这种不能登陆的用户又叫做虚拟用户。因为用户 ftptest 是 nologin的，所以存在鉴权的问题。如果鉴权问题不解决，就是永不停息的 530错误。-g ftp 表示该用户属于ftp分组 (ftp分组是内置的，本来就存在，不需要自己创建)创建完用户后，需要在vsftpd服务器中配置该用户。在Linux中，不同用户是有不同目录访问权限的。-d /ftp 表示指定该用户的家目录。创建用户并设置用户对于这个文件的权限。
2023-03-15 20:48:29
2778
原创 Tcpdump
参考文献：https://www.cnblogs.com/wongbingming/p/13212306.html#idx_21今天要给大家介绍的一个 Unix 下的一个，也就是我们常说的抓包工具。与它功能类似的工具有 wireshark ，不同的是，wireshark 有图形化界面，而 tcpdump 则只有命令行。由于我本人更习惯使用命令行的方式进行抓包，因此今天先跳过 wireshark，直接给大家介绍这个 tcpdump 神器。
2023-03-15 20:42:50
31
原创 Redis
设置指定键的单个属性，如果key不存在，则表示创建一个key对应的哈希数据，如果key存在，而field不存在，则表示当前哈希数据新增一个成员，如果field存在，则表示修改哈希对应的对应成员的值。redis与mysql类似，也是C/S架构的软件，所以存在客户端和服务端，默认的redis的服务端时redis-server，默认提供的redis客户端是redis-cli。redis的官方只提供了linux版本的redis，window系统的redis是微软团队根据官方的linux版本高仿的。
2023-03-15 20:41:18
138
原创 Supervisor
Supervisor是用Python开发的一套通用的进程管理程序，能将一个普通的命令行进程变为系统守护进程daemon，并监控进程状态,异常退出时能自动重启。，配置内容，并保存。需要通过conda env list 查看当前的虚拟环境路径。把supervisor注册到ubuntu系统服务中并设置开机自启。文件，来启动我们的celery监控管理工具。文件，来触发我们的beat定时计划任务。文件，启动我们项目worker主进程。行去掉左边注释，其中170修改成。，确保此时你在项目路径下。
2023-03-15 20:38:02
1023
原创 Celery
Celery不建议在windows系统下使用，Celery在4.0版本以后不再支持windows系统，所以如果要在windows下使用只能安装4.0以前的版本，而且即便是4.0之前的版本，在windows系统下也是不能单独使用的，需要安装gevent、geventlet或eventlet协程模块。beat调度器关闭了，则定时任务无法执行，如果worker工作进程关闭了，则celery关闭，保存在消息队列中的任务就会囤积在那里。最终在django的视图里面，我们调用Celery来异步执行任务。
2023-03-15 20:35:12
779
原创 SQL用户留存率
记录面试遇到的SQL题目--用户留存率已知一张用户信息表。结构如下：现需要计算日活跃用户，以及次日、3日、7日的用户留存率：解决思路如下： 单个表既有新客户，也有老用户每天的登录时间，所以进行自联结计算留存用户select a.dt,count(distinct a.id) as `日活跃用户`,count(distinct b.id) as `次日留存数`,count(distinct c.id) as `三日留存数`,count(distinct d.id) a..
2020-12-15 16:02:20
4065
1
原创 2020-10-22今日头条爬虫更新
今日头条爬取街拍小姐姐图片--20201022今天发现今日头条有了新的反扒机制，导致之前的爬虫无法执行，现更新## 导入需要的包import jsonimport osimport timefrom hashlib import md5from urllib.parse import urlencodeimport reimport requestsfrom bs4 import BeautifulSoupfrom requests.exceptions import Reque
2020-10-22 15:14:10
893
原创 requests实现爬取bilibili小视频
import os import reimport timeimport requestsimport randomfrom urllib3.request import urlencode定义一个函数，获取网址def get_page(next_offset): params = {'page_size': 10,'next_offset': next_offs...
2020-03-29 23:18:03
656
原创 beautiful_获取中国天气网数据
import reimport osimport timeimport pandas as pdimport requestsfrom bs4 import BeautifulSoupimport random# 完整代码url = 'http://www.weather.com.cn/weather/101010100.shtml'header = {'User-Agen...
2020-03-29 23:11:42
168
原创 beautiful_天眼查
import reimport osimport timeimport pandas as pdimport requestsfrom bs4 import BeautifulSoupimport random# 这是没有登录的状态下爬取的数据，如果需要更多，则需要添加账号登录后 的cookie参数信息。当然也会增加封号的风险url = 'https://m.tianyan...
2020-03-29 23:10:45
298
原创 requests_猫眼电影
import re import osimport timeimport randomimport requestsimport pandas as pd# 方法一，用于网页翻页有规律的情况，如0,10,20,30,40# 存储数据 datalist = []for i in range(11): #爬取10页 print('正在爬取第%s页'%i) u...
2020-03-29 23:09:34
200
原创 requests_爬取链家面积和价格
#导入模块import osimport reimport pandas as pdimport randomimport timeimport requests爬取数据# 存储datalist = []for i in range(1,11): # 爬取10页 print('正在爬取第%s页'%i) url = 'https://gz.lianjia....
2020-03-29 23:08:13
279
原创 selenium实现动态网页爬取
# 动作链# 反爬的一种手段，通过移动图片来进行反爬from selenium import webdriver # 声明一个浏览器对象from selenium.webdriver import ActionChainsimport timeimport pandas as pdfrom bs4 import BeautifulSoupfrom selenium.webdriv...
2020-03-29 23:06:34
1092
原创 urllib实现链家图片爬取
导入模块import reimport osimport urllib.request# urllib 库# requests:http请求模块，用来模拟请求# error: 异常处理模块，如果出现请求出错，可以捕捉异常# parse:提供url处理方法，如拆分，解析，合并等# robotparse:识别网站的robots.txt文件，判断哪些网站可以爬取# 发送请求的两...
2020-03-29 23:04:46
445
1
原创 BeautifulSoup实现豆瓣电视评论
#导入模块import reimport osimport timeimport randomimport pandas as pdimport requestsfrom bs4 import BeautifulSoup#爬取数据header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleW...
2020-03-29 23:02:22
162
原创 python爬虫_舌尖上的中国
#导入模块import reimport osimport timeimport randomimport requestsimport pandas as pdimport jiebafrom wordcloud import WordCloudfrom wordcloud import STOPWORDS # 停用词import matplotlib.pyplot as...
2020-03-29 23:00:49
406
原创 python爬虫_今日头条街拍照片
#导入模块import osimport reimport timeimport requestsimport pandas as pdfrom urllib3.request import urlencode #用于网址合并from bs4 import BeautifulSoupfrom hashlib import md5 # 用于对图片进行编码起名字#自定义...
2020-03-29 22:58:14
345
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人