- 博客(76)
- 收藏
- 关注
RSS订阅原创 python协程实战
print('hello 异步')c = test() # 调用异步函数,得到协程对象-->cloop = asyncio.get_event_loop() # 创建事件循环loop.run_until_complete(c) # 把协程对象丢给循环,并执行异步函数内部代码await asyncio.sleep(1):用来模拟耗时的任务task：对协程对象的进一步封装print('hello 异步')c = test() # 调用异步函数,得到协程对象-->c。
2023-04-22 22:11:08
699
1
原创 Haproxy 介绍与参数详解
haproxy的配置文件由两部分组成：全局设置和对代理的设定，共分为五段：globaldefaultsfrontendbackendlisten。global: 全局配置，主要用于定义全局参数，属于进程级的配置，通常和操作系统配置有关。default: 配置默认参数，这些参数可以被用到frontend，backend，Listen组件。frontend：接收请求的前端虚拟节点，frontend可以指定具体使用后端的backend。
2023-03-17 00:44:58
2585
原创 Nginx常见用法
负载均衡建立在现有网络结构之上，它提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。负载均衡（Load Balance）其意思就是分摊到多个操作单元上进行执行，例如Web服务器、FTP服务器、企业关键应用服务器和其它关键任务服务器等，从而共同完成工作任务。
2023-03-15 22:24:12
876
原创 k8s详解
endpoint是k8s集群中的一个资源对象，存储在etcd里面，用来记录一个service对应的所有pod的访问地址。前面我们部署的应用，都是不需要存储数据，不需要记住状态的，可以随意扩充副本，每个副本都是一样的，可替代的。kubernetes 集群不会为你处理数据的存储，我们可以为数据库挂载一个磁盘来确保数据的安全。k8s 部署项目时，有一个敏感词或者动态变更的参数，不能写死在docker镜像中，同时，也可以引入外部服务，使得 k8s能够访问外部有状态的服务，比如db等。如果是业务场景，一般首选使用。
2023-03-15 22:02:21
799
2
原创 Docker
在 Linux系统中常见一个 文件系统，可以通过创建多个镜像来实现各个项目之间的隔离，同时每个镜像之间都没有接口相同，沙箱处理镜像是静态的定义， 容器是镜像的动态。
2023-03-15 21:53:57
777
原创 Vsftpd
s /sbin/nologin 表示这个用户不能用来登录secureCRT这样的客户端，这种不能登陆的用户又叫做虚拟用户。因为用户 ftptest 是 nologin的，所以存在鉴权的问题。如果鉴权问题不解决，就是永不停息的 530错误。-g ftp 表示该用户属于ftp分组 (ftp分组是内置的，本来就存在，不需要自己创建)创建完用户后，需要在vsftpd服务器中配置该用户。在Linux中，不同用户是有不同目录访问权限的。-d /ftp 表示指定该用户的家目录。创建用户并设置用户对于这个文件的权限。
2023-03-15 20:48:29
2454
原创 Redis
设置指定键的单个属性，如果key不存在，则表示创建一个key对应的哈希数据，如果key存在，而field不存在，则表示当前哈希数据新增一个成员，如果field存在，则表示修改哈希对应的对应成员的值。redis与mysql类似，也是C/S架构的软件，所以存在客户端和服务端，默认的redis的服务端时redis-server，默认提供的redis客户端是redis-cli。redis的官方只提供了linux版本的redis，window系统的redis是微软团队根据官方的linux版本高仿的。
2023-03-15 20:41:18
113
原创 Supervisor
Supervisor是用Python开发的一套通用的进程管理程序，能将一个普通的命令行进程变为系统守护进程daemon，并监控进程状态,异常退出时能自动重启。，配置内容，并保存。需要通过conda env list 查看当前的虚拟环境路径。把supervisor注册到ubuntu系统服务中并设置开机自启。文件，来启动我们的celery监控管理工具。文件，来触发我们的beat定时计划任务。文件，启动我们项目worker主进程。行去掉左边注释，其中170修改成。，确保此时你在项目路径下。
2023-03-15 20:38:02
655
原创 Celery
Celery不建议在windows系统下使用，Celery在4.0版本以后不再支持windows系统，所以如果要在windows下使用只能安装4.0以前的版本，而且即便是4.0之前的版本，在windows系统下也是不能单独使用的，需要安装gevent、geventlet或eventlet协程模块。beat调度器关闭了，则定时任务无法执行，如果worker工作进程关闭了，则celery关闭，保存在消息队列中的任务就会囤积在那里。最终在django的视图里面，我们调用Celery来异步执行任务。
2023-03-15 20:35:12
616
原创 SQL用户留存率
记录面试遇到的SQL题目--用户留存率已知一张用户信息表。结构如下：现需要计算日活跃用户，以及次日、3日、7日的用户留存率：解决思路如下： 单个表既有新客户，也有老用户每天的登录时间，所以进行自联结计算留存用户select a.dt,count(distinct a.id) as `日活跃用户`,count(distinct b.id) as `次日留存数`,count(distinct c.id) as `三日留存数`,count(distinct d.id) a..
2020-12-15 16:02:20
3696
1
原创 2020-10-22今日头条爬虫更新
今日头条爬取街拍小姐姐图片--20201022今天发现今日头条有了新的反扒机制，导致之前的爬虫无法执行，现更新## 导入需要的包import jsonimport osimport timefrom hashlib import md5from urllib.parse import urlencodeimport reimport requestsfrom bs4 import BeautifulSoupfrom requests.exceptions import Reque
2020-10-22 15:14:10
860
原创 requests实现爬取bilibili小视频
import os import reimport timeimport requestsimport randomfrom urllib3.request import urlencode定义一个函数，获取网址def get_page(next_offset): params = {'page_size': 10,'next_offset': next_offs...
2020-03-29 23:18:03
622
原创 beautiful_获取中国天气网数据
import reimport osimport timeimport pandas as pdimport requestsfrom bs4 import BeautifulSoupimport random# 完整代码url = 'http://www.weather.com.cn/weather/101010100.shtml'header = {'User-Agen...
2020-03-29 23:11:42
148
原创 beautiful_天眼查
import reimport osimport timeimport pandas as pdimport requestsfrom bs4 import BeautifulSoupimport random# 这是没有登录的状态下爬取的数据，如果需要更多，则需要添加账号登录后 的cookie参数信息。当然也会增加封号的风险url = 'https://m.tianyan...
2020-03-29 23:10:45
245
原创 requests_猫眼电影
import re import osimport timeimport randomimport requestsimport pandas as pd# 方法一，用于网页翻页有规律的情况，如0,10,20,30,40# 存储数据 datalist = []for i in range(11): #爬取10页 print('正在爬取第%s页'%i) u...
2020-03-29 23:09:34
187
原创 requests_爬取链家面积和价格
#导入模块import osimport reimport pandas as pdimport randomimport timeimport requests爬取数据# 存储datalist = []for i in range(1,11): # 爬取10页 print('正在爬取第%s页'%i) url = 'https://gz.lianjia....
2020-03-29 23:08:13
251
原创 selenium实现动态网页爬取
# 动作链# 反爬的一种手段，通过移动图片来进行反爬from selenium import webdriver # 声明一个浏览器对象from selenium.webdriver import ActionChainsimport timeimport pandas as pdfrom bs4 import BeautifulSoupfrom selenium.webdriv...
2020-03-29 23:06:34
1046
原创 urllib实现链家图片爬取
导入模块import reimport osimport urllib.request# urllib 库# requests:http请求模块，用来模拟请求# error: 异常处理模块，如果出现请求出错，可以捕捉异常# parse:提供url处理方法，如拆分，解析，合并等# robotparse:识别网站的robots.txt文件，判断哪些网站可以爬取# 发送请求的两...
2020-03-29 23:04:46
399
1
原创 BeautifulSoup实现豆瓣电视评论
#导入模块import reimport osimport timeimport randomimport pandas as pdimport requestsfrom bs4 import BeautifulSoup#爬取数据header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleW...
2020-03-29 23:02:22
139
原创 python爬虫_舌尖上的中国
#导入模块import reimport osimport timeimport randomimport requestsimport pandas as pdimport jiebafrom wordcloud import WordCloudfrom wordcloud import STOPWORDS # 停用词import matplotlib.pyplot as...
2020-03-29 23:00:49
361
原创 python爬虫_今日头条街拍照片
#导入模块import osimport reimport timeimport requestsimport pandas as pdfrom urllib3.request import urlencode #用于网址合并from bs4 import BeautifulSoupfrom hashlib import md5 # 用于对图片进行编码起名字#自定义...
2020-03-29 22:58:14
318
原创 单行实现进度条更新，并监控时间
# TextProBarV3.py"""Created on 2020/3/21 21:22@author:xuejian"""import timescale = 50print('执行开始'.center(scale//2,"-"))start = time.perf_counter() # 通过time的perf_counter()获取当前读秒，实现计时需要多次读秒...
2020-03-21 22:05:58
282
原创 单行显示进度
import timefor i in range(101): print('\r{:3}%'.format(i),end = '') time.sleep(0.1)print('')print("------执行完成------")
2020-03-21 21:21:02
150
原创 进度条
# TextProBarV1.py"""Created on 2020/3/21 20:53@author:xuejianDesc:文本进度条"""import timescale = 10print("-----执行开始-----")for i in range(scale + 1): # 遍历10次每次进度都是10% a = "*" * i # 每进一次进度，则多...
2020-03-21 21:03:15
180
原创 多种分组聚合
import pandas as pdimport numpy as npimport matplotlibimport matplotlib.pyplot as plt#这两个参数的默认设置都是False 用于将数据对齐展示pd.set_option('display.unicode.ambiguous_as_wide', True)pd.set_option('display....
2019-08-22 22:53:50
216
原创 重写父辈方法
# 继承class Person: def __init__(self, name, age): self.name = name self.age = age def get_name(self): return self.name def get_age(self): return self.age...
2019-07-22 22:45:24
101
原创 类 继承
# 继承class Person: def __init__(self, name, age): self.name = name self.age = age def get_name(self): return self.name def get_age(self): return self.age...
2019-07-21 22:47:46
77
原创 计算时间间隔
#计算任意两个时间之间的天数，周数import datetimeclass BetDate: ''' 计算两个时间之间的间隔天数 datetime.datetime.strptime() 将字符串的时间转化成指定格式 datetime.datetime.strftime() 将时间格式转化成指定格式的字符串内容 ''' def __init...
2019-07-19 22:29:13
546
原创 class
#编写一个程序，判断学生是否完成作业# 定义一个学生类，有姓名，年纪，学科，学作业的方法# 老师有表扬和批评的方法class student: ''' 定义一个学生类 ''' def __init__(self,name,grade,subject): self.name = name self.grade = gr...
2019-07-18 23:29:15
113
原创 实现三个整数值为元素的列表对应元素求和
#实现三个以整数为元素的列表的对应元素相加lst1 = [1,2,3,4,5]lst2 = [6,7,8,9,10]lst3 = [7,8,9,2,1]num = [sum(i)for i in zip(lst1,lst2,lst3)]# print(num)num2 = map(lambda x,y,z : x +y +z ,lst1,lst2,lst3)print(list(...
2019-07-17 23:24:19
481
原创 map函数
map函数： 参数1：表达式 参数2：可迭代对象map函数返回的是一个迭代器m = list(map(lambda x:x+3,range(10)))print(m)
2019-07-17 23:14:07
91
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人