- 博客(39)
- 收藏
- 关注
RSS订阅
翻译 Python协程 之官方教程＋我的理解（下一篇专门通过代码讲解）
什么算协程(Coroutines) 通过 async/await 语法进行声明 可等待对象(Awaitables) 如果一个对象可以在 await 语句中使用，那么它就是可等待对象 可等待对象有三种主要类型：协程(我觉得这是指协程函数)，Task，Future (换言之，如果一个对象是协程，想要在其他协程函数中调用，就必须用await 修饰) 协程: 可用来表示两个紧密相连的概念 协程函数：定义形式为 async def 的函数...
2020-10-29 23:11:46
307
原创 mac 安装及操作kafka
操作系统：macOS12mac M1系统，已经不支持用brew直接安装使用kafka了，所以需要到官网下载安装包。当然，首先需要在电脑上配置好java环境，这个就不在这说了在终端输入 java -version 显示类似如下信息，说明就配置好java环境了openjdk version "1.8.0_322"OpenJDK Runtime Environment (Zulu 8.60.0.21-CA-macos-aarch64) (build 1.8.0_322-b06)OpenJDK
2022-02-25 19:24:26
4382
原创 flask+uwsgi+nginx 部署到腾讯云服务器
1. 首先要明确自己云服务器的内网IP和外网IP2. 在服务器上建立一个文件夹，此次命名为flask_project。内建一个flask项目，文件名为main.py（当然，前提是你已经在服务器安装了flask），内容如下：from flask import Flaskapp = Flask(__name__)@app.route('/')def hello_world(): return '<p>hello, world</p>'if __.
2021-11-24 09:52:12
2554
原创 python 线程池/进程池/协程 惯用写法
以下分别用线程池、进程池、协程三种方法演示了异步请求的方式。套路就是如此，剩下的就是和自己的代码匹配了from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutorimport asyncioimport httpxurls = [f'https://www.1001freedownloads.com/free-photos/?page={i}&ajax=1' for i in range(1, 50.
2021-11-19 10:32:11
675
原创 mac m1+homebrew 安装MySQL/MongoDB/Redis/Elasticsearch，并启动服务
这里基本都是参考官网了，仅当做个笔录1. 使用brew安装 警告⚠️ 不要直接 brew install mongodb 而是要执行下面两步。当然，执行之前还是要在终端设置代理。brew tap mongodb/brewbrew install [email protected] 安装的路径记录下（mac M1版）：/opt/homebrew/Cellar/mongodb-community/5.0.22. 启停mon...
2021-08-27 17:28:47
635
原创 mac 通过homebrew安装anaconda并配置环境变量
环境mac 11.4zsh终端第一步：打开zsh终端第二步：安装homebrew官网给的链接会报错如下，连上VPN也没有用。curl: (7) Failed to connect to http://raw.githubusercontent.com port 443: Operation timed out所以只能使用国内的数据源：/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/.
2021-08-17 21:16:33
10964
6
原创 某备案网查询，最新逆向
目标网站：aHR0cHM6Ly9iZWlhbi5taWl0Lmdvdi5jbi8= （某加密后的网站，应该懂得）所需技能：哈希算法，OpenCV相关的图像知识，python爬虫基础库的运用网上关于此网站破解的文章很多，但是基本都过时了。不过基于此网站衍生出来的第三方网站却很多，比如需要开会员才能看的站长工具等。那我们何不自己来破解一下呢？先看首页输入要查询的单位名称，点击搜索，会弹出一个滑块的验证码。不要慌，此验证码既不是某验的，也不是某盾的。验证通过，得到所有信息。s...
2021-08-05 09:55:27
179
原创 Python 将‘\xE5\xB9\xB3\xE5\xAE...‘转为中文
start_data = '\xE5\xB9\xB3\xE5\xAE\x89\xE9\x93\xB6\xE8\xA1\x8C\xE8\x82\xA1\xE4\xBB\xBD\xE6\x9C\x89\xE9\x99\x90\xE5\x85\xAC\xE5\x8F\xB8\xE6\xB7\xB1\xE5\x9C\xB3\xE5\x88\x86\xE8\xA1\x8C'first_data = start_data.encode('raw_unicode_escape')last_data = first_.
2021-06-03 15:09:40
1853
原创 Python爬虫获取简书首页内容（2021年3月8日测试有效）
import requestsimport timeimport randomimport csvimport codecsfrom user_agent import generate_user_agentfrom bs4 import BeautifulSoupimport urllib3urllib3.disable_warnings()class JianShu: def __init__(self): self.user_agent = genera.
2021-03-08 22:36:12
340
原创 python爬虫获取有道翻译结果(2021年3月3日亲测有效)
import requestsimport randomimport hashlibimport timeimport jsonclass YouDao: def __init__(self, word): self.url = url self.headers={ } self.word = word self.formdata=None def generate_formdata
2021-03-03 14:51:40
607
6
原创 爬虫中需要用到的一些去重思路
对需要爬取的url去重1.比较少，百八十条的，可以用set集合2.多一点的，成千上万了，可以用redis3.如果url很长，还可以先对其做hash处理，可以节省空间4.要是数量更大，百万千万级别了，可以考虑布隆过滤器对需要去重的文本内容1.首先，文本内容，可能只是某个标点符号，某几个字稍微改动下，利用hash后的值做比较，就算是不同的了。但实际上，我们认为这种对文本内容做了微小的改动，仍然算作一样的文本。2.此时，就要考虑更复杂的算法，例如simhash等3.此场景是否很熟悉？论文查重？.
2021-03-03 11:37:57
98
原创 透过源码，分析json的四个方法
json.dump(obj,fp)serialize ‘obj’ as a JSON formatted stream to ‘fp’ (a ‘.write()’-supporting file-like objects).序列化。源码里有一个方法是 fp.write() ，把一个json格式的obj对象，写入到一个流文件fp里。常见的支持write()方法的类型有open(file,‘w’)。简单理解就是将obj经过json.dumps()处理成str后，写入到file文件中。json.d..
2020-11-18 16:41:09
207
原创 一文带你入门MySQL 8 （上）
1. 下载安装，设置登录密码******(自己定的)，设置服务器名称MySQLykp(自己定的)，配置环境变量2. 启动MySQL服务器：net start MySQLykp （默认是自动开启状态) 关闭： net stop MySQLykp 查看数据库版本：mysql -V3. 连接MySQL: 直接CMD进入，需要输入命令行 mysql -h hostname|hostip -P port -u username -p [databasename] -e 's...
2020-11-14 00:52:14
311
原创 ERROR3948: Loading local data is disabled - this must be enabled on both the client and server sides
在mysql 8.0.22 运行load data local 从本地文本导入数据时，报错："ERROR 3948(42000): Loading local data is disabled - this must be enabled on both the client and server sides".结合官方文档和Stack Overflow上的解释，得到以下最佳的解决方案，如下:1.首先，检查一个全局系统变量 'local_infile' 的状态:s...
2020-11-05 23:54:04
20542
25
原创 结合HTTPX，用代码讲解对 asyncio 协程的理解和用法
“HTTPX is a fully featured HTTP client for Python 3, which provides sync and async APIs, and support for both HTTP/1.1 and HTTP/2."相比 atihttp ，httpx 更得我心，但是具体怎么用，就请移步官网了。官网链接送大家：HTTPX下面开始撸代码：import asyncioimport timeimport httpx# !!! http 和 h
2020-10-30 00:37:09
1316
原创 在写爬虫中遇到的几个问题和几点收获
1.使用requests进行网络请求时，遇到https开头的url，可设置参数varify=False。但是会在终端提示InsecureRequestWarning，很是烦人＋丑。这时可以在requests发出请求之前加一行requests.packages.urllib3.disable_warnings()，亲测有效。(其实紧挨着import requests下放这一行代码也是可以的)。2.当出现报错"urllib3(×.×.×)or chardet(×.×.×)doesn’t match a s
2020-10-29 11:41:32
309
原创 Django QuerySet 使用技巧总结
QuerySet是Django的查询集，可以通过QuerySet条件查询得到对应模型的对象集合。queryset 相当于sql 中的select语句基本查询方法：all, filter, get, exclude.all() : 获取某张表的所有记录； filter(**kwargs) : 返回一个根据参数查询到的queryset； exclude(**kwargs): 和fil...
2020-04-26 22:22:14
511
原创 Error loading MySQLdb module. Did you install mysqlclient 或者mysqlclient 1.3.13 or newer is required;
问题背景：mysql 8.0.19 python 3.7.2 django 3.0.4(2.2之后的都一样) pymysql 0.9.3(已安装) mysqlclient 1.4.6(已安装) mac环境问题描述:当操作至 python manage.py makemigrations的时候，报错：django.core.exceptions.ImproperlyConf...
2020-03-18 23:17:28
437
原创 Matplotlib入门学习
matplotlib.pyplot是绘制各类可视化图形的命令子库import matplotlib.pyplot as pltplt.plot(x, y, format_string, **kwargs)x：x轴数据，列表或数组，可选(绘制多条曲线时不可省略) y：y轴数据，列表或数组 format_string：控制曲线的格式字符串，可选 颜色字符 风格字符 标...
2020-03-06 16:10:04
131
原创 图像手绘效果
from PIL import Imageimport numpy as npa = np.asarray(Image.open('WechatIMG1.jpeg','r').convert('L')).astype('float')depth = 10 #预设深度值为10， 取值范围0-100grad = np.gradient(a)grad_x,grad_y = grad #...
2020-03-06 14:12:26
268
原创 NumPy的统计函数和梯度函数
统计函数 函数 说明 sum(a, axis=None) 根据给定轴axis计算数组a相关元素之和，axis整数或元组 mean(a, axis=None) 期望值 average(a, axis=None, weights=None) 加权平均值 std(a, axis=None) 标准差 var(a, axis=None) 方差 m...
2020-03-05 17:51:07
598
原创 NumPy的随机数函数
numpy的random子库np.random.*np.random.rand(3,4,5) #创建[0,1)之间的3维随机浮点数数组，均匀分布np.random.randn(3,4,5) #创建3维随机数数组，标准正态分布np.random.randint(100, 200, (3,4)) #创建[100，200)之间的随机整数数组，shape是(3，4)np.rand...
2020-03-05 17:36:45
241
原创 NumPy读写一维和多维数据
1.读写CSV文件（支持一维和二维）import numpy as npnp.savetxt(frame, array, fmt='%.18e',delimiter=None)np.loadtxt(frame, dtype=np.float, delimiter=None, unpack=False)frame：文件、字符串或产生器，可以是.gz或是.bz2的压缩文件 array：...
2020-03-05 16:32:39
835
原创 爬取小说《平凡的世界》
#story.py#coding=utf8import requestsfrom bs4 import BeautifulSoupfrom selenium import webdriverdef download(url,retry_nums=2): headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) A...
2018-09-25 14:01:48
515
原创 抓取IP并验证其可用性
#proxy.py#coding=utf-8from bs4 import BeautifulSoupimport http.clientimport requestsimport threadinginFile = open('proxy.txt')outFile = open('verified.txt', 'w')lock = threading.Lock()de...
2018-09-25 13:58:01
838
原创 每天发送天气预报
#weather.py#coding=utf8import urllib.requestfrom time import ctimefrom bs4 import BeautifulSoupimport itchatimport schedule, timeclass Weather(): itchat.auto_login(hotReload=True) de...
2018-09-25 13:55:48
500
原创 用微信每天自动给好友发送一个景点介绍
首先在数据库中创建一张表（Spots），列名分别是spot, url, ident. 创建mapping#spoturl.pyfrom sqlalchemy import Column, String, INT, and_from sqlalchemy.ext.declarative import declarative_baseBase = declarative_base()...
2018-09-25 13:53:41
506
原创 Django2.0关于连接SQLserver2014的settings文件配置
先上完整配置代码，再一一解读。DATABASES = { # 'default': { # 'ENGINE': 'django.db.backends.sqlite3', # 'NAME': os.path.join(BASE_DIR, 'db.sqlite3'), # } 'default':{ 'ENGINE':'s...
2018-09-05 18:12:33
1038
原创 SQLAlchemy连接SQLserver数据库及常用的DB操作
第一步：定义一个类，映射DB的一个表，同时要在SQLserver数据库中建立一张对应的表#Person.pyfrom sqlalchemy import Column,String,INTfrom sqlalchemy.ext.declarative import declarative_baseBase = declarative_base() #创建对象的基类class P...
2018-09-05 17:38:08
15476
2
原创 Python SMTP发送邮件实例
Python SMTP发送简单邮件。如果发送HTML格式的邮件，只需将MIMEText里面的参数 'plain' 改为 'html' 即可。import smtplibfrom email.header import Headerfrom email.mime.text import MIMETextdef send_email(sender, receiver, cc, subj...
2018-08-15 16:10:21
633
翻译 关于query.filter()的一些常用的方法
equals: query.filter(User.name=='ed')not equals:query.filter(User.name!='ed')like:query.filter(User.name.like('%ed%'))in:query.filter(User.name.in_(['ed','wen','jask']))not in:...
2018-07-25 11:35:58
27244
原创 os和os.path模块的常用功能
os模块：os.name()------判断现在正在使用的平台os.getcwd()------得到当前工作的目录os.listdir()------指定所有目录下的文件和目录名os.remove()-------删除指定的文件os.rmdir()-------删除单层目录，如果该目录非空则抛出异常os.removedirs()------递归删除目录，从子目录到父目录逐层尝试删除，如果遇见非空则...
2018-07-10 15:00:12
587
转载 Python模块之shutil
1. shutil.copyfileobj(fsrc, fdst[, length=16*1024]) #copy文件内容到另一个文件，可以copy指定大小的内容2. shutil.copyfile(src, dst) #copy文件内容3. shutil.copymode(src, dst) #copy权限，不更改文件内容、组和内容4. shutil.copystat(s...
2018-07-06 15:43:09
124
原创 python写倒三角
a =['*','*','*','*','*']for i in a: print(i*len(a)) a=a[:-1]#*****#****#***#**#*
2018-02-01 21:24:43
9239
1
翻译 urllib.parse.urljoin(base, url, allow_fragments=True)的解释和用法
urllib.parse.urljoin(base, url, allow_fragments=True)通过将一个“基本URL”(base)和另一个URL(URL)组合起来，构建一个完整的(“绝对”)URL。通俗地说，就是补全相对路径以变成绝对路径。官方举例：>>> from urllib.parse import urljoin>>> urljoin('http://www.cwi
2018-01-07 00:12:34
1379
翻译 urllib.parse.urldefrag(url)用法详解
urllib.parse.urldefrag(url)如果url包含一个片段标识符，则返回一个没有片段标识符的修改过的url，并且这个片段标识符作为单独的字符串。如果url中没有片段标识符，则返回未修改的url和一个空字符串。返回值实际上是元组的一个子类实例。这个类有以下附加的只读属性:attributeindexvaluev
2018-01-06 23:39:06
1272
原创 Windows7和Ubuntu16.04通过Samba服务共享的设置方法
一、安装Samba下载安装SambaUbuntu终端输入sudo apt-get install samba修改/etc/samba目录下的配置文件smb.conf下面的操作在终端操作，并且需要root权限 sudo -i修改文件vim /etc/samba/smb.conf进入文件后，在global部分做如下添加操作在文件末尾添加如下图内
2018-01-05 18:19:10
6806
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人