- 博客(10)
- 收藏
- 关注
RSS订阅原创 python爬虫 常见的 插件和 用法持续更新
爬虫 常见的 插件和 用法from fake_useragent import UserAgent实用包： headers = {'User-Agent': UserAgent().random} 从请求头包中随机挑选一个请求头import os常用法： os.listdir() 返回指定目录下所有的文件和文件夹，返回的格式是列表(list) path = os.path.join(path, str(name)) 拼接 文件夹地址 os.path.exists(path) 判断
2022-02-07 17:50:02
1585
原创 selenium xpath 和 人机检测
大家是不是也和我一样 在遇到一些有反爬和JS比较复杂的网站就头疼 总想着用简单的selenium去解决呢、可就算我们用selenium自动爬取也会呗发现并出现人机验证那他们是怎么分辨我们的爬取活动呢# 就是上边这个东西把我们暴露了# 我也来分享下我在遇到这种问题的一个跳过办法吧from selenium import webdriver #这里我把他直接写成一个函数了 def get_options(self): options = webdriver.ChromeOp
2021-07-21 11:31:06
2552
2
原创 SSL：InsecureRequestWarning 问题解决（安全连接）
在爬虫中 也许会遇到一些问题 比如网站不是安全连接#coding=utf-8import requestsurl = 'https://sam.huat.edu.cn:8443/selfservice/' #这里找一个无法直接安全进入的网页resp = requests.get(url).contentprint(resp)访问的时候会发现 SSL证书问题无法进入：cerify=False虽然可以跳过安全认证，也就是不验证证书的可靠性，直接请求。但是这其实是不安全的，因为证书可以伪造，不
2020-05-24 01:09:37
1774
原创 python获取各个时间的时间戳
获取各个时间的时间戳包含1min、5min、15min、30min、60min、1天、1周、1月、1年的时间戳import timeimport datetimefrom datetime import timedeltanow = datetime.datetime.now() #获取当前时间Nowtime = int(time.time()) # 获取当前时间戳time...
2019-12-25 15:55:40
1879
原创 socket 学习 客户端和服务端
TCP客户端import socketimport timesock = socket.socket() # 连接服务端sock.connect(('127.0.0.1', 999, ))#socket根据ip端口号绑定服务端message = 'key' #因为这个实验是从redis里取得值 所以这里为key#login接收到的消息while True: s...
2019-10-21 11:19:12
165
原创 python关于汉字不能打印出来
在平时的json格式中 汉字是无法显示出来的import json dict1 = {'name': '哒哒哒', 'age': 22}json = json.dumps(dict1) #转换成json格式的字符串格式print(json) #{"name": "\u54d2\u54d2\u54d2", "age": 22}但是为了方便查看数据是否正确，只能找懒人的办法了。那就...
2019-09-27 18:22:44
1512
原创 redis-cli 报错：-bash: redis-cli: command not found
出现错误：使用redis-cli后报错-bash: redis-cli: command not found解决办法：重新下载 redis-cli 压缩包linux命令 : wget http://download.redis.io/redis-stable.tar.gz (下载) tar xvzf redis-stable.tar.gz （解压) cd r...
2019-09-25 16:45:53
2339
原创 python websocket连接方式
websocket 获取格式与数据这里是获取到数据的请求格式向websocket发送请求发送请求 返回数据import jsonfrom ws4py.client.threadedclient import WebSocketClient #话说这个库也太好用了class CG_Client(WebSocketClient): def opened(self): ...
2019-09-03 18:38:19
2258
原创 python redis有序集合
关于有序集合这里和菜鸟教程里的不一样 也是redis 有序集合的大坑所在，很荣幸我也踩了就是 value和score 是反过来的的 在菜鸟教程中是 zadd (key 分数，值(字符串))r.zadd(key, value, score) #插入r.zrange(key, start, stop) #查询内容r.zremrangebyrank(key, start, ...
2019-09-03 17:26:20
440
原创 python最小的接口demo
from flask import Flaskfrom flask_cors import CORS # 关于前端跨域问题解决app = Flask(__name__)CORS(app, supports_credentials=True)@app.route('/<string:int>')def i(int): a = int return aif _...
2019-08-15 10:02:36
289
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人