
python & 爬虫
文章平均质量分 59
python和Pycharm
ximeneschen
这个作者很懒,什么都没留下…
展开
-
开发者工具-sources(源代码选项)
当我们想在页面上面直接修改代码进行调试的时候,但是又不想保存到本地磁盘上面直接修改本地文件,那么可以使用替换功能,将当前修改的文件副本临时保存到一个我们指定的文件夹中,用这个文件来替换当前页面中的文件,以达到实时调试的效果。我们可以看到文件内部的style与script报出了错误,js中的eval也报出了错误,其实下面的new Function和setTimeout也是违反策略的,只不过eval报出的错误中断了代码的执行。,大家有兴趣的可以去了解一下,因为这里不属于本项目的内容,因此不做过多讲解。原创 2024-06-01 01:08:31 · 2141 阅读 · 0 评论 -
execjs执行报: ‘gbk‘ codec can‘t decode byte 0xac in position 62: illegal multibyte sequence
【代码】execjs执行报: ‘gbk‘ codec can‘t decode byte 0xac in position 62: illegal multibyte sequence。原创 2023-12-22 21:21:43 · 561 阅读 · 0 评论 -
web逆向经验
对于逆向老手而言,“补环境” 这个词不会陌生,当我们每次把辛辛苦苦扣出来的 “js加密算法代码”,并且放在浏览器环境中能正确执行后,就需要将它放到Node环境 中去执行,即对于这段 “js加密算法代码” 而言,我们补出来的环境与浏览器环境一致。将顺序执行的代码混淆成乱序执行,并加以混淆,以下两段代码的执行结果是相同的。要想 “补浏览器环境”,首先我们得知道 “js加密算法代码” 到底。补浏览器环境” 其实是补浏览器有 而Node没有的环境,即。补的越完善,我们能通杀JS环境检测越多。原创 2023-12-22 15:50:57 · 2168 阅读 · 0 评论 -
linux下python导入特定路径的包
通过调用sys.path.append(“it’s path”)添加,但这种方式是临时的,退出当前会话之后就失效了。此时,可以打印 echo $PYTHONPATH 查看一下是否添加成功。进入python模式下,原创 2023-10-16 19:34:52 · 513 阅读 · 0 评论 -
Python中 *args 和 **kwargs的用法总结
args 和 **kwargs 是 Python 中常用的特殊参数,。原创 2023-04-24 18:54:56 · 1118 阅读 · 1 评论 -
aiohttp 异步爬虫实战
这里网页源码过长,只截取输出了一部分,可以看到我们成功获取了网页的源代码及响应状态码 200,也就完成了一次基本的 HTTP 请求,即我们成功使用 aiohttp 通过异步的方式进行了网页的爬取,当然这个操作用之前我们所讲的 requests 同样也可以做到。所以,这里可以按照实际情况处理,参考官方文档说明,看看其对应的返回值是怎样的类型,然后决定加不加 await 就可以了。对于一些返回 coroutine 的操作,前面需要加 await 来修饰,如 response 调用 text 方法,原创 2023-04-19 03:03:36 · 528 阅读 · 0 评论 -
异步爬虫的原理和解析
以上便是 Python 中协程的基本原理和用法,在后面文章会详细介绍 aiohttp 的使用和爬取实战,实现快速高并发的爬取。原创 2023-04-19 02:12:25 · 1483 阅读 · 0 评论 -
python拼接mysql时遇到unsupported format character ‘?‘ “(0x82f1)“
因为%也是需要转义的字符,所以要再加一个%def getIDResultFromMysql(): yc=str('\'%%英超%%\'') xj=str('\'%%西甲%%\'') dj=str('\'%%德甲%%\'') fj=str('\'%%法甲%%\'') yj=str('\'%%意甲%%\'') query_condition=' and (match_type like ' + yc +' or match_type like '+xj+' or原创 2021-04-03 19:29:17 · 473 阅读 · 0 评论 -
服务器 Font family [‘sans-serif‘] not found.Falling back to DejaVu Sans.解决办法
1、在终端python 的环境下,查看字体路径import matplotlib print(matplotlib.matplotlib_fname())2、下载SimHei官方下载网址,并前往指定目录:/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/matplotlib/mpl-data/fonts/ttf,将下载好的SimHei移动到该目录下。3、删除matplotlib的缓冲目转载 2021-03-22 10:10:40 · 3019 阅读 · 0 评论 -
python canvas获取的图片流数据为空
def StartDraw(self): canvas = plt.figure().canvas plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签 plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号 win = np.array(self.win) drawn = np.array(self....原创 2021-03-21 16:04:59 · 660 阅读 · 0 评论 -
python 图片上传到minio时,在minio不是显示图片格式
def UploadMinio(IOData,length,fileName): minioClient.put_object('xxxxx',fileName,IOData,length,content_type='image/png')一定要注意content_type这个属性备注:由于浏览器的限制,当上传文件时,设置header为application/octet-stream时,浏览器打开链接会默认进行下载而不是在浏览器中加载文件,所以如果想要文件时直接打开,上传时则不要设置appl原创 2021-03-21 15:56:10 · 2899 阅读 · 0 评论 -
linux后台运行python脚本
&符号这两天要在一直运行一个Python脚本,当然就想到了在命令后面加&符号$ python /data/python/server.py >python.log &说明:1、 > 表示把标准输出(STDOUT)重定向到 那个文件,这里重定向到了python.log2、 & 表示在后台执行脚本这样可以到达目的,但是,我们退出shell窗口的时候,必须用exit命令来退出,否则,退出之后,该进程也会随着shell的消失而消失(退出、关闭)使用noh转载 2021-03-12 13:48:30 · 701 阅读 · 0 评论 -
centOS安装python
一、选择版本https://www.python.org/downloads/source/二、解压# tar -zxvf Python-3.6.1.tgz# cd Python-3.6.1# ./configure# make && make install三、问题error: no acceptable C compiler found in $PATH错误https://blog.csdn.net/qq_40572277/article/details/8793原创 2021-03-11 15:38:58 · 1761 阅读 · 0 评论 -
python设置函数执行时间
import eventleteventlet.monkey_patch()#必须加这条代码with eventlet.Timeout(2.5, False)://2.5为执行时间 response_status = self.testProxy(url, proxy)原创 2020-03-05 08:44:09 · 1798 阅读 · 0 评论 -
python3.7使用pip install xxxx报错:UnicodeDecodeError: 'gbk' codec can't decode byte
今天使用pip安装一个包遇到如下错误 UnicodeDecodeError: 'gbk' codec can't decode byte 0x99 in position 820: illegal multibyte sequence原因是windows的编码问题解决方法:先下载文件包先解压出来,在setup.py中找到open(),添加encoding=‘UTF-8’,修改后,...原创 2020-02-03 18:15:27 · 2237 阅读 · 0 评论