python
文章平均质量分 68
Arckal
The quick brown fox jumps over the lazy dog.
展开
-
docker 容器报core dump错误,python程序异常终止
一,准备1,启动容器,一定要加 --privileged --ulimit core=-1 这个参数,不然无法生成coredump文件docker run -itd --privileged --ulimit core=-1 镜像 /bin/sleep 3600步骤二:设置core dump文件位置vi /etc/sysctl.conf修改(添加)如下两个变量kernel.core_pattern =/var/core/core_%e_%pkernel.core_uses_p原创 2021-01-25 15:16:52 · 1703 阅读 · 0 评论 -
python3.6最新可用apt源,解决Ubuntu安装python3.6报错403 Forbidden
sudo add-apt-repository ppa:deadsnakes/ppasudo apt updatesudo apt install python3.6参考地址:https://qiita.com/pudding167/items/1d7226155cbfcd76bb1a原创 2019-12-30 19:59:24 · 1623 阅读 · 0 评论 -
python装opencv: import cv2后 DLL load failed 系统Windows Server
最近,我在 Windows Server 2012 r2安装opencv-python时中遇到了类似的问题。 尝试使用和不使用Anaconda的所有选项,但是没有一个帮助。 经过大量调查,我发现缺少与Window Media Service相关的mfplat.dll。因此,您必须手动安装功能,以便获取与窗口媒体服务相关的dll。1.打开或关闭Windows功能2.跳过角色屏幕直接进入功能屏幕...原创 2019-12-18 16:25:15 · 893 阅读 · 0 评论 -
Flask, Tornado,Japronto性能测试对比
针对web框架Flask, Tornado,Japronto做下简单测试测试环境,虚拟机Ubuntu16.04 4核CPU 8G内存查看服务器配置root@localhost:/home/frog/test# uname -aLinux localhost 4.4.0-87-generic #110-Ubuntu SMP Tue Jul 18 12:55:35 UTC 2017 x...原创 2019-04-15 19:41:43 · 4228 阅读 · 0 评论 -
使用ansible管理Windows主机之Windows配置
最近配置ansible管理Windows机器,需要启用winrm的服务,所以要在windows平台上启用winrm服务。我的环境是Windows10企业版。winrm service 默认都是未启用的状态,所以要先启动winrm服务。第一步,设置winrm服务为延迟启动,并启动服务。第二步,以管理员运行powershell,执行下列脚本$url = "https://r...原创 2019-01-31 11:41:42 · 4091 阅读 · 0 评论 -
windows上开启winrm服务
最近配置ansible管理Windows机器,需要启用winrm的服务,所以要在windows平台上启用winrm服务。winrm service 默认都是未启用的状态,先查看状态;如无返回信息,则是没有启动;打开powershell终端,输入下列命令进行配置:winrm enumerate winrm/config/listener针对winrm service 进行基础配置:...原创 2019-01-30 17:26:57 · 10321 阅读 · 3 评论 -
Received unregistered task of type ‘XXX’ Celery报错
[2018-11-06 10:23:48,346: DEBUG/MainProcess] basic.qos: prefetch_count->4[2018-11-06 10:24:00,129: ERROR/MainProcess] Received unregistered task of type 'rub_jobs.tasktest'.The message has been ...原创 2018-11-06 10:43:34 · 11043 阅读 · 5 评论 -
PyCharm找不到新打开项目的窗口的解决办法
在使用PyCharm或其他JetBrains系IDE过程中,偶尔会出现在新窗口打开一个新项目后,找不到新打开的窗口的情况。尤其在使用双显示器情况下,出现的次数比较多。但鼠标放任务栏ide图标上,还会出现预览窗口,如下图所示:这是什么情况呢?其实不是窗口没打开,而是窗口打开了,但是跑到了你看不到的地方。这个窗口位置信息会记录在项目根目录的 .idea 文件下的workspac...原创 2018-08-23 14:32:47 · 7537 阅读 · 1 评论 -
mongodb CPU飙升100%怎么办?快去增加索引
在一次用多进程加协程并发爬取数据的时候,发现mongodb服务器的CPU一下飙升到了100%,严重影响了并发爬取的速度。于是查了下,说是增加索引。我在程序了操作mongodb的代码如下:# 存在则更新,不存在则插入 await self._async_collection.update_one({'url_hash':self.url_hash},{"$set":data},...原创 2018-08-20 14:39:04 · 1742 阅读 · 0 评论 -
爬虫进阶:教你如何突破网站文字加密
反爬与反反爬一直是一个相互博弈的游戏。道高一尺,魔高一丈,知己知彼方能百战不殆,想要突破网站的反爬机制,你必须深入了解当下的前端开发技术,才能在这个游戏中生存下去。本人是一名爬虫爱好者,最近在爬一个小说网站时,通过抓包分析,发现小说正文被加密过了,如图所示:获取小说正文的响应数据小说正文加密数据根据字面意思可以看到,小说正文是编码保存在Content这个键中,但这种字符编码...原创 2018-07-30 09:35:03 · 12450 阅读 · 3 评论 -
celery 定时任务不执行,原因令人震惊...(版本4.1.0)
在使用celery 执行定时任务时,发现任务不会执行,schedule设置如下:经测试,如果去掉hour,则任务每分钟都会执行,说明是hour的问题,那只有是时区的问题了。遂将hour改为UTC的时间,发现任务可以执行,说明celery使用的是UTC时区,但我设置的时区如下:CELERY_TIMEZONE='Asia/Shanghai',CELERY_ENABLE_UTC=True,说明这两行...原创 2018-06-20 15:31:44 · 14049 阅读 · 3 评论 -
Python Assert断言
Assert断言声明Assert断言可以很方便的在调试程序时插入调式断言。基本语法:assert expression等价于if __debug__: if not expression: raise AssertionError扩展语法:assert expression1, expression2等价于if __debug__: if not expression1: rais...原创 2018-04-04 18:35:16 · 272 阅读 · 0 评论 -
Spider爬虫框架之Selectors
Selectors在抓取网页时,最常见任务是从HTML源中提取数据。 有几个库可以实现这一点:BeautifulSoup是Python程序员中非常流行的网页抓取库,它基于HTML代码的结构构建了一个Python对象,同时也很好地处理了坏标记,但它有一个缺点:速度很慢。lxml是一个基于ElementTree的pythonic API的XML解析库(它也解析HTML)。 (lxml不是Python标...原创 2018-04-02 15:58:53 · 636 阅读 · 0 评论 -
SyntaxWarning: name 'x' is assigned to before global declaration global color Python
SyntaxWarning: name 'x' is assigned to before global declaration global color Python这种报错很大原因是在同一个函数重复使用了global 声明举个例子x = 0def func(a, b, c): if a == b: global x x = 10 elif b...原创 2018-03-27 11:00:01 · 33999 阅读 · 2 评论 -
Python Yield 用法
带有 yield 的函数在 Python 中被称之为 generator(生成器)我们举一个常见的例子来介绍yield的用法 斐波那契数列斐波那契(Fibonacci)數列是一个非常简单的递归数列,除第一个和第二个数外,任意一个数都可由前两个数相加得到。 清单 1. 简单输出斐波那契數列前 N 个数 1 2 3 4 5 6...转载 2018-07-30 09:37:30 · 146 阅读 · 0 评论 -
Ubuntu 安装Python3.6
Ubuntu16.04下默认系统自带python2和Python3.5的版本,这个版本被系统很多程序所依赖,所以不建议删除,如果使用最新的Python3.6那么我们知道编译安装源码包和系统默认包之间是没有任何影响的.首先去python官网下载python3的源码包,网址:https://www.python.org/进去之后点击导航栏的Downloads,也可以鼠标放到Downloads上弹出菜单...转载 2018-03-04 20:51:34 · 4311 阅读 · 0 评论 -
Python的Lambda函数
【转】原文连接:https://www.cnblogs.com/itdyb/p/5014052.html今天在看书的时候,看到了这样的一条语句:if isinstance(value,int) or isinstance(value,float): split_function=lambda row:row[column]>=value 对其中的lambda这个函数表示很不明白,于是...转载 2018-02-26 22:43:28 · 433 阅读 · 0 评论 -
python re正则匹配网页中图片url地址
最近写了个python抓取必应搜索首页http://cn.bing.com/的背景图片并将此图片更换为我的电脑桌面的程序,在正则匹配图片url时遇到了匹配失败问题。要抓取的图片地址如图所示:首先,使用这个patternreg = re.compile('.*g_img={url: "(http.*?jpg)"')无论怎么匹配都匹配不到,后来把网页源码抓下来放在notepad++中查看,并用原创 2016-10-31 14:58:45 · 25699 阅读 · 1 评论 -
python 自动登录CJLU校园网
python 自动登录CJLU校园网现在很多高校学生公寓上网采用校园网认证+运营商认证的方案,每次电脑开机都需要先连校园网,再连外网,很麻烦,所以我写了个自动联网的程序,简化联网步骤。具体思路是先在本地电脑上进行抓包,捕捉浏览器登录流量,分析校园网认证过程。然后通过程序模拟浏览器行为,提交认证表单给服务器,完成认证。下面贴出源代码:#!/usr/bin/env python# coding=utf原创 2016-10-19 22:11:22 · 14092 阅读 · 4 评论