Python
漫天丶飞雪
PYTHON | 机器学习 | 数据分析 | 反反爬虫 | 网络安全
展开
-
浏览器模拟之selenium的检测与突破
selenium 是一个很友好的网站调试工具,但是很多人都用来做爬虫,其实我也是用来做爬虫,毕竟好东西要共享,哈哈在做静态网页的请求的时候,普通的http/https可以很轻松的搞定,但是面对动态网页,很多内容都是通过后面的js加载出来的,如果还要用协议解决,希望你遇到的问题可以解决。在爬虫这一块,很多反爬虫对方对selenium并不是太友好,他们对于selenium的检测机制造的很是很牛...原创 2020-07-14 17:43:59 · 1302 阅读 · 1 评论 -
django.db.utils.IntegrityError: (1048, Column last_login cannot be null)
django创建超级用户 python manage.py createsuperuser,出现出现报错error contentdjango.db.utils.IntegrityError: (1048, "Column 'last_login' cannot be null")大概意思就是因为是没有登陆过,所以就没有用户的存在通过网上查找,发现重新对auth进行一次迁移python manage.py migrate auth其实报错主要是因为我之前对模型迁移的时候是对指定的模型迁移原创 2020-06-26 09:02:06 · 1947 阅读 · 0 评论 -
selenium登陆某宝的滑动怎么过
selenium登陆淘宝的滑动怎么过,确实淘宝在滑动这一块限制了很多条件没太多废话,上效果,在分析过程,上传code由于现在大型网站对selenium工具进行检测,若检测到selenium,则判定为机器人,访问被拒绝。所以第一步是要防止被检测出为机器人,如何防止被检测到呢?当使用selenium进行自动化操作时,在chrome浏览器中的consloe中输入windows.navigator.webdriver会发现结果为Ture,而正常使用浏览器的时候该值为False。所以我们将windows.nav原创 2020-06-25 10:05:54 · 1035 阅读 · 0 评论 -
scrapy框架之log日志
在scrapy中设置log:1、在settings中设置log级别,在settings.py中添加一行:Scrapy提供5层logging级别:CRITICAL - 严重错误(critical) ERROR - 一般错误(regular errors) WARNING - 警告信息(warning messages) INFO - 一般信息(informational messa...原创 2020-05-05 22:59:32 · 700 阅读 · 0 评论 -
linux卸载Python3
卸载Python3:1、卸载python3rpm -qa|grep python3|xargs rpm -ev --allmatches --nodeps 卸载pyhton32、whereis python3 |xargs rm -frv 删除所有残余文件成功卸载!3、whereis python 查看现有安装的python...转载 2020-03-20 20:15:42 · 593 阅读 · 0 评论 -
如何在centos上面安装python3
CentOS 7 默认自带了 Python 2.7 版本,但是很多时候,我们需要用 Python 3.x 来做开发,本片介绍用 CentOS 7 来安装 Python 3.x 。这里只介绍一种。本文以为 Python 3.7.0 作为安装啊示例下面开始进行安装步骤解读:1. 首先需要下载压缩包 (其他获取方式如 FTP 之类的也可以,Anyway,目的就是获取这个 Linux 版的 P...原创 2019-12-22 16:30:57 · 225 阅读 · 0 评论 -
手机app数据的爬取之mitmproxy安装途径
github地址 :https://github.com/mitmproxy/mitmproxy/releases/mitmproxy下载地址 :https://mitmproxy.org/downloads/参考 :https://www.cnblogs.com/yunlongaimeng/p/9617708.html...原创 2019-11-04 18:30:13 · 270 阅读 · 0 评论 -
pyppeteer(python版puppeteer)基本使用
一、前言以前使用selenium的无头浏览器,自从phantomjs2016后慢慢不更新了之后,selenium也开始找下家,这时候谷歌的chrome率先搞出来无头浏览器并开放了各种api,随后firefox也开始做。现在selenium的测试也都支持这两个浏览器的无头模式了,只需要在引入的时候配置一下就可以了。之所以要采用谷歌chrome官方无头框架puppeteer的python版本py...转载 2019-11-01 15:12:10 · 5299 阅读 · 0 评论 -
关于python2的reload(sys)
# 注意,Python2 . x默认编码环境是ASCII,当和取回的数据编码格式不一致时,可能会造成乱码:# 我们可以指定保存内容的编码格式,一般情况下, 我们可以在代码最上方添加:import sysreload(sys)sys.setdefaultencoding("utf-8")# 这三行代码是Python2 . x里解决中文编码的万能钥匙,# 经过这么多年的吐槽后...原创 2019-10-30 21:26:03 · 767 阅读 · 0 评论 -
Scrapy爬虫数据架构图
Scrapy是基于用Python写的一个流行的事件驱动网络框架Twisted编写的。因此,它使用非阻塞(即异步)代码实现并发。旧版Scrapy架构图 :新版Scrapy架构图 :Scrapy中的数据流由执行引擎控制,如下所示:Engine获得从爬行器中爬行的初始请求。 Engine在调度程序中调度请求,并请求下一次抓取请求。 调度程序将下一个请求返回到引擎。 引擎将请...原创 2019-10-29 23:10:43 · 1422 阅读 · 0 评论 -
HTTPSConnectionPool(host='xxxxx', port=443): Max retries exceeded with url:xxxxxxxx (Caused by Ne...
requests.exceptions.ConnectionError:HTTPSConnectionPool(host='baike.baidu.com',port=443): Maxretriesexceededwithurl:https://baike.baidu.com/item/%E5%88%98%E5%BE%B7%E5%8D%8E/114923 (Causedby...转载 2019-10-14 17:35:53 · 74949 阅读 · 16 评论 -
TensorFlow 如何指定CPU/GPU上运行
使用 GPUs支持的设备在一套标准的系统上通常有多个计算设备. TensorFlow 支持 CPU 和 GPU 这两种设备. 我们用指定字符串strings来标识这些设备. 比如:"/cpu:0": 机器中的 CPU "/gpu:0": 机器中的 GPU, 如果你有一个的话. "/gpu:1": 机器中的第二个 GPU, 以此类推...如果一个 TensorFlow 的 ope...转载 2019-10-12 09:38:34 · 1466 阅读 · 0 评论 -
Python中关于try...finally的一些疑问
最近看Vamei的Python文章,其中一篇讲异常处理的,原本看完没啥疑惑,或许是自己想的简单了。看到评论,一个园友的问题引起我的兴趣。他的问题是def func(x): try: return ++x finally: return x+1print func(11)你觉得是几?看到问题,觉得肯定是12啊,这有什么问题呢?...转载 2019-09-16 23:08:38 · 219 阅读 · 0 评论 -
python一行代码制作简易二维码
运行环境 : python 3.6.0此项目来源于 GitHub ......GitHub 项目源:https://github.com/sylnsfar/qrcode安装方式 :pip install myqr主要参数翻译如下:-v :定义二维码的大小,范围为 1 ~ 40,默认大小取决于输入的内容-l :定义二维码纠错率,也就是说二维码被遮挡一部分仍...原创 2019-09-14 08:58:42 · 769 阅读 · 0 评论 -
用 python 为中秋节画上一块月饼
运行环境 : python 3.6.0每逢佳节倍思亲 , 以前也有学习turtle库 , 今天呢 , 在这中秋佳节月圆夜 , 来画个月饼 ......吃着手里的 , 看着屏幕上的 ...turtle 库 常用的一些参数做一下说明 :参数 说明 turtle.setup(width,height,startx,starty) 起始点坐标:左上角相对于屏幕的坐标,默认在...原创 2019-09-13 21:21:27 · 3004 阅读 · 0 评论 -
python创建多层文件夹
运行环境 : python 3.6.0os.mkdir(newPath) # 创建单层目录os.makedirs(newPath) # 创建单层目录原创 2019-09-12 11:42:26 · 1415 阅读 · 0 评论 -
python获取文件创建和修改时间
运行环境 : python 3.6.0'# 获取文件的时间属性# 用到的知识# os.getcwd() 方法用于返回当前工作目录# os.path.getatime(file) 输出文件访问时间# os.path.getctime(file) 输出文件的创建时间# os.path.getmtime(file) 输出文件最近修改时间1. 获取文件创建时间impo...原创 2019-09-11 17:16:16 · 30791 阅读 · 1 评论 -
python 八进制转化为中文
运行环境 :python 3.6.0import chardetbyte_str = b"\344\270\252\344\272\272\350\265\204\346\226\231\345\215\241"byte_str_charset = chardet.detect(byte_str) # 获取字节码编码格式byte_str = str(byte_str, by...原创 2019-09-07 21:17:02 · 2288 阅读 · 0 评论 -
Python中字符串与字节之间相互转换
a = b"Hello, world!" # bytes objectb = "Hello, world!" # str object字符串转字节 str --> bytes# 字符串转字节 str --> bytesprint(str.encode(b)) # 默认 encoding="utf-8"print(bytes(b, encoding=...原创 2019-09-07 21:06:55 · 324 阅读 · 0 评论 -
py,pyc,pyw文件的区别和使用
熟悉 python 编程的都知道 ,python 三种最常见的 py 文件格式,.py , .pyc , .pyw , 下面说一说它们各自的使用。py 文件 python最常见的文件,是python项目的源码; 文件执行时linux下调用python执行,windows下调用python.exe; 如果在终端窗口或IDE执行命令,其相关的print(),或执行结果打印...原创 2019-09-07 15:36:27 · 3550 阅读 · 0 评论 -
python cv2.waitKey()函数
运行环境 : python 3.6.0opencv :opencv-python 4.1.1.26cv2.waitKey() 接口 :def waitKey(delay=None)函数功能:waitKey() 函数的功能是不断刷新图像 , 频率时间为delay , 单位为ms返回值为当前键盘按键值1. waitKey()–是在一个给定的时间...原创 2019-10-05 08:36:16 · 60349 阅读 · 0 评论 -
Pycharm 小技巧 —— 列选择模式
PyCharm 的 Column Selection Mode 提供了列选择功能。使用:Ctrl + Alt + S进入设置 ,然后在输入框输入 column ,就会看到 Column Selection Mode ,可以看到 ,列选择模式的快捷键列选择模式快捷键 :Alt + Shift + Insert或者:Alt + 鼠标左键效果如下图:...原创 2019-09-06 19:23:31 · 8782 阅读 · 1 评论 -
python3 字符串 | 时间 | 日期之间的相互转换
运行环境 : pyhton 3.6.0在 python 中,日期类型 date 和日期时间类型 dateTime 是不能比较的。(1)如果要比较,可以将 datetime 转换为 date,date 不能直接转换为datetimeimport datetimenow_time = datetime.datetime.now()now_date = now_time.da...原创 2019-09-19 22:38:59 · 836 阅读 · 0 评论 -
python3 排列组合
运行环境 : python 3.6.0一 、python 自身内置就有这种工具 ,模块名为 itemtools 。所有结果 :# -*- encoding=utf-8 -*-from itertools import producttest_data = list('234')""" 所有结果 """for item in product(test_data, re...原创 2019-09-20 22:55:35 · 1763 阅读 · 0 评论 -
python中各种数据类型之间的相互转化
int(x [,base ]) 将x转换为一个整数 long(x [,base ]) 将x转换为一个长整数 float(x ) 将x转换到一个浮点数 complex(real [,imag ]) 创建一个复数 str(x ) 将对象 x 转换为字符串 repr(x ...转载 2019-06-15 22:16:22 · 1519 阅读 · 0 评论 -
Matplotlib 绘制直方图 - 影视播放时间
运行环境 : python 3.6.0用 Matplotlib 的 hist 方法绘制直方图 , 本博文为对某一影视网站 top250 影视播放时长分析核心代码 (bar方法) :# -*- encoding: utf-8 -*-# @Version : Python 3.6.0# @Function : 本代码为利用 Matplotlib 库画直方图 impor...原创 2019-10-10 17:02:37 · 560 阅读 · 0 评论 -
Matplotlib 绘制柱状图 - 电影票房
运行环境 : python 3.6.0用 Matplotlib 的 bar 和 barh 方法绘制散点图 , 绘制票房统计 , 数据来源于http://58921.com/alltime/2019核心代码 (bar方法) :# -*- encoding: utf-8 -*-# @Version : Python 3.6.0# @Function : 本代码为利用 Ma...原创 2019-10-10 13:57:46 · 2163 阅读 · 0 评论 -
Matplotlib 绘制散点图 - 温度变化
运行环境 : python 3.6.0用 Matplotlib 的 scatter 方法绘制散点图 , 绘制温度分布 , 数据来源于http://lishi.tianqi.com/beiling/index.html核心代码 :# -*- encoding: utf-8 -*-# @Version : Python 3.6.0# @Function : 本代码为利用 ...原创 2019-10-10 12:53:19 · 953 阅读 · 0 评论 -
Matplotlib 绘制折线图 - 正余弦函数图像
运行环境 : python 3.6.0用 Matplotlib 的 scatter 方法绘制散点图核心代码 :# -*- encoding: utf-8 -*-# @Version : Python 3.6.0# @Function : 本代码为利用 Matplotlib 库画正余弦函数import numpy as npfrom matplotlib impor...原创 2019-10-10 10:46:07 · 849 阅读 · 0 评论 -
python 数字之间下划线能干吗 ?
运行环境 : python 3.6.0偶尔发现在定义一个数字的时候数字之间可以加入下划线 ,数字之间的下划线有用吗 ?没什么卵用 , 但是 ...可以增加可读性 , 同时也不改变变量数值的大小和变量类型>>> num = 1_234_567_89>>> num123456789>>> type(num)<c...原创 2019-10-05 11:17:15 · 561 阅读 · 0 评论 -
如何用windows通过python3建立最简单的服务器
今天来介绍一下如何用Python3的内置模块搭建一个简单的服务器,Python自带有服务模块而且python3相比于python2有很大不同之处,在Python2.x版本里,Python目录中含有BaseHTTPServer.py, SimpleHTTPServer.py, CGIHTTPServer.py文件,但是在Python3.x中,上面提到的模块http/server.py文件里了。...原创 2019-03-27 16:23:04 · 1032 阅读 · 0 评论 -
matplotlib旋转label方向
matplotlib画条形图的时候,x坐标轴标签默认是垂直的,这样看起来比较费力,如下图:调整x轴标签,从垂直变成水平或者任何你想要的角度,只需要改变rotation的数值。for tick in ax1.get_xticklabels():tick.set_rotation(360)或者import pylab as plpl.xticks(rotatio...原创 2019-09-26 22:39:10 · 5501 阅读 · 0 评论 -
python 获取鼠标的实时位置
运行环境 : python 3.6.01. 安装第三方库pyautogui1) 官方库pip install pyautogui2) 或者从清华镜像或者从其他镜像安装pip -i https://pypi.tuna.tsinghua.edu.cn/simple install pyautogui2. 编写执行程序# -*- encoding: utf-8...原创 2019-09-25 21:42:47 · 19371 阅读 · 3 评论 -
py文件生成pyc
打开终端,进入要生成 .pyc 文件的那个 .py 文件所在的文件夹然后输入 :python -m compileall xxx.py可以对当前目录下的 xxx.py 文件生成 相对应的 .pyc 文件如果上述操作失败 ,就在前面加个 python 在运行 ,,,...原创 2019-09-06 18:44:38 · 978 阅读 · 0 评论 -
selenium操作Firefox无界面浏览器
之前做爬虫的时候经常需要selenium模拟,我经常用的是Firefox和Chrome浏览器,但是在使用的时候总是会打开浏览器才能正常抓取数据,无奈之下下载了PhantomJS,但是呢PhantomJS其实官方已经放弃维护了,所以在运行程序的时候经常会被提示其已被弃用,经常会以为自己是代码出问题了。UserWarning: Selenium support for PhantomJS has...原创 2019-03-31 19:10:14 · 7084 阅读 · 1 评论 -
python异常处理的三个好习惯
文章转自 :Python 工匠: 异常处理的三个好习惯如果你用 Python 编程,那么你就无法避开异常,因为异常在这门语言里无处不在。打个比方,当你在脚本执行时按 ctrl+c 退出,解释器就会产生一个 KeyboardInterrupt 异常。而 KeyError、 ValueError、 TypeError 等更是日常编程里随处可见的老朋友。异常处理工作由“捕获”和“抛出”两...原创 2019-09-04 12:20:59 · 195 阅读 · 0 评论 -
Python并发编程之线程池/进程池之concurrent.futures模块
运行环境:python 3.6.0一、关于concurrent.futures模块Python 的标准库为我们提供了 threading 和multiprocessing 模块编写相应的多线程/多进程代码,但是当项目达到一定的规模,频繁创建/销毁进程或者线程是非常消耗资源的,这个时候我们就要编写自己的线程池/进程池,以空间换时间。但从Python3.2开始,标准库为我们提供了conc...原创 2019-07-15 12:22:47 · 562 阅读 · 0 评论 -
cv2.error: OpenCV(4.1.0) C:\projects\opencv-python\opencv\modules\highgui\src\window.cpp:352: error:
运行环境:python 3.6.0初学 opencv,看着程序跟书本都一样啊,突然报了以下错误Traceback (most recent call last): File "E:/Python/Projects/week1/不是闹着玩儿嘞/example/test.py", line 3550, in <module> cv.imshow("image", im...原创 2019-07-15 10:13:28 · 72664 阅读 · 31 评论 -
强制刷新python的标准输出
运行环境: python 3.6.0我们有的时候因为程序的需要,需要对程序的输出强制刷新,这个时候我们可以利用python的内置库对其进行强制刷新。标准输出的个人理解:程序中一系列的输出并非直接运行了输出程序就会输出了,程序虽然执行了,输出语句也执行了,但是这些输出内容是咱是被放到缓冲区里面,这些缓冲区并不会直接就将这些要运行的内容给 CPU 让其运行,而是会处于一种等待的状态,等缓冲区里...原创 2019-07-09 10:47:26 · 1548 阅读 · 0 评论 -
Python+Selenium模拟器驱动配置
因为Selenium自动化测试效果比较好,Selenium模拟器可以模拟很多个浏览器,当然用不同的浏览器模拟的时候也需要跟浏览器版本相匹配的驱动文件,在这里我整理了一下FireFox的驱动,gechodriver(蜥蜴驱动?!),找如下链接里面对应操作系统的:https://github.com/mozilla/geckodriver/releasesIE的驱动,edge(边界?!...原创 2019-06-27 12:14:30 · 650 阅读 · 0 评论