Python
realjac
攻城狮
展开
-
python selenium+firefox对网页截长图
需求对网页截图,包括网页的不可视部分。方法1.Firefox webdriver,无头模式+调整窗口宽高+截图窗口options = Options()options.add_argument('--no-sandbox')options.add_argument('--headless')options.add_argument('--disable-gpu')options.add_argument('--disable-dev-shm-usage')driver = webdrive原创 2020-09-08 19:06:35 · 950 阅读 · 0 评论 -
pycharm多光标选择
mac下,多次使用control+g向下选择,control+shift+g向上回退选择,control+command+g选择所有相同词,command+g选择下一个相同词。所以结合一下,control+g向下然后command+g进行跳过选择;windows使用ctrl+j原创 2020-08-11 22:57:33 · 1450 阅读 · 0 评论 -
python时间格式
以下为时间概念摘抄UTC:时间标准时间协调世界时(英:Coordinated Universal Time ,法:Temps Universel Coordonné),又称世界统一时间,世界标准时间,国际协调时间。英文(CUT)和法文(TUC)的缩写不同,作为妥协,简称UTC。GMT:格林尼治时间世界时UT 即格林尼治时间,格林尼治所在地的标准时间。以地球自转为基础的时间计量系统。地球自转的角度可用地方子午线相对于地球上的基本参考点的运动来度量。为了测量地球自转,人们在地球上选取了两个基本参考点原创 2020-06-02 17:09:27 · 709 阅读 · 0 评论 -
爬虫卡住无报错信息
用了requests库,爬取了一晚上,程序在某个页面hang住了,没有任何报错信息,也不退出,也不前进,日志和进程查不出问题。操作回顾:查看nohup.out,无任何异常数据;查看程序log,在183页有数据,184页数据未出现;ps aux |grep 查看进程,未占用大量cpu和内存,排除死循环;查看代码,未使用多线程多进程,排除死锁;查看问题进程打开的文件,lsof -p xx,发现最后打开的文件是建立了2个tcp连接,并且一直未断开,考虑io阻塞的可能性;再次查原创 2020-05-21 17:48:43 · 3497 阅读 · 1 评论 -
去除字符串中的\xa0不间断空白符
记录几个python解析页面时遇到的小问题解决方法1. 去除字符串中的\xa0不间断空白符 # 方法一:用编码转换的方式 import unicodedata s = unicodedata.normalize("NFKD", s) # 方法二:直接去除所有空白 s= ''.join(s.split())2. xpath解析取标签下所有文字 # 取出标签下所有文字,有3种方法: # 1.用//text()取所有文字然后join; re原创 2020-05-12 18:33:37 · 949 阅读 · 0 评论 -
pyenv安装+python3.7以上+centos+openssl的坑
之前遇到一个大坑,之前一直没管,今天认真弄了一下。背景在centos系统上,已经预先安装了python2.6和python3.6,可以正常运行,但是自己想安装python3.8。坑一:手动wget下载build,make&make install都没问题,pip3 install requests库,使用requests库时出了ssl的问题;urllib3.exceptions....原创 2020-04-21 21:40:37 · 1301 阅读 · 0 评论 -
supervisor自运维部署操作
自运维用supervisor部署服务1.拉取git上的代码2.使用supervisor启动XXX项目(一般只需操作第5步即可)附:杀死指定的进程XXX1.拉取git上的代码git pull https://github.com/XXX.git如果冲突了,可参考这篇文章方法1:本地git stash,git pull,还原git stash pop stash@{0},打开文件解决冲突v...原创 2020-04-15 17:05:37 · 284 阅读 · 0 评论 -
python supervisor使用
supervisor可以非常方便的管理后台持续运行的进程,在后台进程挂掉之后自动拉起并发出通知等本文讲述supervisor如何使用。原创 2020-04-15 16:44:24 · 1182 阅读 · 0 评论 -
CentOS下安装python3.7
CentOS下安装python3.7下载python3的安装包安装python3修改默认python修改默认pip修改yum文件,使之正常运行直接安装pip存在的问题下载python3的安装包cd到想保存安装包的路径下下载(去官网查看最新版下载链接):wget https://www.python.org/ftp/python/3.7.*/Python-3.7.*.tgz解压到当前目录:...原创 2019-02-25 19:49:20 · 13566 阅读 · 2 评论 -
python3爬虫简单记录-使用CSS选择器
学习过了python写爬虫,怕以后完全不记得了,故简单把写的东西贴一下。 如果以后继续深入,再将这些代码功能补充完全。 CSS选择器,需要安装cssselect模块,用pip命令就可以,还需要安装lxml模块 还可以使用selenium简单模拟浏览器,或者使用PyQt4/PySide模拟浏览器动作使用的windows+python3.5.2 文件downloading.py#!/usr/原创 2017-04-26 15:56:23 · 10065 阅读 · 0 评论 -
Python UnicodeEncodeError: 'gbk' codec can't encode character 解决方法
使用Python写文件的时候,或者将网络数据流写入到本地文件的时候,大部分情况下会遇到:UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\xa0’ in position … 这个问题。1.在这个网站看到一种解决文件写入编码的方法:Python UnicodeEncodeError: ‘gbk’ codec can’t encode c原创 2017-04-26 15:12:31 · 1580 阅读 · 0 评论 -
在python3中安装python2的包(比如builtwith)
最近,学习编写爬虫代码的时候,由于我用的是python3,遇到了一些第三方包在安装的时候出错的情况。第一个包就是builtwith1.首先去pypi网站上看看这个包是否有支持python3的版本。。。发现,好像并没有(有点尴尬了) 2.又想用这个模块,又不想再去搞一个python2的环境,也不想把前面写的一些代码再调整,怎么办呢?—–那就只有自己手动改这个模块,将这个模块的代码改成适应python原创 2017-04-21 17:42:56 · 4174 阅读 · 1 评论 -
Pycharm2017最新注册码
IntelliJ IDEA 注册码,可以激活IntelliJ IDEA JetBrains公司的几乎(我没试过)所有软件(不包括基于IntelliJ IDEA开发的软件,比如AndroidStudio这种)。注册码为正版注册码,无需打补丁,有效期为2017年01月31日至2018年01月30日 。用户是lan yu,感谢他。CNEKJPQZEX-eyJsaWNlbnNlSWQiOiJDTkVLSlB原创 2017-04-20 22:39:57 · 1556 阅读 · 0 评论 -
Sublime Text 3注册码(2017mark)
Sublime Text 3注册码(mark:2017年还能用)—– BEGIN LICENSE —–Alexey PlutalovSingle User LicenseEA7E-8607763DC19CC1 134CDF23 504DC871 2DE5CE55585DC8A6 253BB0D9 637C87A2 D8D0BA85AAE574AD BA7D6DA9 2B9773F2 32原创 2017-04-20 22:44:12 · 382 阅读 · 0 评论 -
一劳永逸解决:TypeError: cannot use a string pattern on a bytes-like object
TypeError: cannot use a string pattern on a bytes-like object最近写代码,python2和python3之间切换,难免会碰到一些问题,有些方法比如re模块的findall要求传入的是字符串格式的参数,urllib.request.urlopen(url).read()返回的是bytes类型(这个是python3中才有的类型,所以很多pyth原创 2017-04-14 01:44:42 · 45367 阅读 · 5 评论 -
一个例子使用条件和循环
一个例子结合使用while和for、if和else、break和continue,看看他们之间的联系和区别:def func(): valid=False count=3 while count>0: input1=input('Enter password:') for each in passwordlist: if原创 2017-03-30 16:25:32 · 510 阅读 · 0 评论 -
Python代码风格:#!/usr/bin/python和#!/usr/bin/env python
脚本代码文件的第一行,写了#!/usr/bin/*****。目的就是指出,你想要你的这个文件中的代码用什么可执行程序去运行它(一般是在linux操作系统中)#!/usr/bin/python是告诉操作系统执行这个脚本的时候,调用/usr/bin下的python解释器;#!/usr/bin/env python这种用法是为了防止操作系统用户没有将python装在默认的/usr/bin路径里。当系统看到原创 2017-04-09 00:16:55 · 486 阅读 · 0 评论 -
python函数的参数
python函数的参数一、说几点python函数中有些意思的地方1.python函数的返回值Python使用def关键字定义函数,和其他语言一样,函数基本上可以分为有返回值和没有返回值2种,一般来说还可以分为运算功能和处理功能型函数。先说点题外话:python2和Python3在函数的使用上的些微差别>>> def run(name): print name+'runing'SyntaxErr原创 2017-03-21 22:15:58 · 971 阅读 · 0 评论 -
sublime text配置python环境不能使用input和raw_input的问题
sublime text配置python环境不能使用input和raw_input的问题利用Package Control安装SublimeREPL插件,然后点击要运行的python文件一下(选择相应文件),在菜单栏点击Tools->SublimeREPL->Python->Python-RUN current file之后就会出现一个新的窗口,在这个窗口可以正确输入了。建议使用菜单栏View->L原创 2017-01-16 22:28:50 · 3168 阅读 · 1 评论