Python
天天码怪
这个作者很懒,什么都没留下…
展开
-
linux crondtab 和python 的问题
这篇整理了日常的linux和python中碰到的问题os.system 一定要加绝对路径!!不然会有报错,这还是好的在crontab的计划制定中,前面加一句cd 到你程序执行的目录,可以解决大多数问题。...原创 2020-03-06 14:46:56 · 171 阅读 · 0 评论 -
openpyxl 多线程写入错误问题(少行数)
使用openpyxl 时如果你用sheet.append()这个函数来写入excel时,并且在多线程中写入,你会发现写入10w行,会少写几十行,原因可能是因为append不是线程安全的,官方也没有说明。也没有报错,很难发现。解决方法很简单,把要写入的数据先放在一个容器中(数组等),单线程写入,放心速度很快。当然要注意容器的线程安全...原创 2020-01-16 17:36:34 · 1626 阅读 · 2 评论 -
beatuifulsoup 使用不同的方式解析优势和劣势
直接上图原创 2019-07-22 14:53:20 · 240 阅读 · 0 评论 -
requests.exceptions.ConnectionError timeout 错误巧妙化解
def getcontent(page, keyword):...try: response = requests.get(url=url, headers=header, timeout=30, verify=False)except requests.exceptions.ConnectionError: print('Executing recursive fun...原创 2019-07-17 15:36:16 · 4053 阅读 · 1 评论 -
python爬虫 requests异常requests.exceptions.ConnectionError: HTTPSConnectionPool Max retries exceeded
错误提示:requests.exceptions.ConnectionError: HTTPSConnectionPool(host='baike.baidu.com', port=443):Max retries exceeded with url: https://baike.baidu.com/item/%E5%88%98%E5%BE%B7%E5%8D%8E/114923(Caus...原创 2019-07-17 15:15:46 · 1899 阅读 · 0 评论 -
Python字典的顺序遍历
dic = list_dic(list_name, list_url)这是我将2个list拼接成一个字典的代码。for name, url in dic.items():这是正常的for循环,但当程序每次执行到65次是后面的顺序就乱掉了后来我到网上了查询,将字典初始化为顺序的字典dic = collections.OrderedDict()但还是不起作用后来经过...原创 2019-07-17 15:09:35 · 902 阅读 · 0 评论 -
高阶爬虫实战:破解极验滑动验证码
今天给大家带来的是极验验证码的selenium破解之法,是不是有点小激动呢,小伙伴们等不及了,让我们赶紧直入主题吧。虎X网注册这次我们是拿虎X开刀,注册账号的时候需要滑动图片到缺口位置,这种验证码我们现在也经常遇到,这个就不用详细介绍了吧针对这种验证码我们首先确定了使用selenium模拟滑动破解方式,selenium鼠标移动点击拖动都比较简单,那么问题就在于拖动多少距离,眼睛看起...转载 2019-07-17 15:07:37 · 213 阅读 · 0 评论 -
爬虫B站滑动验证码模拟登陆。
思路计算出图案中滑块的位置就可以使用selenium来模拟登陆分析检查分析网页代码找到了图片所在div获得该div的class用来截取该图片与有缺口的图做对求出图片需要滑动的距离就可以了 -代码import timefrom io import BytesIOfrom PIL import Imagefrom selenium import webdriver...转载 2019-07-17 15:04:52 · 434 阅读 · 0 评论 -
关于爬虫的request的时间问题
def get_content(url): # try: resp = requests.get(url, headers=header, timeout=0.5) resp.encoding = 'utf-8' html = resp.text bs = BeautifulSoup(html, "html.parser") # except: ...原创 2019-07-05 15:48:28 · 609 阅读 · 0 评论 -
python字典的陷阱
info_demo = {'keyword': keyword, 'media': 'amazon', 'device': 'pc', 'region': 'usa', 'page': 'page' + str(page), 'postione': 0, ...原创 2019-07-13 16:50:31 · 142 阅读 · 0 评论