python
文章平均质量分 53
学习python,记录所见所闻,解决所遇问题
Joy-x
人生苦短
展开
-
从mysql数据库取数据:fetchone()、fetchall() fetchmany()
最近碰到需要从mysql数据库取数据的操作,记一下使用到的函数:从mysql数据库取数据用到的三个函数:fetchone() :返回单个的元组,也就是一条记录(row),如果没有结果 则返回 Nonefetchall() :返回多个元组,即返回多个记录(rows),如果没有结果 则返回 ()fetchmany(num):同fetchall一样,只不过返回的是指定个数的元组。self...原创 2020-03-09 16:11:04 · 8347 阅读 · 0 评论 -
解决使用urllib.request.urlretrieve()下载批量文件,下载文件不完全的问题且避免下载时长过长陷入死循环
结合在网上找到的解决办法,成功解决了在使用urlretrieve下载文件的过程中所遇到了一些问题:urlretrieve下载文件不完全且下载时长过长陷入死循环参考地址1、参考地址2# -*- coding: utf-8 -*-import pathlibimport reimport socketimport timeimport urllib.requesturl = "ht...原创 2020-03-09 13:15:33 · 4166 阅读 · 1 评论 -
比os还好用的python库(pathlib)
from pathlib import Pathp = Path()# WindowsPath('.')p.resolve() # 文档显示是absolute path, 这里感觉只能用在获取当前绝对路径上# WindowsPath('C:/Users/Cabby').常用操作p = Path(r'd:\test\tt.txt.bk')p....原创 2020-03-09 12:11:10 · 393 阅读 · 0 评论 -
scrapy关闭爬虫
爬虫结束是一个很模糊的概念,在爬虫爬取过程中,爬取队列是一个不断动态变化的过程,随着request的爬取,又会有新的request进入爬取队列。进进出出。爬取速度高于填充速度,就会有队列空窗期(爬取队列中,某一段时间会出现没有request的情况),爬取速度低于填充速度,就不会出现空窗期。所以对于爬虫结束这件事来说,只能模糊定义,没有一个精确的标准。利用scrapy的关闭spider扩展功能#...原创 2020-03-05 20:00:03 · 2879 阅读 · 0 评论 -
scrapy pipeline中自定义的spider_opened和spider_closed没有被调用,如何解决无法调用问题
scrapy pipeline中自定义的spider_opened和spider_closed没有被调用,如何解决无法调用问题1.问题我想要的信息正在从网站上正确地爬出,并且process_item方法能够正确调用。但是,不会调用spider_opened和spider_closed方法。我尝试在spider_closed中添加端点,但debug过程没有运行到端点,一直没办法实现spider...原创 2020-03-05 19:41:55 · 3363 阅读 · 2 评论 -
如何在python中编写多个json文件
两个jsontest_data = {'profile_img': 'https://fmdataba.com/images/p/4592.png', 'name': 'Son Heung-Min ', 'birth_date': '8/7/1992', 'nation': 'South Korea KOR', 'position': 'M (R), AM (RL), ST (C)',...原创 2020-03-01 15:32:54 · 901 阅读 · 0 评论 -
PyCharm中设置py文件头部信息
实现创建一个py文件,自带以下内容在setting中找到Editor下的File and Code Tempelate或直接搜索 File and Code Tempelate然后找到 python script在里面编辑就能实现个人配置:#!/usr/bin/python3# -*- coding: utf-8 -*- """@author: JY@project: ${...原创 2020-03-04 09:19:22 · 779 阅读 · 0 评论