Python
文章平均质量分 61
荒-于嬉
业精于勤 荒于嬉
行成于思 毁于随
展开
-
Python lxml模块xpath解析不到内容
文章目录起始及经过解决方案起始及经过爬取某个网站的过程中,发现直接从浏览器按F12的控制台复制的xpath地址什么都获取不到,输出一个空列表,重新检查了xpath路径发现并没有什么问题.示例网站:https://so.gushiwen.cn/shiwenv_4ef2774ed20a.aspx演示爬取内容(获取此处的赏析文本):初始代码:from lxml import etreefrom requests import Sessionurl = 'https://so.gushiwen.原创 2022-02-15 10:18:01 · 4208 阅读 · 0 评论 -
shell解析HTML
shell解析html没有找到shell有这个功能,百度shell解析xpath所说不知都是什么,命令没找到包也没装上,很怀念Python这方面的优异,索性自己封装了一层.采用Python语言,写好后打包制作而成,源码及打包命令见文章尾部,之所以打包一下因为这样可以不依赖Python环境只需要在Linux系统主机即可执行(基于centos 7系统测试),如果主机有Python环境和相关依赖直接执行代码文件也可.如有疑问或问题欢迎大佬留言.下载地址(百度网盘):链接: https://pan.bai原创 2022-01-17 22:02:39 · 2957 阅读 · 5 评论 -
python进程池(子进程)函数没有执行
文章目录1. 问题描述问题排查经过关于此问题的两个可能原因内容较长1. 问题描述某日,写了一段爬虫代码(如下,爬取糗百图片代码示例),发现一个异常的问题,就是执行代码时,代码会以极快的速度执行完成,但是任何东西都没有爬取下来,经过问题排查,确认为下载方法downloadEngin内没有执行,我特意在for循环向线程池提交任务处添加了print,执行代码后会print所有提交信息,但是方法downloadEngin里面的print一条没有输出.from multiprocessing import P原创 2021-04-03 23:36:57 · 3049 阅读 · 2 评论 -
Requested setting INSTALLED_APPS, but settings are not configured.
学习Django第二天,今天又犯了个低级错误…报错内容:django.core.exceptions.ImproperlyConfigured: Requested setting INSTALLED_APPS, but settings are not configured. You must either define the environment variable DJANGO_SETTINGS_MODULE or call settings.configure() before accessi原创 2021-03-04 20:45:26 · 3734 阅读 · 1 评论 -
Python 将数字替换转换为汉字
暂不支持十万以上数字# 要转换的数字number = 500245300def conversionString(intnumber): numberList = ['零','一','二','三','四','五','六','七','八','九'] unitList = ["","十","百","千","万"] # 转为字符串 获取传入字符串长度 strnumber = str(intnumber) lennumber = len(strnumber)原创 2020-12-23 21:43:04 · 5323 阅读 · 2 评论 -
Python 列表转为字典
Python默认好像没有这个功能,但是不影响自己写一个# enumerateclass list_conversion_dict: def __init__(self): print("这个方法没有init") def conversion(self,value,key=None): if type(value) is list: if key == None: print("不存在key值 检查原创 2020-11-10 22:38:45 · 1399 阅读 · 1 评论