python使用中遇到的问题
python问题记录
李略肖
这个作者很懒,什么都没留下…
展开
-
SMOTE object has no attribute ‘fit_sample‘
解决:把fit_sample改成fit_resample原创 2022-03-28 15:21:37 · 3744 阅读 · 4 评论 -
pymysql.err.DataError: (1265, “Data truncated for
原因:插入数据时数据不是数字,而是如:3,111 有逗号,去掉即可原创 2022-02-15 18:35:44 · 1508 阅读 · 0 评论 -
HTTP429
解释:Too Many Requests (太多请求),即访问次数过于频繁解决:使用ip代理池可以解决,不过有些如果代理ip的质量不高,则只有部分ip会生效,过程中还会报错:TunnelError,以及仍然会有很多response_ignored_status_count/429...原创 2022-02-15 16:44:31 · 5846 阅读 · 0 评论 -
TypeError: ‘method‘ object is not subscriptable
原因:调用xpath方法是写成了xpath[],括号写错原创 2022-02-15 15:00:18 · 193 阅读 · 0 评论 -
requests.exceptions.HTTPError: 503 Server Error: Service Temporarily Unavailable for url:
爬取某网页时报错原因:爬取速度太快被发现解决:每爬取一次休息一次,模拟用户访问time.sleep(5) 或time.sleep(10)等等原创 2022-02-15 13:35:38 · 927 阅读 · 0 评论 -
TypeError: list indices must be integers or slices, not str
原因:json以键值对方式存储信息,但本例中:progressive下的多个值值是以列表方式存储错误代码:['data']['resource']['progressive']['0']['url']改为:['data']['resource']['progressive'][0]['url']原创 2022-02-12 17:07:14 · 424 阅读 · 0 评论 -
Filtered off site request to
爬取某网页时没有得到内容,查看debug发现:原因:二次解析的域名被过滤掉解决:将Filtered off site request to后的这个url加入到原创 2022-02-12 17:00:52 · 274 阅读 · 0 评论 -
TypeError: not enough arguments for format string
原因:写url时,地址中本身就有%,python 认为它是转移符解决:在该%前再加一个%原创 2022-02-12 16:17:10 · 181 阅读 · 0 评论 -
scrapy爬取时出现错误:Forbidden by robots.txt: <GET https://www.xinpianchang.com/channel/index/sor
原因:要爬取网站的robot协议禁止一切爬取,而scrapy遵守robot协议解决:在setting.py文件中修改ROBOTSTXT_OBEY为false,即不遵守原创 2022-02-12 15:11:30 · 659 阅读 · 0 评论 -
爬虫爬取的源码内容和开发者模式下的内容不一致
F12是经过浏览器加载了js,用selenium模拟浏览器爬取即可解决这种js动态加载原创 2022-02-10 20:36:45 · 1422 阅读 · 0 评论 -
爬虫一些本该输出为中文的字段输出为none
原因:提取内容时用了tag.string(),查看源码,发现标签内容为:<td data-v-428f2a6c> 综合 <!----></td>多了 <!---->解读:当tag 包含了多个子节点,tag 就无法确定 .string 方法应该调用哪个子节点的内容, .string 的输出结果是 None解决:将tag.string()换成tag.t原创 2022-02-10 16:46:10 · 2221 阅读 · 1 评论 -
[Previous line repeated 995 more times]RecursionError: maximum recursion depth exceeded
原因:函数没有写return结束,递归调用太多次原创 2022-02-10 13:37:30 · 4959 阅读 · 0 评论 -
在pycharm中使用anaconda的包
方法一:创建新项目时:方法二: 或者如果要删除或者使用其他项目的环境:注意:使用anaconda的环境时,写代码不太好用,同时比较卡原创 2021-12-13 13:26:01 · 921 阅读 · 0 评论 -
UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte 0x8b in position 1: invalid start byte错误
python爬取b站某视频时出现错误原因:没有解码解决:导入:from io import BytesIOimport gzip解码操作:h = response.read()buff = BytesIO(h)f = gzip.GzipFile(fileobj=buff)html = f.read().decode('utf-8')原创 2021-12-13 16:36:30 · 1100 阅读 · 0 评论 -
python:登录跳转 有异常请求从你的 IP 发出
原因:爬虫代码比较初级, 触发了目标网站的的反爬虫机制,导致即使代码正确,结果不全或者为空。解决方法:重启路由器,调整IP 用sleep调整爬取数据的时间间隔 伪装 ip 降低爬取速度原创 2021-12-13 22:48:54 · 6925 阅读 · 0 评论 -
解决pycharm中无法安装包,或者安装了仍然无法使用的问题
如下图方式安装不成功,显示pip版本需要升级的问题:cmd方式安装bs4仍然失败:cmd以管理员身份运行,输入python -m pip install --upgrade pip,将pip升级到最新版完成后可输入:pip list查看此时输入:pip install bs4 成功输入python;import bs4,没有报错则成功;exit()退出但此时发现在pycharm中仍然无法导入bs4:原因:安装的bs4不在该项...原创 2021-12-13 13:57:00 · 18930 阅读 · 1 评论 -
TypeError: sequence item 5: expected str instance, list found
原因,列表中的item5不是str类型,而是列表类型打印出来为[\'2504545\']解决:在前面for循环的时候,用str()转化 print(",".join('%s' %id for id in list1))新问题:转换后,又报错pymysql.err.ProgrammingError: (1064, 'You have an error in your SQL syntax; check the manual that corresponds to your MySQL s原创 2021-12-14 17:01:13 · 1271 阅读 · 2 评论 -
python导入数据到mysql中,出现nbsp
实际上是\xa0,为不间断空白符设这段数据为data,则data = re.sub('\xa0',' ',data)即可解决原创 2021-12-14 16:52:22 · 1162 阅读 · 0 评论 -
安装python到c盘出现错误:verify that you have accessto that directory
安装时,右键安装文件--以管理员身份运行原创 2021-12-12 17:09:08 · 5700 阅读 · 6 评论