- 博客(8)
- 收藏
- 关注
RSS订阅原创 爬虫处理“显示更多”按钮
使用关键词“爬虫处理‘显示更多’按钮”搜索时，网上出现最多的方法就是“使用selenium点击‘显示更多’按钮”，于是便按照网上的一些教程开始编写。主要参考：https://www.cnpython.com/qa/731745Python使用selenium模拟点击(一) - 混在园子里的底层码农 - 博客园之前参考学长代码的时候接触过selenium，所以关于一些导入selenium包，以及使用chromedriver我这边基本已经实现了，可以直接编写代码了，关于准备工作可以参考网上的其他一些
2022-01-14 11:29:56
2339
原创 TypeError: argument of type ‘NoneType‘ is not iterable
初始报错代码： # if 'http' in soup_img.get('src'): # item['avatar'] = soup_img.get('src') # else: # item['avatar'] = ''修改之后的代码try: if 'http' in soup_img.get('src'): item['avatar'] = soup_img.get('src') else: item['avatar
2022-01-06 11:05:44
2197
原创 Message: invalid cookie domain: Cookie ‘domain‘ mismatch
今天在测试前辈的代码的时候遇到了这个问题，检查了好多遍自己的cookie明明没有出错，而且还参照了网上的一些教程发现好多跟自己的情况都不怎么相符。后来无奈之下就询问了前辈，最后前辈发现问题，原因是这段代码是前辈很久之前写的，访问的这个网站现在的网址已经变了（很无奈我竟然没有发现这个问题），之后改了网址之后就不报错并且可以顺利访问了。...
2022-01-05 16:58:36
4515
原创 python 除法向下取整、向上取整
python除法：x = 1y = 2r = x/y此时的结果为：0.5python除法向下取整：x = 1y = 2r = x//y此时结果为：0
2021-10-28 08:50:15
11461
原创 BeautifulSoup判断某个标签下某标签的数量
图1：图2：如果需要获取图中<tr>下标签的数据，图1和图2的结构很相似但是又有区别，假设有很多个图1类型的 和很多个图2类型的，这时就需要判断一下二者之间的区别，才能获取目标数据。 图1<body>下有两个<div>标签，而图2<body>下只有一个<div>标签，这时就可以先获取二者共同的第一个<div>标签：div = soup.div然后判断一下该<div>...
2021-10-21 15:25:20
988
原创 正则表达式匹配字符串中以数字结尾的字符
正则表达式匹配字符串中以数字结尾的字符<li class="xxx"><a href="http://www.xxx.net/abc90.htm">abc90</a></li><li class="xxx"><a href="http://www.xxx.net/abc90history.htm">abc90history</a></li><li class="xxx"><a href
2021-10-20 11:19:53
3529
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人