- 博客(37)
- 收藏
- 关注
原创 【Python】dataframe两列的字符串和数字拼接,但出现none值则不做处理的方法(案例)
假设我们有一些公司的报价单,以Dataframe的格式来储存,它的字段有公司名、报价金额、和金额单位的信息。但不对空的部分拼接成新的一列。
2024-07-18 15:23:28
378
原创 【Python】Selenium怎么切换浏览器的页面
我们在爬网使用Selenium进行测试的时候,有时候想要点击浏览器里面的网址,跳到另一个页面上,获取第二个页面的内容。这里主要使用window_handles来切换浏览器的页面
2024-07-16 11:34:36
344
原创 【好用的工具】不用写代码就能爬虫的插件——Google Sheet的使用感受
最近看了个文章,谷歌的一款产品,直接用一个excel就可以干掉requests获取数据+存入表格的爬虫过程了,这让我学了那么久爬虫的我瑟瑟发抖。我查看它的说明文档,发现主要是部分网站的爬取已经打包好了,其中不乏亚马逊、雅虎、油管、沃尔玛等。在使用的过程中, 我觉得用的还是挺顺的!网络爬取的最大问题是稳定的网络访问连接问题,如果数据量太大,或者访问太频繁,就会有封号的危险。详细的做法,这里就不展示了,可以看上面的文章,我觉得它写的已经挺全的了。具体产品:Google Sheet,谷歌的“Excel”。
2024-07-15 14:51:06
300
原创 【Python】从Word文档中提取表格的方法
如果我们有一个文件夹,里面有很多的Word文件,然而我们如果要将word里面的表格一个个提取出来做分析,可以参考这个方法
2024-07-03 17:25:46
606
原创 【Python】从文本字符串中提取数字、电话号码、日期、网址的方法汇总(全!)
我们做数据清洗的时候,遇到文本中提取出数字、电话号码、日期、网址等,可以参考这篇文章~
2024-07-03 16:09:19
658
原创 【Python】使用Windows任务计划程序定时运行Python脚本!
在搭建了以后,如果我们想每天一次或者多次运行一个python 文件,推荐可以使用:Win的【任务计划程序】 +创建【批处理文件(.bat)】+运行Python脚本。
2024-07-02 14:43:22
1106
原创 【Python】在运行中使用warnings.filterwarnings,可以忽略测试中遇到的问题
如果我们正式运行的过程中,不想要警告报出,这时候可以通过 warnings.filterwarnings() 来设置过滤规则,决定哪些警告应该被显示或忽略。
2024-06-14 12:04:33
634
原创 【Python】selenium使用find_element时解决【NoSuchWindowException】问题的方法
NoSuchWindowException是 Selenium WebDriver 中的一种异常,当尝试切换到一个不存在的窗口时,或者在尝试获取窗口句柄时窗口已经关闭或不存在,就会抛出这个异常。以下是一些解决NoSuchWindowException的方法
2024-06-12 09:48:25
1460
原创 【Python】selenium 的EC.presence_of_element_located 和 EC.element_to_be_clickable 的区别
区分EC.element_to_be_clickable和EC.presence_of_element_located 和visibility_of_element_located
2024-06-07 19:06:52
1096
原创 【Python】Selenium WebDriver 中 `expected_conditions`(预期条件)模块
显式等待允许我们的自动化脚本等待某个条件成立,或者等待某个元素出现在页面上,直到达到超时时间
2024-06-07 18:18:10
805
原创 【Python】selenium使用find_element时解决【NoSuchElementException】问题的方法
NoSuchElementException是 Selenium WebDriver 中的一种异常,我们在写selenium.find_element 的时候也比较常见,它会在我们要尝试定位一个不存在的元素时抛出这类错误。
2024-06-07 17:18:41
699
原创 【Python】selenium使用find_element时解决【StaleElementReferenceException】问题的方法
StaleElementReferenceException是 Selenium WebDriver 中的一种异常,通常在元素与当前页面的状态不同步时抛出,比如页面已经刷新或导航到另一个页面,但是尝试操作的元素引用仍然是旧页面上的元素。
2024-06-07 12:03:17
658
原创 【Python】selenium 点击某个按钮 click() 出现的报错问题--ElementClickInterceptedException(全!)
ElementClickInterceptedException 是 Selenium WebDriver 中的一种异常,通常发生在尝试点击一个元素时,如果该元素被另一个元素遮挡,或者页面上有覆盖的元素(如弹出窗口、模态框、下拉菜单等),就会抛出这个异常。
2024-06-05 18:47:17
689
原创 【Python】统一安装多个包和特定版本号的方法
如果需要安装的包比较多,而且对依赖的包有版本号的要求,就可以使用以下这些方法,统一安装一个项目所需的所有依赖包。
2024-06-04 17:38:10
532
原创 【Python】读取文件夹中所有excel文件拼接成一个excel表格 的方法
我们平常会遇到下载了一些Excel文件放在一个文件夹下,而这些Excel文件的格式都一样,这时候需要批量这些文件合并成一个excel 文件里。
2024-06-04 14:18:29
734
原创 【SQL】常用的python查询和修改sql语句的代码汇总!
以下是我常用的【python】连接、查询和修改SQL语句的方法,我把他们打包成def,方便日后调用,建议大家收藏使用!
2024-05-31 10:41:39
269
原创 【SQL】解决ValueError:unsupported format character ‘?‘的错误
使用过sql近似模糊查询,且带有 %s 用来连接字符串时,遇到的ValueError 的问题,
2024-05-30 15:48:24
732
原创 【Python】Dataframe 的增删改查操作(常用版)
在pandas中,DataFrame对象提供了丰富的方法来进行数据的增删改查操作。以下是一些常用的操作
2024-05-22 15:11:14
476
原创 【Python 】使用Flask调用API接口的方法
在写代码的过程中,我们时常会遇到与其他人合作,怎样能让别人运行我们的代码但是又不暴露自己的代码呢,这时候使用Flask框架构建API接口是很不错的选择
2024-05-22 15:05:28
566
2
原创 【Python 】dataframe 存入excel 的方法汇总
本文汇总了一些python处理dataframe的时候存入excel的方法汇总
2024-05-22 14:31:47
1404
原创 【Python】使用selenium遇到网页元素点击被拦截的问题整理
网页对鼠标进行监测,需要点击鼠标操作:某些元素可能需要特定的操作方式,如右键点击或双击,这时可以使用ActionChains类的context_click或double_click方法,或者使用execute_script方法模拟相应的鼠标事件。在处理这类问题时,重要的是要仔细检查页面元素的结构,确认是否有其他元素影响了目标元素的点击操作。元素点击被拦截:如果错误信息提示点击在某个点处被拦截,可能是因为有其他元素(如模态对话框、下拉菜单等)覆盖在要点击的元素上。方法直接触发点击事件。
2024-05-14 14:16:01
342
1
原创 Python数据分析会用到的dataframe方法汇总(全)
本文将dataframe的应用分为以下几类:1. 创建dataframe的方法2. Dataframe读取文件的方法3. 数据类型的转换4. 增删改查 操作5. 统计函数汇总。
2024-04-03 15:11:18
1361
1
原创 【Python 通过Series对象创建DataFrame】
Series是pandas中的一个一维数组结构,它可以包含任何数据类型,例如整数、字符串、浮点数、Python对象等。
2024-04-03 14:24:09
398
1
原创 【通过numpy ndarray创建dataframe】
Numpy提供了强大的多维数组对象ndarray,而pandas则在此基础上提供了更高级的数据结构DataFrame,两者是如何转化的呢?
2024-04-03 14:16:55
383
原创 【Python通过列表创建DataFrame的方法】
在Python中,使用pandas库可以通过列表创建DataFrame对象。列表可以是单层列表,也可以是嵌套列表(即列表的列表),分别对应于单列和多列的数据。
2024-04-03 11:50:04
653
全国各行政区省市名称数据数据库Json格式+Python判断文本是否包含地区信息
2024-07-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人