![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
遇到的错误及其解决
_刘文刚
waston.
展开
-
使用ThreadPool()中的pool.map()多线程运行selenium webdriver导致的内存占用巨大,内存溢出乃至电脑卡死解决方法
解决一:(适用于大量程序并行导致内存溢出)selenium webdriver退出方式:`driver.close()`改为`driver.quit()`。close()方法:可能是只关闭了当前网页,而未关闭crome,导致大量crome并发,占用内存直至卡死。quit()方法:关闭当前页面并退出浏览器和退出webdriver驱动。解决二:程序产生大量缓存(或是其他文件)导致磁盘存储空间...原创 2020-04-21 16:05:39 · 2742 阅读 · 3 评论 -
数据库设置最大连接数方法(使用ThreadPool多线程插入数据到数据库报错)
1.显示当前所有连接:show processlist;2.显示最大连接数show variables like 'max_connections';3.设置最大连接数为1000(mysql 8.0好像默认为151)set global max_connections=1000;...原创 2020-04-21 15:33:27 · 963 阅读 · 0 评论 -
Mysql 8.0 修改数据库名(复制数据库) 修改数据表名
1.修改数据表修改数据表很简单,各版本数据库通用。create table test(name varchar(10)); # 创建名为test的数据表rename table test to test1; # 修改数据表名称test为test12.修改数据库名(复制数据库)在mysql8.0及后续版本中,原来的命令:rename database data1 to d...原创 2020-04-10 14:51:16 · 5104 阅读 · 0 评论 -
问题解决:如何获取京东页面请求到的json中的商品数据(爬虫请求json,提取数据)
**问题介绍:**京东商品的部分信息是具备一定的反爬措施的,例如价格、评论相关信息的那个。那么我们要如何获得这部分数据呢?**问题分析:**对于这部分数据,分析相关请求内容或json,能够找到对应的数据是存在json中的,我们只需要获得将json请求出来,再通过一些简单步骤即可获取json数据。当然是需要使用json库的。解决步骤:1.找到数据所在json令书博客,具体可查看:京东反爬措施...原创 2020-04-10 11:25:17 · 2908 阅读 · 0 评论 -
京东反爬措施导致无法爬取商品价格和评论等信息解决方法
**问题描述:**在直接对京东商品的网页源码进行xpath解析时,获得的价格数据和评论数量等信息为空。**问题分析:**经过分析发现,通过接口分析,京东商品的价格和评论信息均由jason保存。通过查找json找到相应的接口,请求数据即可解决。解决方法:1、第一步,寻找接口的突破口,就是接口全文检索,关于这个价格的信息仔细查找发现了获得价格的函数。调用了ajax,如此我们分析,是不是每个价...原创 2020-04-06 18:05:03 · 7979 阅读 · 11 评论 -
连接Mysql并将数据写入数据库方法(Pymysql库的基本使用 附完整实例代码)
一、PyMySQL库介绍PyMySQL是在 Python3.x 版本中用于连接 MySQL 服务器的一个库。本质上就是一个套接字客户端,只不过这个套接字客户端是在python程序中用的。二、安装和使用1.安装pip install pymysql2.方法pymysql.connect()参数说明:(连接数据库时需要添加的参数)host(str): MySQL服务器地址p...原创 2020-03-27 20:18:39 · 1146 阅读 · 0 评论 -
pymysql.connect错误解决 (1130, "Host 'X.X.X.X' is not allowed to connect to this MySQL server")
问题描述:使用pymysql库的pymysql.connect方法连接某服务器数据库时,报错:(1130, "Host 'X.X.X.X' is not allowed to connect to this MySQL server")错误分析:主机X.X.X.X不允许连接到Mysql服务器。即该主机未配置Mysql支持远程连接引起的。解决方法:1.登录服务器(本地则直接登录mysq...原创 2020-03-27 19:35:47 · 3831 阅读 · 0 评论 -
爬虫爬取动态网页,滑动加载项无法爬取问题(selenium + cromedriver配置方法)
问题描述:京东一页数据为30项,但分半加载,即先加载15项,下滑加载后半部分,导致爬取结果仅有15项。该方法可泛用至任意动态下拉加载类网页。解决方法:使用selenium + cromedriver的方式设置自动下拉,等待加载完毕后进行爬取即可。方法步骤:Selenium WebDriver提供了各种语言的编程接口,来进行Web自动化开发。1.selenium的安装(百度可以找到详细的安...原创 2020-03-24 11:59:47 · 2195 阅读 · 0 评论