![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
记坑
记录踩过的坑
赤螭
这个作者很懒,什么都没留下…
展开
-
关于MySQL的Error1290 --secure-file-priv
这个错误一般出现在以csv等格式导入导出数据的时候,原因是Mysql没有修改文件的权限,有两种方法解决。一、直接在默认的目录下导出,这个目录一般在C:/ProgramData/MySQL/MySQL Server 5.7/Uploads/ ,可以通过show variables来查看。二、停止服务,去C:/ProgramData/MySQL/MySQL Server 5.7/修改my.in原创 2016-11-05 20:44:08 · 19422 阅读 · 0 评论 -
记录HtmlUnit一个导致高CPU占用的坑
将爬虫部署到服务器上运行后,在查看服务器的状态监控时发现,天猫爬虫执行一段时间后,CPU占用异常升高,内存也跟着爆炸,虽然程序没有中断,但是爬取速度已经变成龟速。查看日志,发现抛出了java.lang.OutOfMemoryError: Java heap space异常。在服务器上通过jstack查到占用CPU最严重的五个线程里有四个竟然都是htmlunit下的webclient。G原创 2016-10-30 21:25:09 · 2002 阅读 · 2 评论 -
Mysql:由于超过max_allowed_packet引起的pymysql.err.InterfaceError: (0, '')错误
背景:MySQL8.0,python3.6一个py爬虫脚本,同时保存原始页面和抽取的部分数据,小规模数据量测试时正常运行,实际运行时抛出:①ConnectionAbortedError: [WinError 10053] 您的主机中的软件中止了一个已建立的连接②pymysql.err.InterfaceError: (0, '')解决方法:搜索后发现大概有两种引起这...原创 2019-09-26 18:05:30 · 450 阅读 · 1 评论 -
记一个坑:beautifulsoup解析html后内容缺失
soup = BeautifulSoup(res.text,"lxml")检查过HTML无残缺标签或提前闭合,最后使用html.parse替代lxml解决问题,怀疑是解析器兼容性导致原创 2018-08-02 08:02:07 · 6502 阅读 · 0 评论