![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
其他
文章平均质量分 70
其他学习笔记
Beaul0
?这里什么都没有
展开
-
笔记:在调试爬虫时出现的数据库写入异常问题/解决matplotlib制图无法显示中文的问题
本项目使用scrapy生成爬虫框架。经分析可得,产生如上问题的主要原因可能为:1.数据库连接异常,未正确连接到数据库;2.数据爬取异常,没有获取到需写入的字段;3.sql语法有误;修改前的管道文件如下:经过检查代码,确定spiders无误,可通过确定的Xpath爬取到数据;接着检查init方法,确定数据库参数无误,基本可以确定问题出现在sql语句上。接着检查控制台信息:不难看出程序在执行 self.cursor.execute() 方法时抛出了异常 “Failed” ,并且经过对 commit(原创 2022-07-05 19:53:11 · 472 阅读 · 0 评论 -
关于使用requests.get(url)获取不到页面全部内容的记录--使用selenium有效解决
今天在尝试使用requests库进行PWA封禁信息爬取时出现了提取到的字符数组为空的情况,详细信息如下:如图所示,id = “root”对应的div中包含有我们想要获取的信息原创 2022-07-02 10:41:01 · 9362 阅读 · 0 评论 -
使用Weka与Excel进行简单的数据分析
例某银行家想统计信用卡积分与使用者月收入之间的关系,现有一文件bank.arff,该文件包含7个属性,分别为月收入、每月工作天数、当前信用卡额度、历史统计的按时还款比例、曾经的最大透支额、银行贷款的数目、信用卡积分。但是银行只想统计信用卡积分与月收入之间的关系,所以在构建模型时需要去除其余5个属性的影响,只留下“月收入”和“信用卡积分”这2个属性。该文件为自定义文件。使用WekaExplorer导入数据点击Openfile导入后结果如下此时为数据的整体性分析。...原创 2022-07-27 21:03:33 · 2141 阅读 · 0 评论