爬虫
文章平均质量分 68
烤奶要加冰
技术栈:【Python、Django、Flask、HTML、Vue、Jenkins、Docker、uni-app、爬虫、微信小程序、HarmonyOS】欢迎联系~
展开
-
使用阿里云服务器Ubuntu搭建代理服务器报错unable resolve host
解决方法: 一、切换登录用户 sudo su root 二、修改 /etc/hosts 文件 sudo vim /etc/hosts 三、添加报错host 127.0.0.1 localhost 报错host名字 四、保存并退出 :wq 问题解决,可以正常使用命令开启搭建的服务器 ...原创 2019-10-22 14:04:26 · 427 阅读 · 0 评论 -
scrapy框架将数据写入txt出现数据丢失
分析: 获取网页中的数据可以成功爬取,但是在写入txt操作的时候部分数据丢失。可能原因是scrapy框架是异步爬取数据,所以写入数据的时候不能完全写入完整的数据。 解决方法: 一、代码 pipelines.py # 开启爬虫前调用 def open_spider(self, spider): self.file = open(r'novels/dhzmg.txt', 'w', enco...原创 2019-10-22 13:18:42 · 1211 阅读 · 0 评论