爬虫学习
稀饭鲲
这个作者很懒,什么都没留下…
展开
-
python100行代码爬取古诗
最近在做AI作诗的项目,需要训练古诗生成模型,于是自己写了个爬虫获取古诗数据# -*- coding:utf-8 -*-from bs4 import BeautifulSoupfrom selenium import webdriverimport timeimport xlwtimport reimport stringfrom urllib import requestfr...原创 2020-02-27 16:07:39 · 1252 阅读 · 1 评论 -
数据存储在.csv文件乱码,数据写入才一部分就报错'gbk' codec can't encode character '\xee' in position 45: illegal multibyte
使用python爬虫爬取规则数据后转化成来List格式,将其存储在.csv 文件中使用Python写文件的时候,或者将网络数据流写入到本地文件的时候,大部分情况下会遇到:UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\xa0’ in position … 这个问题。 网络上有很多类似的文件讲述如何解决这个问题,但是无非就是enco...原创 2019-01-29 11:15:04 · 1278 阅读 · 1 评论 -
python存储List数据到文件
写入txt文件def text_save(filename, data):#filename为写入CSV文件的路径,data为要写入数据列表. file = open(filename,'a') for i in range(len(data)): s = str(data[i]).replace('[','').replace(']','')#去除[],这两行按...原创 2019-01-29 14:23:28 · 23812 阅读 · 2 评论