qq_34130509的博客

在以往的学习过程中，经常会遇到各种各样的问题，有些问题当时就能解决，而有的则要拖很久，更有些问题，在不同代码里表现的形式也不一样，解决方式也略有不同，所以开这里一类文章，用以记录所遇到的问题以及相应的解决方法，以便自己和别人查看。...

问题内容：'utf-8' codec can't decode byte 0xd6 in position 20: invalid continuation byte相关代码：#科技部数据获取def get_url(a,b): for i in range(a,b): if a == 0: url = 'http://www.most.go...

在使用xpath进行爬虫的过程中总是出现各种各样的小问题，于是我就上网查了一下，详细的学习了xpath语法，是在w3school上看的，学习过程中我发现一个小问题，在原文中给出的路径表达式列表里，对于“nodename”这一类表达式的说明是“选取此节点的所有子节点”，结合一段html文本：text = '''<div> <ul> <l...

问题描述：在爬虫时，想将文件保存到对应题目的文件夹下，在生成文件夹中的过程中出现如下错误：FileNotFoundError: [Errno 2] No such file or directory: 'E:\中信所\技术中心\工作\规划类文件采集\国科馆公共服务平台及科学技术部指南内容采集\附件类文件\科技部\关于国家重点研发计划“生物医用材料研发与组织器官修复替代”重点专项2019年度项目申...

问题描述：在使用xpath爬虫的过程中，我想提取带有某一属性的节点内部的文本，但输入节点和属性之后，并没有返回相关的文本，相关代码如下所示：fujian1_text = fujian1_text_tree.xpath('//span[@class = "normal105"]//*/text()')在这里我想活得span下所有子孙节点的内容，其中span节点的class属性是"normal1...

前几天做了一个任务，有一个2700万行的关键词txt文档，关键词之间用%隔开，要求将每行关键词分隔开，并将整个txt文档里的所有词进行一个去重，最后将结果输出到一个新的txt文档里，每个关键词占一行。任务并不难，我很快就编好了代码，输出的部分就不说了，主要讲输入已经操作的过程，具体代码如下：a = set()i = 0with open('中文期刊关键词.txt', 'r', enc...

编程的时候碰到这个错误：'gbk' codec can't decode byte 0x9d: illegal multibyte sequence。查了一下，意思是源文件不是用gbk编码的，因此用gbk解码会报错。尝试使用其他方式解码就可以了。...