python学习笔记（六）

错误类型分析：

IndexError: list index out of range

• 情况一：
  list[index]中的index下标超出范围了，所以出现了访问越界；
• 情况二：
  list本身就是一个空的，没有一个元素，所以当访问到list[0]的时候，就会出现该错误。

解决方法：

情况一：
    index下标越界，那么意思就是list本身没有那么多元素，所以我们在确定index的时候就要用len函数来进行判断一下，确定index的范围，这样就不会出现情况一了。
情况二：
    list本身为空，那么我们在调用list之前，就应该先判断与一下list是否为空，可以用输出打印来进行判断，或者写一个异常处理，这样就不会让程序直接kill掉，然后再在前面想办法，让我们获取的list不为空。

错误原因：xpath解析数据成列表list， 取列表list[0]时列表其实是空的，用的是list[0].extract()方法
解决方法：使用extract_first()，如果是空置，则返回空，不报错。
 

可变参数*args 和 **kwargs 

• 定义函数时候，参数*args在前，**kwargs在后，*args和**kwargs组合起来可以传入任意的参数。
• *args参数：可接受任意个位置参数，当函数调用时，所有未使用（未匹配）的位置参数会在函数内自动组装进一个tuple对象中，此tuple对象会赋值给变量名args。
• **kwargs参数：可接受任意个关键字参数，当函数调用时，所有未使用（未匹配）的关键字参数会在函数内组装进一个dict对象中，此dict对象会赋值给变量名kwargs。

 当目标是多个p时，不能用/text()，否则获取到的是空格，得去掉text()，然后再用清洗去除不要的

yiled item

执行完这句话后就转到管道了，因此要把这句话放到爬取所有数据后，一个爬虫.py只能有一个

打断点后，点左侧栏的运行和测试（ctrl+shift+D ），点此横栏的跳转到下一个进行debug

<twisted.python.failure.Failure twisted.internet.error.ConnectionLost: Connection to the other side was lost in a non-clean fashion: Connection lost.>

该错误表示：与另一端的连接以非正常的方式丢失，即连接丢失。这通常是由于网络连接中断、连接超时或远程服务器关闭连接等原因导致的。

问题：s= military affairs ，中间的空格变成%20了 

原因：在URL中，空格是一个非法字符，因此需要进行编码转换。在URL编码中，空格会被转换为%!，(MISSING)因此当你在URL中输入空格时，浏览器会自动将其转换为%!。

解决：将空格替换为+符号，例如：military+affairs

        for k,v in response.meta['item'].items():
            item[k]=v
            print(k,':',item[k])
            
            #对字典里的键值都遍历一遍