python 文本挖掘 实战中遇到的问题

今天开始大规模爬取数据了，花了5个小时爬了700多万条的数据，从来没做过大数据分析，不知道这是啥概念，但直觉太多了。

一、python日志文件

运行程序在自动爬取数据，已经进行了好长时间，突然发现程序自动关闭了，也没有出现任何异常错误。但是问题就来了，那么程序结束时爬取到哪里了呢？这时候就十分需要日志文件，来记录程序执行过程。

感谢下列文章，作者指出‘培养码代码的好习惯，设置日志，打印程序运行中的细节，以便调试代码’。

（文本挖掘从小白到精通（二）---语料库和词向量空间，来源Scottish Fold Cats Social Listening与文本挖掘 2019-05-08）

代码如下，注意，要生成log文件的话，一定要加上filemode="w",不然写不进去。

import logging
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO,filemode="w",filename=r"E:/Result/logmsg.log")

 

二、Python 自定义模块的相互应用

在pycharm中建立了多个python文件，各个文件间，可以相互引用。用‘import 文件名’的形式进行引用。注意：这些文件要在同一个文件夹中，