卫可冬的博客

在 scrapy 爬虫框架的 pipeline 管道中进行持久化数据，一般会用到 ItemExporter 的 JsonItemExporter 和 JsonLinesItemExporter 这两种方式。

Scrapy 是一个十分强大的爬虫框架，使用 pip 来安装 scrapy 需要安装大量的依赖库，至少需要的依赖库有 Twisted，lxml，pyOpenSSL。在提取数据后，该parse()方法查找到下一页的链接，使用该 urljoin()方法构建一个完整的绝对 URL（因为链接可以是相对的）并产生一个到下一页的新请求，将自己注册为回调来处理下一页的数据提取并保持爬取通过所有页面。它们必须是 Spider 的子类并定义初始请求，可选的是如何跟随页面中的链接，以及如何解析下载的页面内容以及提取数据。...

将如下列表数据转为csv文件。

Python中是有查找功能的，五种方式in、notin、count、index，find前两种方法是保留字。

jupyter notebook/lab 默认输出只显示最后一行的变量在文件的最上方添加：from IPython.core.interactiveshell import InteractiveShellInteractiveShell.ast_node_interactivity = "all" 即可输出显示每行代码如果要回复默认，改为如下即可：from IPython.core...

一般报这个错是因为把numpy的array当成list来使用了。解决办法：把array变量转化为list。import numpy as npmyArray = np.array(**)......#看这里myArray = myArray.tolist().........

版权说明：未经许可，不得转载使用的Python的时候，经常会用到第三方库的支持。这些库文件都需要到Python的第三方库的官网上下载，然后进行相应的配置才能正常使用。在官网里下载的很多第三方库都是.whl或者.tar.gz格式的。（exe的直接安装 就行）在刚开始的时候，我也不知道具体该怎么配置使用。现在对这些已经是轻车熟路了，我在这里记录下配置方法，供大家参考。对于...

以下代码plt.scatter(X[0, :], X[1, :], c=y, cmap=plt.cm.Spectral)报错：ValueError: RGBA sequence should have length 3 or 4During handling of the above exception, another exception occurred:......Val...

SciPy最新官方文档的说明（20190730）：Functions from scipy.interpolate (spleval, spline, splmake, and spltopp) and functions from scipy.misc (bytescale, fromimage, imfilter, imread, imresize, imrotate, imsave, i...

环境说明：win10 专业版python 2.7.16django 1.11.9遇到的问题：python的库中已经安装了mysqlclient&MySQL两个库，debug的时候还是报错：No module named MySQLdb.Did you install mysqlclient or MySQL-python?解决方案：在django项目的根目录下的sett...

变量交换pythonic写法：a, b = b, a普通写法：tmp = a;a = b;b = tmp;循环遍历区间元素# 生成器与列表更加节省内存# range(start, end, step)# [start, end) 包含开头不包含结尾for i in range(1, 1000, 2) # python3for i in range(6) # python...

逗号分隔值（Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号），其文件以纯文本形式存储表格数据（数字和文本）。准备好csv文件。csv_file = "yourfilename.csv"csv_data = pd.read_csv(csv_file, low_memory = False)#防止弹出警告csv_df = ...