![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据预处理
刘佳
这个作者很懒,什么都没留下…
展开
-
数据集
https://blog.csdn.net/alec1987/article/details/69388699转载 2018-12-14 10:45:33 · 207 阅读 · 0 评论 -
电脑配置太低,pandas.read_csv无法读取大文件
pandas.read_csv()中有一个参数chunksize是控制分块读取的。比如:df=pandas.read_csv(file,chunksize=1000)就是将文件按1000行1000的来读。读取的结果是一个可迭代对象。因此,我们通过下面的一个函数先分块读取,最后合并数据,从而读取所有的数据:def get_df(file):mylist = []for chunk in ...原创 2019-05-08 15:38:40 · 1187 阅读 · 0 评论 -
Orcale中的spool命令使用
在对orcale数据库文件进行导出时,我们希望批量处理已经写好的sql代码,但是在终端正常情况下无法进行循环运行代码。sqlplus我们可以对多行代码批量处理,步骤如下:(1)首先你连接.sh文件:sh 文件夹路径名/.sh文件 待连接的数据库(2)终端出现SQL>时,说明数据库连接成功了,此时输入的语句为@…/test.sql;。这样就可以将数据库中的文件导出到指定的文件夹。上面的t...原创 2019-07-24 11:29:09 · 396 阅读 · 0 评论 -
list()与tolist()的区别
x=np.array([[1,2,3],[4,5,6]])x1=list(x)x2=x.tolist()那么输入x1的结果是:[array([1, 2, 3]), array([4, 5, 6])]而输入x2的结果是:[[1, 2, 3], [4, 5, 6]]从数据类型的角度来讨论这两者元素的区别:type(x1[0])的结果是numpy.ndarraytype(x2[0])的...原创 2019-07-30 11:03:15 · 14081 阅读 · 1 评论