xingkong_dahai-CSDN博客

转载使用Pandas处理大型数据—节省90%内存的建议

看到一篇关于如何有效利用Pandas节省内存的文章，很有收获，原文地址：Using pandas with large data—Tips for reducing memory usage by up to 90%。简要总结一下这篇文章的中心思想：合理设计读取的数据类型。如图所示，Pandas中不同数据类型所占用的内存。作者建议，在不影响数据准确的情况下，将fl

2017-08-13 11:18:02 12086 2

原创关于更改MySQL默认字符编码的问题

安装了MySQL5.7，但是character_set_database和character_set_server都是latin1，使用了网上各种方法，都没有解决，包括修改配置文件等等。最终的解决办法是，重新下载了MySQL的MSI安装版。之前使用的是压缩包命令行安装版本，后来全部删掉，重新安装了MSI版本，然后字符编码就都变成utf8了，原因不明。在命令行中，通过mysql> show

2016-10-18 22:02:54 438

原创 Pycharm如何设置自定义背景颜色

Pycharm可以通过设置主题来设定背景颜色，但主题的背景颜色也仅仅局限特定的几种，通过如下的方式可以自定义背景颜色。File——Settings——Editor——General——(右侧上方的框框)Text——Default text——选右侧的Background就可以设置背景色了。图中的灰色背景RGB是192，192,192。

2016-08-26 16:53:40 61883

原创如何使用Visio做ERD(实体关系图)

最近在做实体关系图，尝试了一些工具，发现VISIO比较合适，但是没有合适的教程，在网上找了一下，发现这篇文章写的非常好，地址如下：http://barney.gonzaga.edu/~chen/bmis441/oracle/Visio_Tutorial.pdf这篇介绍是英文的，介绍了VISIO制作ERD的基本步骤。想要做出合适的图，需要调整‘数据库驱动程序’、‘建模首选项’和‘显示

2016-08-17 17:21:47 14848 1

原创 Kaggle Titanic: Machine Learning from Disaster 一种思路

# -*- coding: utf-8 -*-import numpy as npimport pandas as pdfrom sklearn import cross_validationfrom sklearn.linear_model import Lassofrom sklearn.neighbors import KNeighborsClassifierfrom skle

2016-03-26 18:32:03 913

原创 SAS中生成哑变量的一段宏代码

我们在建模时，可能经常会有一些将分类变量（categorical variable）转换成哑变量（dummy variable）的需求。例如“成绩”是一个分类变量，内容包含“优，良，中，差”四个分类，转换成哑变量之后，新生成了四个二元变量（binary variable），每个变量只有0和1两个值，通常0表示“否”，1表示“是”。貌似SAS中没有生成哑变量的过程步，因此自己写了一段宏实现了这个

2016-03-26 16:27:45 6849 1

翻译 SAS如何在不排序的情况下使用by语句

排序是SAS中非常常用的一个操作。尤其是在merge之前，通常是要排序的。SAS在进行排序时，会在C盘开辟出一块临时空间，排序的数据集越大，临时空间也越大。因此，如果电脑的C盘空间不足，排序会被迫停止，并且在日志中报错。那么如何在不排序的情况下，使用by语句呢？答案是创建索引。如下面代码所示：data a_1402;input id $ var1;datalines;3 1

2016-03-26 15:59:12 3309

翻译 SAS中的if过滤语句

在SAS中，if语句和where语句都有过滤作用，请看如下两端代码，其效果是相同的：data a; set sashelp.class; if sex eq "男";run; data a; set sashelp.class; where sex eq "男";run;if 过滤语句的基本语法为"if 条件"，其完整形式

2016-03-26 15:49:23 16536

翻译数值相同的变量为何判断为不相等？

首先来看下面两段代码：data a;length x8 8 x4 6;retain x8 0.1 x4 0.1;run;data _null_;set a;put x8= x4=;if x8=x4 then put "Equal";else put "Unequal";run;输出结果为：x8=0.1 x4=0.1Unequal

2016-03-26 15:39:44 2420

翻译在SAS中创建空数据集的几种方法

1.空数据集同时建立新变量data a;length var1 $10. var2 8;stop;run;2.利用已有数据集信息建立空数据集;方法1：data a;set sashelp.class;stop;run;方法2：data a;set sashelp.class(obs=0);r

2016-03-26 15:23:36 12558

翻译 SAS使用where keep drop rename obs 选项使用时需注意的几点

在使用data或set语句时：1.keep和drop选项不能同时使用；2.如果同时使用keep和rename选项，那么keep=原有变量名称；3.如果同时使用where、firstobs和obs选项，那么SAS优先按where条件筛选，where筛选后，再按照firstobs和obs筛选。如上内容来自《Professional SAS

2016-03-26 15:18:28 8869

翻译 SAS取消正在运行的语句——Run Cancel

假设运行如下代码：data a; set sashelp.class;编辑器会有如下提示：原因是没有运行run语句。遇到这种情况，通常点击菜单栏的“中断”图标，然后选择“取消提交的语句”即可停止当前运行的程序，如红色箭头所示：还有另外一种解决方式，即运行run cancel语句。run cancel;如上内容来

2016-03-26 15:08:38 4324