2018年04月_jin_tmac

原创 Code tips(持续更新中。。。)

pandas篇1、通常做数据分析时候会用pandas将数据转化成dataframe数据框的格式，如但是如果遇到只有一行数据的情况就会报错：ValueError: If using all scalar values, you must pass an index 有如下两种处理方式： 2、常用list=[]、dict1=dict{}创建一个空列表和空字典表，再用...

2018-04-11 16:29:54 795 1

我们在建模时，需要对原始数据进行处理包括缺失值、变量衍生等操作。尤其是变量衍生，完全用Python有一定的难度。我之前的做法是将原始数据导入sas，所有的前期变量清洗、衍生操作全部都在sas里完成。现在想着如何在没有sas的情况下进行数据处理。于是就有了python+mysql：将数据导入mysql，所有的变量处理操作都在navicat进行，生成许多衍生变量表，pandas直接连接自定义的数据库。...

2018-04-24 14:57:51 1908

原创 python开发环境的设置（anaconda+pycharm）

Anacondaanaconda是用python 做data scientific development的正确姿势。这里先引用下其概述： Anaconda是一个用于科学计算的Python发行版，支持 Linux, Mac, Windows系统，提供了包管理与环境管理的功能，可以很方便地解决多版本python并存、切换以及各种第三方包安装问题。Anaconda利用工具/命令conda来进...

2018-04-17 14:42:16 2126

转载机器学习实践中的7种常见错误

统计建模非常像工程学。在工程学中，有多种构建键-值存储系统的方式，每个设计都会构造一组不同的关于使用模式的假设集合。在统计建模中，有很多分类器构建算法，每个算法构造一组不同的关于数据的假设集合。当处理少量数据时，尝试尽可能多的算法，然后挑选最好的一个的做法是比较合理的，因为此时实验成本很低。但当遇到“大数据”时，提前分析数据，然后设计相应“管道”模型（预处理，建模，优化算法，评价，产品化）...

2018-04-16 17:44:57 186

原创 python解析json数据

在用json.load()读取json数据时，with open(r'E:\XX项目\xxx\{}'.format(file_name1[fi]), 'r') as f: data1 = json.load(f)报如下错误： UnicodeDecodeError: ‘gbk’ codec can’t decode byte 0xac python无法把一些字符Decode成...

2018-04-16 17:14:23 232

原创数据处理过程中的一些bat批处理命令(二)---实例篇（持续更新。。。）

1、给目录下所有的文件加上上一级目录的文件夹名字setlocal enabledelayedexpansionfor /r %%i in (*) do (if "%%~xi" neq ".bat" ( set "var=%%~dpi" set var=!var:~0,-1! call :Folder "!var!" ren "%%i" "!str!-%%~nxi"

2018-04-12 12:59:55 349

原创数据处理过程中的一些bat批处理命令(一)---语法篇

批处理的常见命令 1、REM 和 :: 加注释 2、ECHO 和 @ 打开回显或关闭回显功能，通常用@echo off 3、PAUSE 暂停 4、GOTO 和 : 5、FIND 6、START 7、pushd 和 popd 8、CALL 9、IF 10、setlocal 与变量...

2018-04-12 11:42:53 1956

转载 PANDAS和SAS的代码使用习惯比较

转载两篇博文关于PANDAS和SAS的代码使用习惯比较： 1、PANDAS和SAS的代码使用习惯比较2、pandas 数据规整

2018-04-11 16:52:23 474

jin_tmac's studio