查看源码

使用pycharm比较好或者是idea   https://www.oschina.net/code/snippet_4873_16289?p=3#comments

2019-01-22 15:35:25

阅读数 38

评论数 0

pycharm中查看内建函数源码

在写代码的过程中,有的不常用的函数会忘记其具体用法,可以使用pycharm来查看源码,帮助自己重新想起来具体的使用方法: 鼠标放在内建函数上,Ctrl+B,看源码 点击需要查看源码的函数名,按住Ctrl+B自动跳转即可...

2019-01-22 15:34:35

阅读数 69

评论数 0

装饰器@

http://python.jobbole.com/80955/

2019-01-18 15:10:39

阅读数 28

评论数 0

从checkpoint获取某个变量的值

在进行调试的时候,可以保存模型,,加载模型 保存模型的一种是保存成checkpoint,而如何从保 import tensorflow as tf v1 = tf.Variable(tf.random_normal([1, 2]), name="v1") ...

2019-01-16 15:59:51

阅读数 64

评论数 0

tensorflow collection

https://blog.csdn.net/shenxiaolu1984/article/details/52815641 tensorflow用集合colletion组织不同类别的对象。tf.GraphKeys中包含了所有默认集合的名称。 collection提供了一种“零存整取”的思路:在...

2018-12-12 18:45:03

阅读数 153

评论数 0

dropout层

之前了解的网络都是在全连接层加dropout层,防止模型过拟合。在看deepfm的模型的时候,发现在每一层都可以加入dropout层 对dropout层的深入理解 做分类的时候,Dropout 层一般加在全连接层 防止过拟合 提升模型泛化能力。而很少见到卷积层后接Drop out (原因主要是...

2018-12-10 16:08:42

阅读数 1113

评论数 0

安装tensorflow 使用conda

https://blog.csdn.net/nxcxl88/article/details/52704877 1. 安装Anaconda 从anaconda官网(https://www.continuum.io/downloads)上下载linux版本的安装文件(推荐Python 2.7版本)...

2018-11-30 15:48:16

阅读数 135

评论数 0

C++ for循环5种用法

#include <algorithm> #include <vector> ////////////////////////////////////////////// int nArray[]...

2018-11-17 22:31:24

阅读数 234

评论数 0

hive 中引号问题

写一段hql语句,其中一列引用shell脚本中的变量 current_date=`date +%Y-%m-%d`​ #获得当前日期,如2015-03-18 开始用双引号。​ select '"'$current_date'"'... 返回结果对应列返回​...

2018-11-05 15:10:24

阅读数 827

评论数 0

hive jiqiao

1.在Hive中可以使用正则表达式 set hive.support.quoted.identifiers=None;  select a.pin, `(pin)?+.+` from Table 1 2 2.输出表数据时,显示列名 set hive.cli.print.header=true; ...

2018-11-05 11:04:15

阅读数 44

评论数 0

dataframe性质

1)查看DataFrame数据及属性 df_obj = DataFrame() #创建DataFrame对象 df_obj.dtypes #查看各行的数据格式 df_obj['列名'].astype(int)#转换某列的数据类型 df_obj.head() #查看前几行的数据,默认前5行 d...

2018-10-26 15:38:52

阅读数 38

评论数 0

xgboost 输出重要特征

def ceate_feature_map(file_name,features): outfile = open(file_name, 'w') for i, feat in enumerate(features): outfile.write('{0}\t{1...

2018-10-26 15:34:02

阅读数 599

评论数 0

hive reduce

、    控制hive任务中的map数: 1.    通常情况下,作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有: input的文件总个数,input的文件大小,集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到,该...

2018-10-16 17:54:44

阅读数 139

评论数 0

python 中的struct 类型

准确地讲,Python没有专门处理字节的数据类型。但由于str既是字符串,又可以表示字节,所以,字节数组=str。而在C语言中,我们可以很方便地用struct、union来处理字节,以及字节和int,float的转换。 在Python中,比方说要把一个32位无符号整数变成字节,也就是4个长度的s...

2018-08-15 20:25:21

阅读数 292

评论数 0

Hive 导入的中文数据出现乱码问题

1, hive支持的utf8,所以需要将文件的格式转换为对应的utf8。 2, Hive中文乱码问题的解决办法,网上有很多帖子,然而很多都是基于Linux终端显示字符的修改,其实上对于一些条件下的HIVE中文乱码问题是无法解决的,如从CSV文件导入到HIVE中出现的中文乱码问题。 大家都...

2018-07-25 18:20:21

阅读数 4113

评论数 0

contab设置周期性任务

CRONTAB概念/介绍       crontab命令用于设置周期性被执行的指令。该命令从标准输入设备读取指令,并将其存放于“crontab”文件中,以供之后读取和执行。 cron 系统调度进程。 可以使用它在每天的非高峰负荷时间段运行作业,或在一周或一月中的不同时段运行。cron是系统主要...

2018-07-25 15:05:29

阅读数 2005

评论数 0

shell 获取当月时间

  #!/bin/bash # 获取当前月份 monthhive=`date +%Y-%m` # 获取昨天的日期 #dthive=`date -d last-day +%Y-%m-%d` dthive=`date -d "2 days ago" +%Y-%...

2018-07-25 14:36:20

阅读数 365

评论数 0

XGBOOST数据

XGBOOST处理的数据形式,主要可以是libsvm, 三元组,numpy的形式 其中,numpy的形式是最常见的,通常情况下,使用HIVE处理的数据,样本字段,往往都是处理成numpy的形式,进行处理。 但是,当数据非常稀疏的时候。可以将数据处理成KEY:VALUE的形式或者四三元组的形式 ...

2018-07-23 21:17:52

阅读数 115

评论数 0

XGBOOST 数据处理

在Python中使用XGBoost 下面将介绍XGBoost的Python模块,内容如下:  * 编译及导入Python模块  * 数据接口  * 参数设置  * 训练模型l  * 提前终止程序  * 预测 A walk through python example for UCI Mushr...

2018-07-23 21:14:46

阅读数 1038

评论数 0

XGBOOST 进行稀疏数据的处理

xgboost进行稀疏数据的处理 当数据及其稀疏的时候,不应该转换为numpy等形式,尤其是点击数据。 商品成千上万,用户点击商品的种类只是其中的某一些类型,但是以此建立起来的点击矩阵的纬度却是庞大而冗余 解决方式1: 将数据转化为libsvm存储的形式, 数据的第一列是label, 第二...

2018-07-21 21:59:41

阅读数 2335

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭