2018年01月_tech_chenlongzhen

原创 tensorflow 基础

计算模型首先构造好整个计算链路(图) 可以对链路进行优化分布式调度基于层模型每个层的计算,固定实现 forward/backward 必须手动指定目标GPU卡概念使用张量表示数据使用图来表示计算任务在绘画的上下文中执行图通过变量维护状态使用feed和fetch可以为任意的操作赋值或者从其中获取数据 numpy vs tensorflow t

2018-01-20 16:19:16 610

原创 tensorflow 动态分配内存以及设置使用那块gpu的方法

动态内存 config = tf.ConfigProto() config.gpu_options.allow_growth=True sess = tf.Session(config=config) 如何控制GPU资源率（参考：http://blog.csdn.net/u012436149/article/details/53837651） allow growth c

2018-01-20 16:07:01 10676

原创 tensorflow import 没找到cudnn库问题解决

ImportError: libcudnn.so.5: cannot open shared object file: No such file or directory 将cuda下lib64中的libcudnn.so，libcudnn.so.5，libcudnn.so.5.0.5复制到/usr/lib目录下或者 /usr/local/lib目录下

2018-01-20 16:04:39 1047

原创 tensorflow tfrecord save and read demo

import tensorflow as tf def _int64_feature(value): if type(value) != list: value = [value] return tf.train.Feature(int64_list=tf.train.Int64List(value = value)) def _bytes_feature(val

2018-01-20 16:02:11 517

原创 vgg16 finetune tensorflow实现

vgg vggnet version1 github: https://github.com/chenlongzhen 代码环境：python3 keras2(tensorflow backend) 结构 name usage data_utils 参数文件下载等，vgg16调用 vgg16.py vgg核心代码 vgg16_fin

2018-01-20 15:56:58 3686

原创 ipythonnotebook + spark

已经过时 PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" ./bin/pyspark 即可参考:http://blog.jobbole.com/86232/ 测试sparkpython 在sparkhome下run-tests测试在Spark中使用IPython Notebook 当搜索

2018-01-20 10:41:42 447

原创 wide and deep tensorflow 实现

github: https://github.com/chenlongzhen/wide-and-deep wide and deep wide and deep 代码结构： part 功能代码位置 reader 读取数据 reader.py processer 数据embedding,onehot等 train.py bui

2018-01-20 10:41:16 2694

原创 shell 脚本学习笔记

( 参考自 linux shell 脚本攻略) 基础赋值等号之间不用空格带空格的等号是判断是否相等数值计算 no=100 echo "ibase=2;obase=10;$no" | bc a=1;b=2 let c=a+b c=$[ a + b ] c=$(( a + b )) 4.重定向标准输入0，标准输出1，标准错误2 4.1 stdin 1 先清空再写入

2018-01-19 14:46:56 415

原创 mapreduce入门 note2 【mapreduce标准流程|】

mapreduce标准流程 InputFormat读取HDFS得到数据，并解析为key-value格式以供map函数使用 InputFormat同时perform（不知道怎么翻译，不是很理解）数据逻辑分区为Map task提供计算标准的MR计算会对每个HDFS块创建Map 任务 combine（参见note 1） Partitioner step：每个partitioner是按照key

2018-01-19 14:45:42 537

原创 mapreduce入门 cookbook note 1 【wordcount|hdfs|yarn简介】

wordCount /** * Following sample is adopted from original wordcount sample from * http://wiki.apache.org/hadoop/WordCount. */ package chapter1; import java.io.IOException; import java.util.St

2018-01-19 14:45:06 208

原创 sbt 安装以及编译spark程序

安装sbt 及配置 0.注意 sbt 我用的是自己用户, 编译好后,切换root提交spark,注意权限问题 1. 下载 wget https://dl.bintray.com/sbt/native-packages/sbt/0.13.11/sbt-0.13.11.tgz 2.解压并设置环境变量 tar -zxvf sbt-0.13.6.tgz -C /data/soft v

2018-01-19 14:43:26 481

原创 LFM推荐的例子和代码

参考自邹博的博客！ LFM：将评分矩阵分解为 item-feature 和 user-feature矩阵，feature数量事先人工确定，但是这两个矩阵参数未知，首先随机选取参数，再以此梯度下降迭代即可得到。 import pandas as pd import numpy as npdef lfm(user_item,k,alpha = 0.01,lamda = 0.01): """u

2018-01-19 14:40:07 1339

原创 tensorflow 缺库升级gcc解决【升级gcc 5.3.0|`GLIBC_2.14'】

按照以下方法升级gcc 5.3.0 gcc下载ftp地址升级gcc步骤 1.5 `GLIBC_2.14’ ImportError: /lib64/libc.so.6: version `GLIBC_2.14' not found 安装步骤： http://www.cnblogs.com/gw811/p/3676856.html 加入环境变量 export LD_LI

2018-01-19 14:38:19 1192

原创 ctr_xgboost_blue

ctr项目简介 Click through rate 广告点击率，是指浏览网页的用户点击某个特定的链接（创意）的比例（ratio）。本ctr项目主要针对手机用户预测ctr，主要使用的方法为xgboost，模型好坏的离线衡量指标为AUC，并与LR(Logistic Regression Model)模型做比较。在离线测试中，xgboost的AUC高于LR。（0.66>0.62）项目实现流程

2018-01-19 14:36:14 466

原创 alexnet tensorflow finetune实现和简介

alex alexnet version 1 参考git上的大神代码，自己学着一个cnn finetune的代码。代码代码结构 name usage image_process.py 将图片做索引： path label 用于datagenerator读取 datagenerator.py 读取图片,reszie，反转，banch 等

2018-01-19 14:34:13 2057

翻译训练CNN你需要知道的tricks/tips

Introduction 本文假设阅读者有基本的NN基础，涉及的tips有一下几点： - data augmentation - pre-process on images - initializations of Networks - some tips during training - selections of activation functions - div

2018-01-19 14:31:55 777 1

tech_chenlongzhen的博客