vitamin2013-CSDN博客

原创 VScode环境配置-mac

安装Mac系统，首先安装Anaconda和VS Code，如果下载的是最新版的Anaconda，会提示是否安装VS Code：安装如下插件：Anaconda Extension Pack：包含了Python和YAML Support for Visual Studio CodeExcel Viewer：方便浏览文本文件Jupyter：可以单行或者多行运行代码，方便调试markdown ...

2020-04-18 16:58:52 4010

原创从SGD到Adam-- 深度学习优化算法概览及调参优化

动量梯度下降法Momentum上述方法，通过dwdwdw的加权平均，使得在y方向的分量抵消，x方向的分量累加Adam优化算法和RMSprop算法adam算法:结合动量梯度下降和RMSprop算法；深度学习——优化器算法Optimizer详解从 SGD 到 Adam —— 深度学习优化算法概览（一）从 SGD 到 Adam —— 深度学习优化算法概览（二）...

2019-10-31 23:32:12 450

原创 Shell脚本函数

1.读取配置配置文件：key=value#!/bin/bashdeclare -A kv_dict=()function LoadConf(){ file_name=$1 IFS="=" while read key value do kv_dict[$key]=$value done < $file_name}...

2019-04-15 17:50:09 240

原创 Python学习笔记3-绘图

Roc曲线def plot_objs_roc(fname,title=u'ROC曲线'): print fname pred=pd.read_csv(fname) #print pred.head(5) y_pred=pred['preictal'] objs_y_pred=get_objects_y(pred) #print objs_y_...

2018-06-07 19:46:52 237

原创 python学习笔记-2.字符串分割

空格分割s='avg / total 0.91 0.87 0.87 92'filter(None, s.split(' '))[out]['avg', '/', 'total', '0.91', '0.87', '0.87', '92']

2018-06-06 12:39:17 198

原创 pandas.DataFrame用法笔记

未命名列重命名及删除用索引给未命名的列重命名data.rename(columns={ data.columns[0]: "delete" }, inplace=True)删除该列data.drop('delete',axis=1,inplace=True)两个DataFrame的拼接把y_num series 或者为df，添加到data上。data=data.join(y...

2018-06-06 09:51:03 340

原创 Jupyter Notebook 中加入R核

Jupyter Notebook 中加入R核来源于女票分享的一个链接Jupyter Notebook 中加入R核，写毕业论文的图顺利用R语言画出了高端的图片。系统说明ubuntu16.04_64位系统、Anaconda2安装步骤1从源代码安装（Linux上默认）ZMQ你需要使用zmq开发头文件来编译pbdZMQ：sudo apt-get install li...

2018-06-04 20:15:14 2230

原创 ubuntu16.04上传code到Github步骤

ubuntu16.04上传code到Github步骤step 1.创建ssh-key~$ssh-keygen -t rsa -C "[email protected]"step 2.将上步生成的~/.ssh/id_rsa.pub 文件复制到github的ssh keys上step 3.添加你的新的密钥到 ssh-agent（ssh 代理）~$ssh-...

2018-04-18 00:48:23 273

原创 Python学习笔记-1.数据读入与写出（命令行交互）

数据读入与写出（命令行交互）1.读文件输出文件import sysdef main(argv):#input_file='/home/vitamin/bigdata/code/python/part-00000'#output_file='/home/vitamin/bigdata/code/python/out1' input_file=argv[1] outpu...

2018-04-14 15:09:53 1661

转载 vim简易配置

把下面的code复制命名为.vimrc文件，放在/home/vitmain/目录下即可map :call SaveInputData()func! SaveInputData() exec "tabnew" exec 'normal "+gP' exec "w! /tmp/input_data"endfunc"colorscheme torte"col

2018-01-18 15:24:28 337

原创 Ubuntu16.04+GPU1080ti深度学习环境配置

本说明旨在在ubuntu16.04的服务器上的普通用户中创建深度学习环境Tensorflow、Theano1.服务器上创建用户给用户赋予管理员权限系统管理员用户:$sudo adduser vitamin使用如下命令可以添加到用户组（超级用户组）。添加管理员权限：$sudo usermod -aG sudo vitmain 其中a:表示添加，G：指定组名从用户组中...

2018-01-02 15:32:06 3430

原创 RBM源码分析

RBM源码说明本源码来自《深入浅出深度学习原理剖析与Python实践》一书参考代码：GitHub项目数据预处理# coding: utf-8## data_preprocess.py## Author: Huang Anbu# Date: 2017.4## Description: data processing, after execute this script, you will

2017-10-29 15:23:19 1552 2

原创 Python-web: Flask 应用、数据库查询数据、API接口

一个超简单的Flask应用hellowordfrom flask import Flaskapp = Flask(__name__)@app.route('/')def hello_world(): return 'Hello World!'if __name__ == '__main__': app.run()数据库查询、与数据API关于对数据库查询操作可参考：Python:数

2017-08-09 20:54:13 5830 3

原创 Hadoop-MapReducer 利用计数器Counters（Java）和Error output（python）计数

Hadoop MR Java 代码，统计结果输出到日志文件中package vitamin.user_static_table;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce

2017-08-09 11:56:20 681

原创 Hadoop streaming 编写MapReduce程序-二次排序，多文件输入

这个例子用到了二次排序，多文件输入的处理Mapper.pyimport sys,hashlib,struct,osfrom urllib import unquote tag=['11522','1157','15999','44060','373934']if __name__=="__main__": for line in sys.stdin: line = li

2017-08-08 14:08:33 1125

原创 word2vector 源代码分析

2017-08-04 14:14:17 2150 1

原创 PHP：折线图和数据表的绘制

header.php文件<!DOCTYPE html><html lang="en"><head> <meta charset="utf-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" content="width=device-width, initial-s

2017-08-04 14:07:41 3213

原创 Linux机器间同步文件脚本

创建文件rsync_file.exp，写入以下内容：文件内容中’123’为要上传主机 [email protected] 的用户密码#!/usr/bin/expect -- #exp_internal 1#set timeout -1 set timeout 600set outpath [lindex $argv 1]:[lindex $argv 2]set localpath [l

2017-08-03 16:48:40 724

原创 Hadoop streaming编写mapper与reducer

mapper：import sys,hashlib,struct,osfrom urllib import unquote if __name__=="__main__": for line in sys.stdin: line = line.strip() tks = line.split("\t") print tks[0]+'\t

2017-07-25 22:28:52 508

原创 Shell笔记

较全的资料shell命令详细解析定时脚本任务参考：crontab命令详解主要用到： crontab -e 命令 -e：编辑某个用户的crontab文件内容。如果不指定用户，则表示编辑当前用户的crontab文件。在每个整点的第五分钟执行，如下# submit hadoop static job per hour 5 * * * * sh /dir/vitamin/code/datapreproc

2017-07-25 22:18:23 242

原创 Mysql数据库相关操作

Mysql命令参考文档mysql事务模式匹配创建数据库:CREATE DATABASE `db_name` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;设置默认数据库:use db_name;创建表格:t1: create table tb_hour_reason_static(ip varchar(15) not null,reason

2017-07-25 21:50:59 250

转载 Ubuntu菜鸟入门—— 有道词典安装

Ubuntu菜鸟入门—— 有道词典安装转载博客一、在有道辞掉官网上下载安装包：　　youdao-dict_1.1.0-0-ubuntu_amd64.deb ubunut有道翻译下载二、安装１、打开下载目录，进行安装sudo dpkg -i youdao-dict_1.1.0-0-ubuntu_amd64.deb 一般在16.04且1.1.0版本的有道，会出现大量的依赖性问题，

2017-06-04 22:19:55 667

原创 Hadoop学习平台的搭建与pyspark平台的安装

hadoop2.2.X伪分布及6节点集群学习环境搭建

2017-06-03 11:43:33 504

原创 Python集成开发环境Anaconda2及Pytorch与Tensorflow的安装

系统环境： ubuntu16.04lts系统、geforce630M 显卡参考：安装Anaconda2及tensorflow-CPU版参考：查看GPU等硬件或系统信息安装tensorflowGPU版本1.安装Anaconda官方下载链接：[选择匹配自己系统环境的版本](https://www.continuum.io/downloads)个人百度云盘下载链接：打开terminal，输入

2017-04-20 21:04:23 13257

原创基于剪枝搜索的分治算法（原理）--找到第k个顺序统计量

剪枝搜索方法：基本思想：利用计算问题的特征，剪除不影响问题求解的输入数据，由剩下的输入数据构成一个与原问题形式相同，但规模更小的子问题，递归求解子问题得到原问题的解。正确性：其正确性由剪枝策略的正确性保证。算法复杂度分析：剪枝策略共剪除了λn个输入数据，其中n为问题的规模，则T（n）满足：T(n)=T(

2017-03-11 11:19:23 496

原创 ubuntu16.04系统安装(原有win7系统)

在已经安装有win7的系统的计算机上安装ubuntu一般需要以下几个步骤：在win7系统中用磁盘管理工具，根据硬盘大小划出60G以前空间。我是1T硬盘，平时用Linux系统较多，划出了400G的空间。主要操作：计算机--》管理--》磁盘管理--》删除卷在win7系统中安装安装UltraISO，并利用下载好的ubuntu16.04镜像，制作启动盘。参考：http://jingyan.ba

2017-02-26 09:47:59 386

原创二叉树访问序列

关于二叉树的访问序列主要有以下几种：１．先序算法 preOrder输入：根节点指针root输出：访问的所有节点值的序列判断当前节点是否为空，是则返回；访问当前节点　visite(node);访问当前节点的左节点 preOrder(node.left)访问当前节点右节 preOrder(node.right)２．中序３．后序二叉树先序的逆序访问算法　re

2017-02-24 16:07:13 646

Vitamin Blog