- 博客(44)
- 收藏
- 关注
RSS订阅转载 [db] hadoop分布式生成tfrecord格式文件
利用hadoop分布式生成tfrecord格式文件由于到处理的数据量较大，亿为单位的数据条数，所以提前利用hadoop的分布式的优势处理成tfrecord格式供tf训练。hadoop streaming执行的是mapper reduce流处理。完整脚本文件放在了github上，input data format:([one,another'\t'label],split(',' ...
2018-03-14 10:52:00
198
转载 [db] hadoop && pig
hadoop && pigHadoop最近需要用到hadoop操作，发现hadoop的官网真的良心的，没那么多废话，直接说明白怎么用，而且还是中文的，简单粗暴啊！！！hadoop document在mapreduce中，map的输出是具有自动排序功能的！！！在reduce阶段 ，0-33%阶段是 shuffle 阶段，就是根据键值来将本条记录发送到指定的redu...
2017-12-06 11:56:00
190
转载 [ML&DL] 频繁项集Apriori算法
频繁项集Apriori算法Reference数据挖掘十大算法之Apriori详解Apriori算法详解之【一、相关概念和核心步骤】关联分析之Apriori算法haha算法理解部分主要是前两个链接，写的很靠谱。在实际中再配合上hadoop的mapreduce。转载于:https://www.cnblogs.com/zhanxiage1994/p/7989647.htm...
2017-12-05 21:56:00
153
转载 [tf] tensorflow中multi-GPU小坑记录
tensorflow中multi-GPU小坑记录最近又需要点tf的代码，有几个点关于多卡的代码点需要记录下。一直想把平时常用的一些代码段整理一下，但是一直没时间，每周有在开新的进程，找时间再说吧。先零星的记点吧。干货在tf构图阶段，把计算点都开在GPU上，尽量不要开在CPU上。提速杠杠滴！在多卡读取数据阶段，在for len(num_gpu)循环外建立queue，在循环内取数...
2017-12-05 20:57:00
178
转载 [tf] tensorflow中dropout小坑记录
tensorflow中dropout小坑记录几天看别人写的代码，有几行总觉得没什么用，自己写了小程序测试了下，果然。虽然平时这么写的人不多，但是还是记录下吧。对tensorflow使用时要转变下思维，和平时写的C++不太一样，只是建立了一个静态图。在list中进行for循环，内部操作是局部变量操作，与原list无关。tf.nn.dropout操作，在随机舍掉部分节点的同时为了...
2017-11-28 21:07:00
138
转载 [speech] 统计音频文件总时长
统计音频文件总时长两种实现方法，调用sox工具，调用python wave库。sox命令行中键入sox wavfile -n stat-bash-4.2$ sox arctic_a0001.wav -n stat Samples read: 53680Length (seconds): 3.355000Scaled by: ...
2017-11-21 15:16:00
665
转载 [tts] WaveNet初步理解
WaveNet初步理解paper 是DeepMind使用CNN来做语音生成的工作,这个模型直接使用声音的原始波形进行训练的。目前github上开源了一个tensorflow-wavenet项目文章主要内容有几点：1.文章中，通过该模型进行语音生成任务，结果很接近真人发出的声音2.Wavenet还可以抓取不同说话者的特征，有高保真度3.使用音乐文件来训练该模型，可以生成新的高保真...
2017-11-21 10:53:00
495
转载 [tts] 基于HMM和单元拼接的tts
基于HMM和单元拼接的ttsHTS官方demo由于之前做merlin的时候用的是wav文件，官方的demo中是raw文件，所以做了一点改动。把/data/Makefile.in中的feature:中的全部屏蔽掉，自己生成后续需要的bap/*.bap、mgc/*.mgc和lf0/*.lf0文件。生成的方法就是借用merlin的脚本merlin/misc/scripts/voco...
2017-11-13 22:40:00
289
转载 [tts] 基于Merlin的英文语音合成实战
基于Merlin的英文语音合成实战InstallationMerlin不是一个完整的TTS系统，它只是提供了TTS核心的声学建模模块（声学和语音特征归一化，神经网络声学模型训练和生成）。前端文本处理(frontend)和声码器（vocoder)需要其他软件辅助。Merlin uses the following dependencies:numpy, scipymatplo...
2017-11-07 10:56:00
514
转载 [linux & python] linux下基于python自动定时发送邮件附件
linux下基于python自动定时发送邮件附件暂时接手一个离职前端实习生的工作，昨天第一次对接产品，跟我说每天晚上要给她发送一个当天的报表。每天？excuse me？每天？开什么国际玩笑。每天干同一个工作，这要不给整成auto的，还怎么自称屌丝程序猴。今天果断研究了下自动发送邮件。原理不懂，只实现功能。主要是两部分python自动发送邮件, 基于SMTP协议，使用email...
2017-11-02 22:28:00
664
转载 [python] python xml ElementTree
python xml ElementTreexml示例<?xml version="1.0" encoding="utf-8"?><data> <country name="Liechtenstein"> <rank>1</rank> <year>2008</yea...
2017-09-20 16:43:00
198
转载 [linux] tmux安装
tmux安装对linux不熟的结果就是安装个软件安了3个小时。梳理一下遇到的坑吧。tmux在安装的时候需要依赖libevent和ncurses两个库文件，官网下载提前准备好。libevent & ncurses两个库的执行命令是相同的。在没有权限的前提下，基本上都是这样安装的。(先安装ncurses)cd (libevent or ncurses folder)./...
2017-09-08 09:36:00
99
转载 [ML] Wide&Deep learning
Wide&Deep learning最近调试了几天WDL，留个笔记。WDL是Google在2016年的paper，目标是用于自己Google play中的app推荐。官方介绍paper download推荐系统推荐系统主要分为两个部分，检索系统(Retrieval)和排序系统(Ranking)。首先用检索的方法对大数据集进行初步筛选，返回一个query list。...
2017-09-07 14:31:00
153
转载 [linux] linux下安装软件（无su权限）
linux下安装软件（无su权限）原本在linux下安装软件并不难，Ubuntu的话就是apt-get install, centOS的话就是yum。但是在公司的话，会面临一个问题，在大家公用的开发机上，你是拿不到su权限的，所以有些软件就不能直接用sudo yum install。设置临时环境变量每个人都会在网盘上开辟一个属于自己的文件夹，因此可以配置一个自己的临时环境。sou...
2017-09-04 10:13:00
1117
转载 [分割线] 后续更新内容
最近出来在公司实习，才发现原来自己会的真的好少好少。之后会不定期的把自己在工作中遇到的坑或者问题在这留个痕迹，也方便查阅比避免。在公司基本上现在用到的东西之前都没有接触过，所以只是遇到问题解决问题，可能这些在系统学习后就很轻松的知道，但是公司不可能给你时间让你去系统的学习一个东西，公司还是以结果为导向的。因此很可能会存在一些很简单的问题吧！！！当然，要内容是要脱敏的，毕竟还要注意...
2017-09-03 20:00:00
66
转载 [Linux] Linux Git
Linux Git环境搭建1.install git sudo apt-get install git2.创建Git账户3.在git网页上进入Profile Setting，进入到SSH Keys.4.生成ssh-key，免去每次git时需要输入密码的尴尬cd ~/.sshssh-keygen -t rsa -C "yourEmail@yourEmail.com"找到你的...
2017-07-30 18:59:00
74
转载 [C++] string
stringtable list字符串的大小写string char[] (visual studio)string intsometing else basic functioninitstring test1; //空串string test2 = "内容"; //赋值=string test3("内容"); //使用引用字符数组作为参数传给构...
2017-06-13 10:42:00
75
转载 [C++] log函数的一点小问题
log函数的一点小问题在cppreference中 #include<cmath> float log( float arg ); double log( double arg ); long double log( long double arg ); double log( Integral arg );1-3) Com...
2017-06-12 13:41:00
406
转载 [C++] bitset
bitset#include<bitset>bitset 对象的定义和初始化定义bitset时，要明确bitset有多少位：bitset<32> bitvec //32位二进制，初始化为0对于负数，在存储是会以负数的补码形式存储。bitset<10> haha(-20);用unsigned 值初始化bitset 对象：当用unsig...
2017-06-12 00:22:00
102
转载 [C++] 位运算
负数的存储首先需要知道的是整数在计算机中的存储。正数和0就不用多说了，就是二进制原码。问题在于负数。负数在计算机中以二进制补码的形式存储。补码是反码 + 1；7的二进制是 0111 。-7的二进制是多少呢？以8位为例，-7的原码是 1000 0111，其中首位的1是符号位，表示负数的意思。在取反是符号位是不参与的。反码是 1111 1000；补码是反码+1 : 1...
2017-06-11 23:37:00
67
转载 [C++] string int
int2string在#include<string>中自带函数 to_string();对于自写to_string函数，可以采用stringstream.int a = 10;stringstream b;b<<a;string c = b.str();#include<sstream>在循环中，或者重复，...
2017-06-11 22:37:00
57
转载 [C++] algorithm Know unknown
std::max_element#include <algorithm>#include <iostream>#include <vector>#include <cmath> static bool abs_compare(int a, int b){ return (std::abs(a) &l...
2017-06-08 17:08:00
65
转载 [C++] 字符串的大小写
char#define _tolower(_Char) ( (_Char)-'A'+'a' )#define _toupper(_Char) ( (_Char)-'a'+'A' )char* (MS)errno_t _strlwr_s(char* str, size_t numberOfElements);errno_t _strup...
2017-05-26 18:48:00
85
转载 [C++] string char* (visual studio)
先说个题外话，字符串的长度 。string a = "12345";a.size()a.length()char a[] = "12345";strlen(a)sizeof(a)/sizeof(char)char* a = "12345"strlen(a)char*的sizeof是求的指针的长度，永远是4 ！！！。ch...
2017-05-26 18:00:00
134
转载 [C++] STL vector map set
Vector可以理解为动态数组，可存储重复元素。初始化：vector<int> a;vector<int> a(5); //5 elements is 0vector<int> a(5,8); //5 elements is 8//数组初始化vectorint a[] = {1,2,3};...
2017-05-25 16:24:00
64
转载 ImageMagick (Magick++ for C++) configuration in Visual Studio 2012
网上的ImageMagick资料真心不多啊，而且由于版本战线太长，导致很混乱。最初在网上搜了很多配置方案，都运行不过去，最后无意间看到打开的vs工程中#include <opencv2\opencv.hpp> ,决定直接按照opencv的配置方法试试，还真跑通了。只需要简单几步而已。运行环境： windows7 x64 + vs2012 +ImageMagi...
2017-05-05 16:45:00
616
转载 [opencv] 图像保存格式的小问题
在使用图像作为中间结果被保存后读取时，尽量不要使用JPEG的格式。因为JPEG格式是有损压缩的，对图像的通道像素值会产生影响。尤其是边缘部分，边缘上的彩色通道会出现串扰现象！！！小demo:>> A = zeros(800,1200,3);>> A(201:600,596:605,1) = 255;>> imwrite(A,'...
2017-04-12 18:19:00
108
转载 [opencv] 图像旋转180度要注意的细节问题
两种方法：第一种传统warpAffine cv::Point2f center = cv::Point2f(image.cols / 2, image.rows / 2); cv::Mat rotateMat; rotateMat = cv::getRotationMatrix2D(center, 180,1); cv::Ma...
2017-04-10 09:21:00
239
转载 [VC++] socket网络传输
不研究TCP/IP协议，没有三次握手，不说 物数网传会表应（只要大学学过计算机基础的都背过吧！）这七层。封装好socket。server:class ServerSock{public: ServerSock(); ~ServerSock(); SOCKET getClient() {return sClient;};priv...
2017-04-06 16:29:00
71
转载 [opencv] 双目测距demo
#*#*20171113更新，貌似之前的放的链接失效了，当时也不是用markdown写的，暂时没时间改，就直接贴的链接。等有时间，把之前图像这些的blog整理markdown格式，后续语音那些上传到github上，github也好久没更新过了。一枚工程项目型的小渣硕，对相关原理不做过多介绍，直接[git代码](https://github.com/zhanxiage1994/b...
2017-04-06 15:57:00
142
转载 [opencv] 生成标定棋盘格
for(int j = 0;j < boardSize.height;j++) { for(int i = 0;i < boardSize.width;i++) { flag = (i+j) % 2; if(flag == 0) { ...
2017-04-06 14:03:00
805
转载 [opencv] cmake编译opencv并去窗口边框
cmakehttp://dogfeatherdesign.com/opencv-3-0-microsoft-visual-studio-2015-cmake-and-c/http://jingyan.baidu.com/article/8ebacdf014c52049f75cd559.htmlhttp://blog.csdn.net/qq229873466/article/d...
2017-03-09 12:59:00
83
转载 [opencv] matlab生成opencv可读的xml
1 xdoc=com.mathworks.xml.XMLUtils.createDocument('opencv_storage'); 2 xroot=xdoc.getDocumentElement; 3 [m,n]=size(datatest); 4 type=xdoc.createElement(name); 5 xroot.appendChild(type);...
2017-02-09 17:15:00
91
转载 [matlab] vc++和matlab混合编程
mathwork官网解决方案，说的很详细啦。https://cn.mathworks.com/matlabcentral/answers/94471-how-do-i-create-a-c-c-shared-library-with-matlab-compiler-that-can-be-used-in-a-microsoft-visual-c直接上我的代码吧：matl...
2017-02-09 15:54:00
81
转载 全息摄影
引用两张图片。出自李铭《视觉原理》 第十三章 全息摄影转载于:https://www.cnblogs.com/zhanxiage1994/p/6185576.html
2016-12-16 09:03:00
136
转载 [opencv&opengl]多窗口显示
OPENGL:main()函数 int window1 = 0,window2 = 0; glutInit(&argc,argv); glutInitDisplayMode(GLUT_DOUBLE | GLUT_RGB); glutInitWindowSize(ImageWidth,ImageHeight); glut...
2016-12-09 19:51:00
343
转载 CPLEX
http://blog.sina.com.cn/s/blog_50c154510100gmnb.html (貌似对cplex很熟悉)http://blog.csdn.net/rrerre/article/details/9171627用cplex跑了一个960*640*3个变量的线性优化，跑了一个月没出结果。。。。有点忧伤转载于:https://www.cnblo...
2016-11-30 09:59:00
167
转载 ios读取设备姿态并传输
CMDeviceMotionhttp://nshipster.com/cmdevicemotion/ （中文翻译版 http://www.ithao123.cn/content-1352936.html）http://www.voidcn.com/blog/wanglang3081/article/p-1769257.htmlhttp://blog.csdn.net/xi...
2016-11-30 09:50:00
167
转载 vc++和LINGO编程
1 #include<iostream> 2 #include "Lingd11.h" 3 #pragma comment(lib,"Lingd11.lib") 4 using namespace std; 5 6 7 int main() 8 { 9 char cScript[50];10 memset(cScr...
2016-11-04 12:55:00
283
转载 [opencv] 极线校正
//R = Rr*inv(Rl); T = Tr - R*Tl; invert(RLeft,RLeft); Mat R = RRight.clone(); gemm(R,RLeft,1,1,0,R); Mat T; gemm(R,TLeft,1,1,0,T); T = TRight - T; //计算旋转矩阵和...
2016-11-03 18:05:00
2122
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人