hallao0的博客

转载 技术方案模板

转载 坦克线——c++面试常考

static的作用 更多详情 解： 1）在函数体内，一个被声明为静态的变量在这一函数被调用过程中维持其值不变。 2）在模块内（但在函数体外），一个被声明为静态的变量可以被模块内所用函数访问，但不能被模块外其它函数，它是一个本地的全局变量。3）在模块内，一个被声明为静态的函数只可被这一模块的它函数调用。那就是，这个函数被限制在声明它的模块的本地范围内使用。多态 更多详情c、c++内存分配

原创 法师线——图像处理算法

背景更新Ptr<BackgroundSubtractor> bg_model = createBackgroundSubtractorMOG2();//得到前景bg_model->apply(img, fgmask);fgimg = scalar::all(0);img.copyTo(fgimg, fgmask);//得到背景bg_model->getBackgroundImage(bg

原创 辅助线——hadoop

计算框架spark vs mapreduceSpark 在内存中处理数据，而 Hadoop MapReduce 是通过 map 和 reduce 操作在磁盘中处理数据。因此从这个角度上讲 Spark 的性能应该是超过 Hadoop MapReduce 的。 Spark 每次将处理过程加载到内存之中，然后该操作作为缓存一直保持在内存中直到下一步操作。如果 Spark 与其它资源需求型服务一同运行在

原创 ML实践——逻辑回归logistic regression

原理从图中可以看出与perceptron的异同：logistic regression model: perceptron: 简单地说把Sigmoid function用作activation function。ϕ(z)=11+e−z \phi(z) = \frac{1}{1+e^{-z}} ϕ(z)=z\phi(z) = z Advantages: 1. Sigmoid function

原创 ML实战-Adaline with stochastic gradient descent

原理stochastic gredient descent初版的Adaline的最大缺点是需要x, y 的全集来进行计算weight, 但是在实际的大数据应用场景中，这是不可能的。因为在网络中，数据是指数增长的，有新的数据源源不断地添加。所以需要引入“批处理的梯度下降算法”这个概念。以下是前一章初级gradient descent过程：将全部的x放入神经网中训练.for i in range(sel

原创 ML实践-Adaptive Linear Neurons（Adaline）

原理在万事开头难那篇文中，介绍了一个初级的一层神经网，这是在最初级上面的follow up 版。 增强的点有： 1. Bernard新提出了cost function 2. weights的更新基于线性方程（linear activation function），而不是之前perceptron中的离散方程（unit step function）Cost FunctionSum of Squar

原创 ML实践-万事开头难

相关资料因为自己学习过相关理论知识，但是从来没有用代码实现过，所以想开一个专题专门锻炼自己实践。 1. 语言：python 2. 代码参考： https://github.com/Hallao0/python-machine-learning-book 3. 书籍参考： machine learning book配置环境系统 windows 64-bitspython 版本 3.6.0

原创 基础——机器学习

学过的东西就要整理… 主要来源： MIT deep learningPart I: Applied Math and Machine Learning Basics1. 机器学习基础1.1 常用模型1.1.1 线性回归找到一条线y=wTx y = w^Tx 尽可能穿过所有样本点，这条线满足mean square error最小 MSEtest=1m∑i(y′test−ytest)2iMSE_{t

翻译 基础——Spark Job Scheduling

official link 本文基本上是官网的翻译Across Applications调度策略用户提交请求以后，由cluster manager分配资源静态划分static partitioning每个application被分配一个最大可使用资源 1. Standalone 2. Mesos 3. YARN YARN中内存CPU调度和隔离 YARN常见问题 YAR

原创 opencv+opencl c++程序移植心酸路

因为想要再其他两个节点运行该程序，所以踏上不归路。方法一 在每个节点配置相同环境在其他节点配置的环境必须要与原机的环境完全相同。这里包括： 1. 编译环境相同 2. ffmpeg版本相同 （在用apt-get直接下载ffmpeg的时候，默认下载最新版的ffmpeg，当我用-version = xxxx指定版本的时候，因为添加的repository已经更新了，所以无法找到老版本的ffmpeg.

原创 Ubuntu16+Eclipse+OpenCV+CUDA

以官网教程为主，但其中有一些坑需要注意：不要从github上下载art-of-state版本opencv，而是从opencv官网上下载。原因：直接git上下载的版本。里面第三方软件ippicv无法下载无法解决从官网上下载opencv以后, 就可以按照官网上的链接一步一步的来，当遇到stuck in download ippicv的时候，按照通用的解法：手动下载ippicv_2015xxxx包，放

原创 基础——Linux命令学习

学习目标一：将网络摄像头获取的视频流，并将当前帧存在temp.png中借鉴的脚本：d=$(curl -X GET http://video4.earthcam.com:1935/fecnetwork/AbbeyRoadHD1.flv/playlist.m3u8 2> /dev/null)while read -ra ADDR; do for i in "${ADDR[@]}"; do l

原创 Ubuntu+Eclipse+SparkStreaming

hadoop集群搭建 ： 链接 spark集群搭建：链接官方链接在用maven add dependencies的时候，出了各种error, 各种couldn’t transfer from…. 各种couldn’t read…not find zip file之类的，以下是解决办法：update： update项目，update maven, update dependencies, 强制up

原创 英文论文词汇短语句式总结

英语很差，勤能补拙。摘要部分;1. 词汇连词动词2. 短语3.句式Analysis of X offers significant opportunities for the investigation of B . (A->B)核心部分：1. 词汇连词Thereforeas for: From the perspective

转载 坦克线——Java面试常考

1. hashmap和hashtable的区别1.1 hashtable多线程 - hashmap单线程1.2 hashtable key或者value为null时，会抛出空指针异常，而hashtable没有对此有要求. 在hashtable里，如果key == null, 会执行 return putForNullKey(value); 也就是允许key值为空。1.3 接口一样，但是父类继承的不

翻译 Aparapi 学习笔记1

github链接 Aparapi 主要是用jni调用openCL封装库, 有点像javacv和opencv的感觉,那么我为什么不用JavaCL呢，因为SparkCL用的是Aparapi,所以惯性惰性就用这个了。（有人说javaCL更多底层调用，Aparapi注重high-level的）Kernel.java最核心的就是这个，sparkCL也是通过override这里面的run函数来实现的。 另外

转载 辅助线——hdfs 存储

HDFS 分布式文件系统-NameNode -DataNodeHive 数据仓库 Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。可

原创 SparkCL简介

SparkCL源码链接 Spark + Aparapi = SparkCL其中Spark都很熟悉了，是云计算框架，将Hadoop 里的Mapreduce优化了。Aparapi 是Java版的Opencl，不用JavaCL的原因是，JavaCL需要更多底层的操作，而我们的目的只是调用一下GPU进行计算，并不管具体GPU并行的事情。另外，Aparapi有一个容错机制，就是如果没有检测到GPU硬件的

转载 数据结构

借鉴柔软的胖子

原创 应聘——总Plan

最近又要做实验又要准备面试，有点乱，所以做个计划。一共三条线：坦克线，辅助线，法师线。坦克线——基础数据结构算法面向对象JVM其他《程序员面试金典》 数据结构 算法 概念 链表 广度优先搜索 位操作 二叉树 深度优先搜索 单例设计模式 单词查找树 二分查找 工厂设计模式 栈 归并排序 内存（栈和堆） 队列 快速排序 递

翻译 应聘——大数据研发（1）-MapReduce编程

MapReduce本文参见《MapReduce Design Pattern》文中[实例代码]第一章：设计模式Reader将输入数据转换成key-value的形式，通常Key为数据块存放的地址，Value为数据。Map自定义函数 key- is what the data will be grouped value-is the information pertinent to the ana

原创 基础——算法

五大算法来自于这里分治算法分而治之：将一个难以直接解决的大问题，分割成一些规模较小的相同问题，以便各个击破，分而治之。分治法在每一层递归上都有三个步骤：step1 分解：将原问题分解为若干个规模较小，相互独立，与原问题形式相同的子问题；step2 解决：若子问题规模较小而容易被解决则直接解，否则递归地解各个子问题step3 合并：将各个子问题的解合并为原问题的解。其中最后一步，合并，是分治算法的特

原创 SparkCL 源码分析（一）

SparkCL-Example : SparkCLPi.java主要代码： JavaSparkContext jsc = new JavaSparkContext(sparkConf); int count = (int) method.invoke(null,jsc, slices, sliceSize); System.out.println("Pi is roughly "

转载 应聘——乱七八糟

[感谢小陶的精心整理]（http://note.youdao.com/share/?id=fd1b2bc530b39885177969786a4db08f&type=note#/）经历2017.3.3第一次阿里内推电面，对自己的无知深感同情。 电面问题 1. spark submit任务提交过程 2. JAVA Hashmap的基本结构 3. JAVA 设计模式： 单件模式需要注意什么 p

转载 应聘－系统研发工程师

Hadoop阿里巴巴面试题目 前段时间接到阿里巴巴面试云计算,拿出来给我们共享下 1、hadoop运转的原理? 2、mapreduce的原理? 3、HDFS存储的机制? 4、举一个简略的比方阐明mapreduce是怎么来运转的 ? 5、面试的人给你出一些疑问,让你用mapreduce来完成？ 比方:如今有10个文件夹,每个文件夹都有1000000个url.如今让你找出to

原创 基础——硬件

common senseGPU 内存是帮CPU暂存资料的储存空间显存是帮GPU（显卡芯片）暂存资料的储存空间 基本上他们都是RAM，即断电资料消失的东西，所有的RAM颗粒也可以是一样的，只是放在线路的不同位置，而且内存一般会选择大一些的GPU compute capacity的量化 https://developer.nvidia.com/cuda-gpus CPUCPU energy

原创 Nvidia + Ubuntu/Win7

PE系统U盘启动盘在win7环境下1.下载镜像文件 2. 下载并安装universal usb installer （试过软碟通，但是失败了，还是universal这个好用）这步成功后，能保证插入主机以后进入Ubuntu安装界面，如果没有：重新下载镜像文件重新制作启动盘U盘系统盘插入启动盘以后，点击第一项：试用ubuntu进入系统以后，插入储存量够大的U盘用作系统盘点击“其他选项”，