graphnj-CSDN博客

原创 oozie调度阻塞问题

讲个前段时间遇到的问题，项目中用到的spark on yarn基于oozie进行应用的编排调度，oozie支持fork/join机制，就是可以在fork之后可以分出多个分支用于调度其他action，对我们来说就是调用多个spark应用。但遇到的现象是明明有很多内存空闲，可这些spark却全都是在Accept状态，不能被调度执行。要分析这个问题，得先从oozie的调度机制说起。oozie...

2018-07-01 09:44:56 3502

原创 Jupyter与PySpark实现结合spark与python的notebook

Jupyter与PySpark实现结合spark与python的notebookJupyter与PySpark实现结合spark与python的notebookPySpark简介Jupyter配置PySpark简介Spark作为大数据计算平台具有很大优势，已成为业界共识。其拥有一些强大的库： SparkSQL：提供SQL语句，进行结构化数据查询和大数据集的探...

2018-03-05 00:11:51 10348

原创 HBase基础知识

HBase是一个高可靠，高性能，面向列，可伸缩的分布式存储数据库，设计目标是用来解决关系型数据库在处理海量存储时的限制性。1 架构HBase是分布式系统，所以分布式系统中的Master与Slave/Worker时少不了的，在这里Master叫HMaster，Worker在这里叫HRegionServer。1.1 HRegionServerRegionServer是HBase

2018-01-17 23:29:43 602

原创 Spark调优-参数及配置

参数调优1 资源类11 num-executors12 executor-memory13 executor-cores14 driver-memory15 sparkdefaultparallelism16 sparkstoragememoryFraction17 sparkshufflememoryFractiongetMaxExecutionMemorygetMaxSto

2018-01-10 23:51:30 15135

原创 Spark技术架构,概念及运行过程

Spark技术架构Spark的基本概念1 Application2 Job3 Stage和DAGSchedule4 Task和TaskSchedule5 BlockManager6 宽依赖与窄依赖运行过程1 Standalone2 yarn cluster1.Spark技术架构Spark分布式内存计算平台采用的是Master-Slave架构，集群中含有

2018-01-07 23:51:09 1475

转载 [转载]欢迎使用CSDN-markdown编辑器

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I

2018-01-07 19:34:03 307

原创 Spark笔记4-编程模型map/repartitions等

njzhujinhua 2017-12-17《图解Spark-核心技术与案例实战》 - 郭景瞻5转换操作51 基础转换操作mapdistinctflatMapcoalescerepartitionmapPartitionsmapPartitionsWithIndex3.5.转换操作3.5.1 基础转换操作map/distinct/flatMapmap[U](f:(T)=>U):RDD[T]

2017-12-18 00:08:51 650

原创 Spark入门3-RDD的实现

njzhujinhua@2017/12/15RDD的实现1 作业调度2 内存管理3 cache persist 与checkpoint的关系cache与persistcachepersist与checkpoint1. RDD的实现1.1 作业调度当对RDD执行转换操作时，调度器根据RDD的血统Lineage构建若干调度阶段Stage组成的有向无环图DAG，每个Stage包含尽可能多的连续

2017-12-15 01:11:33 413

原创 Spark入门2-了解RDD

朱金华 njzhujinhua 2017/12/05简介1 特性RDD编程模型1 编程模型2 RDD的操作源码实现1 RDD朱金华 njzhujinhua 2017/12/051. 简介在RDD诞生之前的分布式计算框架缺乏对分布式内存的抽象和支持，需要用到数据交换时都是要写到存储中去，RDD模型的产生动机也主要来源于两种主流的应用场景： * 迭代式算法：迭代式机器学习，图算法，K

2017-12-11 23:48:04 432

原创 Spark入门1-使用Spark-shell交互分析

Spark入门1-使用Spark-shell交互分析朱金华 njzhujinhua 2017/12/03Spark入门1-使用Spark-shell交互分析文件读取1 读取RDD方式2 读取Dataset方式查看文件1 查看内容2 WordCount本系列以Spark2.2.0版本为依据整理。第一节通过Spark交互式shell熟悉其计算过程。在2.0版本之前，Spark的主要编程接口

2017-12-04 07:45:55 5214

原创 SpringBoot记录

SpringBoot记录1.Controller的api报404启动日志中也发现没有对应的api。原因是Application在单独的package中，SpringBootApplication 标记默认将此作为Component Scan的root路径。需要在SpringApplication.run的类前添加@ComponentScan(“com.contr

2017-03-28 10:27:24 481

原创 ubuntu16.04 mysql修改datadir的折腾

回顾：主要是mysql-systemd-start脚本中的路径开始没修改，换这种启动方式后没注意到他，引出了初始化数据库的一堆折腾。OS：Ubuntu16.04MySQL:5.7.17apt install之后默认datadir 为/var/lib/mysql,希望修改下datadir的路径修改/etc/mysql/mysql.conf.d/my

2016-12-18 00:07:04 4189

原创 ARSimpleNativeCars 编译问题

Error:Cannot set readonly property: proguardFiles for class: com.android.build.gradle.managed.BuildType android.buildTypes { release { minifyEnabled = false

2016-11-23 21:52:23 2995 2

原创 centos7.1与无线网 (芯片rtl8723be)

原载于http://graphnj.sinaapp.com/，云豆消耗大增，迁回来centos7.1与无线网 (芯片rtl8723be)发表于 2015 年 7 月 12 日centos7.1 的内核为3.10，笔记本无线网卡为rtl8723be，内核并不支持这个，但是网上提供的这个型号网卡驱动的安装方式，编译时却是失败的，这个通过升级内核到4.1.

2016-03-26 22:24:20 3542 1

原创系统设计思考

系统设计思考发表于 2015 年 6 月 6 日读了微信架构描述后的一点思考模块拆分：设计大系统，一定要拆分子系统，模块，项目，做到各项目间相互独立。在较小的系统设计中一般将模块哈U分清晰即可了，甚至是在一个进程之内，大一点在一台物理机上多进程实现，但在海量系统设计中，本身就是分布式的系统设计。不但要将其逻辑分离，还要注意其物理的分离，微信中登录状态服务器，LBS服务器，支付系统，摇一

2016-03-26 22:22:16 927 1

原创 git使用常见错误及修复

1234$ git pull -f Updating 0260748..56d98c2error: Your localchanges to the following files would be overwritten by merge:此时如果需要保留本地修改，则git

2016-03-26 22:20:09 1225

原创 Nginx+PHP+mysql

原载于http://1.graphnj.sinaapp.com/?p=14 ，涨价了，每天提醒云豆要耗尽发表于 2015 年 5 月 16 日Nginx不支持对外部程序的直接调用或解析，所有外部程序如PHP等都需要通过FastCGI进行中转。FastCGI最初是从CGI方式演变来的，但CGI方式性能太差，每一次请求都要重新读取配置文件及初始化一次PHP。而FastCGI的方式

2016-03-26 22:18:29 558

原创 ubuntu编译ffplay

ubuntu下利用ffserver+ffmpeg进行视频流直播，但vlc却一直无法播放，以前资料提到的都是使用ffplay，经查ffmpeg编译时并未编出ffplay，只得编译如下：1：ffmpeg的config.h中修改#define CONFIG_FFPLAY 12：zhujinhua@thinkpadE455:~/ffmpeg/ffmpeg-3.0$ makeCC ffp

2016-02-25 23:41:20 4605

原创 python写utf8文件

【1】使用默认open方式，需要自己确保需要的编码方式，如下例子中xxx.json为utf8格式，读入后为unicode，需要转为utf8再写文件 name='xxx.json' f=open(name,'r') of=open(name+'.txt','w') for line in f: dictdata=json.loads(line) out=json.dumps(d

2015-07-31 22:07:00 8714

原创 CVPR读书笔记[7]:PCA的理解

PCA下文中A'=A^t表示A的转置.n维数据的m个样本构成的n*m维矩阵X, 寻找n*n的变换矩阵W, 使得变换后的矩阵Y=W*X=Y.简单的说如果W=(w1,w2,...wn)'中wi为变换后空间的基, 则上述变换即将X映射为新空间中m个n维的点. 这个映射关系是一对一的如果只取新空间中的d个基组成的变换矩阵W0=(w1,w2,...wd)', 则W0*

2014-08-17 21:27:57 1653

原创 CVPR读书笔记[6]:Gabor特征提取

CVPR读书笔记[6]:Gabor特征提取之Gabor核的实现朱金华 jinhua1982@gmail.com 2014.08.09 本文是Gabor特征提取三部分之一:[1]CVPR读书笔记[4]:Gabor特征提取之Gabor核http://blog.csdn.net/njzhujinhua/article/details/38460861[2] CVPR读书

2014-08-16 17:11:50 7372

原创 CVPR读书笔记[5]:Gabor特征提取之Gabor核的实现

计算机视觉特征提取,Gabor核的实现

2014-08-16 09:11:26 11232 1

原创 CVPR读书笔记[4]:Gabor特征提取之Gabor核

CVPR读书笔记[4]:Gabor特征提取之Gabor核朱金华 jinhua1982@gmail.com 2014.08.09http://blog.csdn.net/njzhujinhua 关于Gabor滤波,有的说法是加窗傅里叶变换,有的说法是用复正弦函数调制的高斯核,其实都是一个意思. 傅里叶变换不能同时进行时域与频域分析, 1946年

2014-08-09 22:33:47 14444 4

原创 cvpr读书笔记[3]:traincascade与AdaBoost的opencv实现框架

本节研究traincascade的opencv实现.涉及的源代码位于:sources\apps\traincascade traincascade实现sources\modules\ml opencv machine learning部分sources\data\vec_files\trainingfaces_24-24.vec 正样本【1】Cascade框架首先从

2014-08-04 23:42:33 14955 2

原创 cvpr读书笔记[2]:boosting方法和AdaBoost算法概述

boosting增强法的目标是提高任何给定的学习算法的分类准确率。Boosting方法从弱学习算法出发，通过学习训练出一系列弱分类器，然后通过组合这些弱分类器构造一个强分类器。大部分Boosting方法都通过改变训练样本集学习得到，改变训练样本集则可通过改变训练数据的概率分布达到，样本集或是全部或是一定规则的重采样。Boosting方法一般过程：其首先根据已有的训练样本集设

2014-08-02 01:10:52 3798

原创 cvpr读书笔记[1]:VJ人脸检测框架。Viola-Jones Objects detection framwork

人脸检测是人脸识别的第一道工序，其技术比较成熟，但因为其检测性能因素，直到Viola和Jones于CVPR2001上文章【1】发表之后才使得其能进行实际应用。VJ描述的物体检测框架包括三部分：【1】feature：VJ使用的特征仅与一个矩形区域内像素取值的和有关，类似于Haar函数，一种最简单的小波，如下图所示：其特征取值为白色区域对应图像的像素值之和减去灰色区域对应图像的

2014-08-02 01:02:38 13178 1

原创 Live555源码分析@njzhujinhua[4]：generateSDPDescription

[3]generateSDPDescription有了上述知识,我们继续看一下RTSPServer::RTSPClientConnection::handleCmd_DESCRIBE的处理.void RTSPServer::RTSPClientConnection::handleCmd_DESCRIBE(char const* urlPreSuffix, char const* urlSu

2014-06-11 18:55:34 2395

原创 Live555源码分析@njzhujinhua[3]:ServerMediaSubsession与ServerMediaSession

[1]ServerMediaSubsession与ServerMediaSession两者均继承自Medium，但他们的作用却不是像其名字般看上去是继承关系。两者均可预先建立，也可在收到describe命令时根据请求而去查找文件并建立。在目前分析的testOnDemandRTSPServer.cpp中是启动时即预先建立的，如下 char const* streamName = "

2014-06-06 00:03:13 4080

原创 Live555源码分析@njzhujinhua[2]:RTSPServer中的用户认证

Live555中的用户认证，围绕RTSPServer::RTSPClientConnection::authenticationOK展开

2014-05-31 23:30:54 4703 2

原创 Live555源码分析@njzhujinhua[1]:RTSPServer

本文图由StarUML生成。本文分析Live555中RTSPServer代码。涉及流程从服务启动到接收到rtsp协议后的交互。服务启动及事件注册 RTSPServer的创建由RTSPServer::createNew()生成 1: // Create the RTSP server: 2: RTSPServer* rtspServer = RTSPServe

2014-05-31 19:25:23 3170

原创 hadoop CDH3U5 使用tarball完整安装过程

上次用在线安装的方式, 需要依赖于外部网络, 且等待时间也够长的, 不利于重复部署. 特用tarball的方式重新部署了一下. 牵扯到以前是root用户做的, 本次按要求用非root用户遇到了些权限控制方面的问题, 但好在最后都解决了统一说明部署:ipHostname安装组件10.0.0.123Ha

2013-03-09 00:38:08 2910

原创 hadoop

1:Hadoop 版本: CDH3U5 本框内容为转载系统从CDH3b3开始不支持hadoop.job.ugi参数，请使用UserGroupInformation.doAs()方法代替。详细见我博客：http://heipark.iteye.com/blog/1178810 其它见：https://ccp.cloudera.com/display/CDH

2013-03-05 23:45:50 2702

原创 3GPP 文档下载器

#coding:utf-8from PyQt4.QtGui import *from PyQt4.QtCore import *import urllib,re,sysdoc_version=['11.9.0','11.8.0','11.7.0','11.6.0','11.5.0','11.4.0','11.3.0','11.2.0','11.1.0']baseurl='http://

2013-02-27 23:45:13 2268

原创获取图片做桌面壁纸

#encoding:utf-8import urllib,re,timedef getpic(): mf = urllib.urlopen('http://cn.bing.com') content = mf.read() picurls = re.findall('url:\'(.*?)\',id',content) today=time.strf

2013-02-24 12:04:39 851

原创 Python关于字符串编码,个人认识

朱金华 20130223近期写了几个小脚本, 涉及到字符编码的时候总是失败, 无规律可循, 最后总结如下:[1]文件里面引号括起来的字符串其编码与脚本文件编码一致.若源文件为utf-8, 则str='朱金华'的编码为utf-8对字符的处理一般都是先decode(当前编码) 使之变为unicode, 然后再encode(目标编码的)[2]print打印, 这个显示中文字符

2013-02-23 23:06:26 829

原创 ubuntu update to 12.04

【1】启动报分区错误error: no such partition，用11.10的盘启动，选试用然后search 窗口搜term 1. sudo -i 2. mount /dev/sda1 /mnt/sdax3. grub-install --root-directory=/mnt/sdax /dev/sda启动修复成功【2】/mnt/hgfs下不见了与ho

2012-06-01 22:47:10 837

原创 download android kernel for galaxy nexus

today download android kernel from googlesource following "http://source.android.com/source/building-kernels.html"$ git clone https://android.googlesource.com/kernel/common.git$ git clone https:/

2012-04-15 21:53:42 2128

原创 suse zypper

用了ubuntu下的apt-get后不仅感叹其强大，用着很顺手的sles暂时歇了好一段时间，今天为了装了sles下的svn，在http://software.opensuse.org/download.html?project=devel:tools:scm:svn&package=subversion 中看到zypper addrepo http://download.opensus

2012-03-03 21:24:41 9259

原创网上找的几个R并行的文章

也谈提高R语言的运算效率2009/12/14 谢益辉http://cos.name/2009/12/improve-r-computation-efficiency/不周山一个算法攻城师的记忆：关于生活、信息自由、数据挖掘、高性能计算R并行方式之snow篇http://www.wentrue.net/blog/?p=878

2011-12-25 20:47:45 1433

原创 get android kernel

1:目前android4.01都代码放出来了，但网上下载androidsource及kernel的说法还是以前的，现在都不适用了，譬如kernel大部分都是从kernel.org下载的。当git去下载android.git.kernel.org/kernel/common.git 时取不到了，已经转到https://android.googlesource.com/kernel/commo

2011-11-26 01:10:49 1534