自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Fang的博客

生活不只是眼前的苟且,还有Code和Debug

原创 JAVA -jar启动程序设置监控

##开启Jconsole远程监控 -Dcom.sun.management.jmxremote.port=6667 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=fals...

2018-12-22 11:44:18

阅读数 577

评论数 3

转载 log4j2配置文件log4j2.xml配置详解

一、背景 最近由于项目的需要,我们把log4j 1.x的版本全部迁移成log4j 2.x 的版本,那随之而来的slf4j整合log4j的配置,以及log4j2配置文件的详解。本文就专门来讲解下log4j2.xml配置文件的各项标签的意义。 二、配置全解 1.关于配置文件的名称以及在项目中的存放位置...

2018-12-01 15:05:15

阅读数 595

评论数 0

原创 使用OS X base System在线安装Mac OS到U盘及使用U盘恢复Mac OS

前言不得不说Mac系统还是相当稳定的,对比Windows隔三差五的重装系统,Mac确实优秀太多。以前装Windows系统可是装的想吐,可自从使用了Mac电脑都快忘了怎么重装系统了 ^_^终究还是遇到问题了,这是三年来首次系统出现。前几天发现APP Store提示更新,强迫症的我一直是忍不住的,按照...

2017-12-10 22:19:02

阅读数 18554

评论数 0

转载 HBase客户端访问超时原因及参数优化

默认的HBase客户端的参数配置是没有做过优化的,所以对于低延时响应的HBase集群,需要对客户端的参数进行优化。1. hbase.rpc.timeout以毫秒计算的所有HBase RPC超时,默认为60s。该参数表示一次RPC请求的超时时间。如果某次RPC时间超过该值,客户端就会主动关闭sock...

2017-04-20 20:17:22

阅读数 2533

评论数 0

原创 Java中使用Opencv从视频文件中获取帧

实现功能:使用Java获取mp4、mov、avi等视频文件中的图像帧,每秒获取一帧图像,并保存 环境要求:需要安装Opencv,安装FFmpeg,下载javacv包 操作系统:本次实验使用的Ubuntu系统 实验代码import com.googlecode.javacv.cpp.opencv_h...

2017-04-07 16:55:34

阅读数 8798

评论数 3

原创 运行Spark项目出错error: error while loading <root>, error in opening zip file

error: error while loading <root>, error in opening zip file [ERROR] error: error while loading <root>, error in opening zip file error: ...

2017-03-15 14:50:09

阅读数 4191

评论数 1

转载 spark流数据处理:Spark Streaming的使用

本文讲解Spark流数据处理之Spark Streaming。本文的写作时值Spark 1.6.2发布之际,Spark 2.0预览版也已发布,Spark发展如此迅速,请随时关注Spark Streaming官方文档以了解最新信息。 文中对Spark Streaming的讲解主要使用到Scal...

2017-03-06 17:41:22

阅读数 3167

评论数 0

原创 Spark SQL读取Hive数据配置及使用Thrift JDBC/ODBC Server访问Spark SQL

[TOC] Spark SQL可以读取hive中的数据,开启Thrift JDBC/ODBC Server服务可以使其他语言客户端使用Spark SQL.关于Spark SQL中对hive的支持,官方文档说明让人疑惑,好像没有把hive编译进去,需要自己手动编译,官方文档提及: Spark ...

2017-01-11 12:02:58

阅读数 10422

评论数 2

原创 Ubuntu1604安装ganglia并监控Hadoop/HBase/Spark集群

ganglia的官方文档没找到,试了很多教程,终于配置成功,不过还有一点小问题没有解决安装依赖软件apache,php,rrdtoolganglia需要使用apache服务,rrd服务,php服务,这里安装的是最新的php7.0sudo apt-get install rrdtool apache...

2016-12-28 15:52:39

阅读数 887

评论数 1

原创 使用Spark批量上传图片到HBase中并同时使用OpenCV提取SIFT特征值

使用Spark批量上传图片到HBase中并同时使用OpenCV提取SIFT特征值最近正在学习利用Spark做图像的分类和检索实验,首先需要上传图像数据(保存在本地文件系统中)到HBase中,提取的图像特征是SIFT,借助OpenCV库提取,刚开始是写一个任务上传图片,然后再写一个任务提取HBase...

2016-12-16 21:17:45

阅读数 3432

评论数 0

原创 Linux中OpenCV安装及在Intellij Idea中Java调用

安装OpenCV1.安装依赖包OpenCV依赖如下包:GCC 4.4.x or later CMake 2.6 or higher Git GTK+2.x or higher, including headers (libgtk2.0-dev) pkg-config Python 2.6...

2016-12-06 22:05:56

阅读数 2020

评论数 0

原创 Hadoop、Spark开发入门视频书籍推荐

本人大数据学习菜鸟一枚,从零开始学习大数据,这里分享我的学习过程。自学是一个考验毅力的过程,当然对自身也是一个锻炼提高的过程,但是有时候,从零开始学习,举步维艰,个人深有体会。离开学生时代的填鸭式教学,你会发现学习路上能有引路人带你入门,效率会提高很多。努力很重要,效率、方法也很重要,这里分享我学...

2016-11-29 13:39:48

阅读数 9753

评论数 2

原创 HBase-1.2.4使用新的Java API操作库常用方法使用

最近自学HBase编程,发现书上介绍的一些方法在HBase-1.2.4中过时了,因此,使用新的API改了书中的Demo,能够运行成功,使用的HBase是集群模式,代码可以直接在编译器中运行。 使用ConnectionFactory来连接数据库 表名使用特定的类TableName而不是字符串 弃用H...

2016-11-24 17:15:09

阅读数 2411

评论数 1

原创 Spark+HBase分布式上传海量图片数据

Spark+HBase分布式批量上传海量本地图片 集群架构 3台PC机都是4G的内存,Master和一个Worker是i5处理器,一个Worker为i3处理器 218.199.92.225 fang-ubuntu(Master) 218.199.92.226 fei-ubuntu(Worke...

2016-11-21 20:35:31

阅读数 2220

评论数 0

原创 HBase-1.2.4分布式集群搭建

HBase-1.2.4分布式集群搭建过程HBase-124分布式集群搭建过程 安装步骤官网下载安装包 修改hbase-envsh 修改hbase-配置文件hbase-sitexml 修改hbase conf目录下 regionservers配置文件 在hbase conf下创建文件backup-m...

2016-11-21 11:43:59

阅读数 3293

评论数 0

原创 2016腾讯笔试题,删除字符串中的字符,使得剩下的字符串是回文串,如何删除使得回文串最长

此题是组合优化问题,求解过程是多步判断,从小到大求解每个子问题,最后求解的子问题就是原始问题,满足最优子结构性质,因此使用动态规划算法求解。求解过程中需要保存子问题的中间结果,以备用来求大问题的解。使用二维数组huiWenLen[i][j]保存字符串中下标i到j的子字符串中最长回文长度。 初...

2016-07-28 16:50:01

阅读数 4108

评论数 0

转载 ALS 在 Spark MLlib 中的实现

深受用户喜爱的大数据处理平台 Apache Spark 1.3 于前不久发布,MLlib 作为 Spark 负责机器学习 (ML) 的核心组件在 1.3 中添加了不少机器学习及数据挖掘的算法:研究主题分布的 latent Dirichlet allocation (LDA)、估计点集分布的高斯混合...

2016-07-14 15:09:39

阅读数 513

评论数 1

原创 Spark on Yarn集群搭建详细过程

由于最近学习大数据开发,spark作为分布式内存计算框架,当前十分火热,因此作为首选学习技术之一。Spark官方提供了三种集群部署方案: Standalone, Mesos, Yarn。其中 Standalone 为spark本身提供的集群模式,搭建过程可以参考官网,本文介绍Spark on Ya...

2016-04-29 17:19:40

阅读数 32115

评论数 14

转载 CentOS7安装vncserver(启动失败及连接黑屏解决办法)

一.安装 以root用户运行以下命令来安装vncserver; yum install tigervnc-server  同样运行以下命令来安装vncviewer; yum install vnc 停止并禁用防火墙; systemctl stop firewalld.servi...

2016-04-25 20:06:28

阅读数 50970

评论数 3

转载 在Ubuntu15.10安装F.lux

长时间对着电脑,眼睛比较疲惫。在iPhone中和Mac电脑中都有使用过f.lux,习惯了就离不开。现在学习Linux系统下的开发,也想使用f.lux,到网上查找了一下相关文章,花了一个多小时终于在Ubuntu 15.10中成功安装,下面是详细安装步骤。 1、添加PPA到系统中 ...

2016-04-14 10:36:44

阅读数 1638

评论数 0

提示
确定要删除当前文章?
取消 删除