Fang20160214-CSDN博客

原创 JAVA -jar启动程序设置监控

##开启Jconsole远程监控-Dcom.sun.management.jmxremote.port=6667 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false-Djava.rmi.server.hostname=6.7.4.1##开启远程调试-age...

2018-12-22 11:44:18 1718 3

转载 log4j2配置文件log4j2.xml配置详解

一、背景最近由于项目的需要，我们把log4j 1.x的版本全部迁移成log4j 2.x 的版本，那随之而来的slf4j整合log4j的配置，以及log4j2配置文件的详解。本文就专门来讲解下log4j2.xml配置文件的各项标签的意义。二、配置全解1.关于配置文件的名称以及在项目中的存放位置log4j 2.x版本不再支持像1.x中的.properties后缀的文件配置方式，2.x版本配置文...

2018-12-01 15:05:15 2511

原创使用OS X base System在线安装Mac OS到U盘及使用U盘恢复Mac OS

前言不得不说Mac系统还是相当稳定的，对比Windows隔三差五的重装系统，Mac确实优秀太多。以前装Windows系统可是装的想吐，可自从使用了Mac电脑都快忘了怎么重装系统了 ^_^终究还是遇到问题了，这是三年来首次系统出现。前几天发现APP Store提示更新，强迫症的我一直是忍不住的，按照惯例选择更新，于是等着电脑重启。可是过了好久回来看电脑，发现卡住了，进度条纹丝不动，根据以往经验，现在只

2017-12-10 22:19:02 34165

转载 HBase客户端访问超时原因及参数优化

默认的HBase客户端的参数配置是没有做过优化的，所以对于低延时响应的HBase集群，需要对客户端的参数进行优化。1. hbase.rpc.timeout以毫秒计算的所有HBase RPC超时，默认为60s。该参数表示一次RPC请求的超时时间。如果某次RPC时间超过该值，客户端就会主动关闭socket。如果经常出现java.io.IOException: Connection reset by pe

2017-04-20 20:17:22 6538

原创 Java中使用Opencv从视频文件中获取帧

实现功能：使用Java获取mp4、mov、avi等视频文件中的图像帧，每秒获取一帧图像，并保存环境要求：需要安装Opencv，安装FFmpeg，下载javacv包操作系统：本次实验使用的Ubuntu系统实验代码import com.googlecode.javacv.cpp.opencv_highgui;import org.opencv.core.Core;import org.open

2017-04-07 16:55:34 13097 10

原创运行Spark项目出错error: error while loading <root>, error in opening zip file

error: error while loading <root>, error in opening zip file[ERROR] error: error while loading <root>, error in opening zip fileerror: scala.reflect.internal.MissingRequirementError: object scala.run

2017-03-15 14:50:09 6024 1

转载 spark流数据处理：Spark Streaming的使用

本文讲解Spark流数据处理之Spark Streaming。本文的写作时值Spark 1.6.2发布之际，Spark 2.0预览版也已发布，Spark发展如此迅速，请随时关注Spark Streaming官方文档以了解最新信息。文中对Spark Streaming的讲解主要使用到Scala语言，其他语言请参考官方文档，这点请知晓。概述Spark Streaming是S

2017-03-06 17:41:22 4966

原创 Spark SQL读取Hive数据配置及使用Thrift JDBC/ODBC Server访问Spark SQL

[TOC] Spark SQL可以读取hive中的数据,开启Thrift JDBC/ODBC Server服务可以使其他语言客户端使用Spark SQL.关于Spark SQL中对hive的支持,官方文档说明让人疑惑,好像没有把hive编译进去,需要自己手动编译,官方文档提及: Spark SQL also supports reading and writing data stored in

2017-01-11 12:02:58 13139 3

原创 Ubuntu1604安装ganglia并监控Hadoop/HBase/Spark集群

ganglia的官方文档没找到,试了很多教程,终于配置成功,不过还有一点小问题没有解决安装依赖软件apache,php,rrdtoolganglia需要使用apache服务,rrd服务,php服务,这里安装的是最新的php7.0sudo apt-get install rrdtool apache2 php注意：此时是无法解析PHP网页的，因为没有安装apache php module 安装apa

2016-12-28 15:52:39 1272 2

原创使用Spark批量上传图片到HBase中并同时使用OpenCV提取SIFT特征值

使用Spark批量上传图片到HBase中并同时使用OpenCV提取SIFT特征值最近正在学习利用Spark做图像的分类和检索实验，首先需要上传图像数据（保存在本地文件系统中）到HBase中，提取的图像特征是SIFT，借助OpenCV库提取，刚开始是写一个任务上传图片，然后再写一个任务提取HBase中图像的特征值，考虑到图片的序列化和反序列化会耗费大量的时间，且频繁的磁盘IO对时间消耗也很大，因此，将

2016-12-16 21:17:45 4983

原创 Linux中OpenCV安装及在Intellij Idea中Java调用

安装OpenCV1.安装依赖包OpenCV依赖如下包：GCC 4.4.x or later CMake 2.6 or higher Git GTK+2.x or higher, including headers (libgtk2.0-dev) pkg-config Python 2.6 or later and Numpy 1.5 or later with developer pack

2016-12-06 22:05:56 3245

原创 Hadoop、Spark开发入门视频书籍推荐

本人大数据学习菜鸟一枚，从零开始学习大数据，这里分享我的学习过程。自学是一个考验毅力的过程，当然对自身也是一个锻炼提高的过程，但是有时候，从零开始学习，举步维艰，个人深有体会。离开学生时代的填鸭式教学，你会发现学习路上能有引路人带你入门，效率会提高很多。努力很重要，效率、方法也很重要，这里分享我学习大数据过程中学过的好的视频和书籍。如果学习Hadoop那么Java基础也应该加强，毕竟Hadoop主

2016-11-29 13:39:48 10856 2

原创 HBase-1.2.4使用新的Java API操作库常用方法使用

最近自学HBase编程，发现书上介绍的一些方法在HBase-1.2.4中过时了，因此，使用新的API改了书中的Demo，能够运行成功，使用的HBase是集群模式，代码可以直接在编译器中运行。使用ConnectionFactory来连接数据库表名使用特定的类TableName而不是字符串弃用HAdmin使用Admin，通过Connection获取启用HTable使用Table，通过Connec

2016-11-24 17:15:09 2807 1

原创 Spark+HBase分布式上传海量图片数据

Spark+HBase分布式批量上传海量本地图片集群架构 3台PC机都是4G的内存，Master和一个Worker是i5处理器，一个Worker为i3处理器218.199.92.225 fang-ubuntu（Master）218.199.92.226 fei-ubuntu（Worker）218.199.92.227 kun-ubuntu（Worker）软件环境Ubuntu1604

2016-11-21 20:35:31 3052 1

原创 HBase-1.2.4分布式集群搭建

HBase-1.2.4分布式集群搭建过程HBase-124分布式集群搭建过程安装步骤官网下载安装包修改hbase-envsh修改hbase-配置文件hbase-sitexml修改hbase conf目录下 regionservers配置文件在hbase conf下创建文件backup-masters 配置备份master将安装配置好的hbase目录复制到集群中的每个节点中在集群的每个节

2016-11-21 11:43:59 3740

原创 2016腾讯笔试题，删除字符串中的字符，使得剩下的字符串是回文串，如何删除使得回文串最长

此题是组合优化问题，求解过程是多步判断，从小到大求解每个子问题，最后求解的子问题就是原始问题，满足最优子结构性质，因此使用动态规划算法求解。求解过程中需要保存子问题的中间结果，以备用来求大问题的解。使用二维数组huiWenLen[i][j]保存字符串中下标i到j的子字符串中最长回文长度。初始条件：if(i==j) huiWenLen[i][j] = 1;如果str.charAt(i

2016-07-28 16:50:01 4708

转载 ALS 在 Spark MLlib 中的实现

深受用户喜爱的大数据处理平台 Apache Spark 1.3 于前不久发布，MLlib 作为 Spark 负责机器学习（ML）的核心组件在 1.3 中添加了不少机器学习及数据挖掘的算法：研究主题分布的 latent Dirichlet allocation （LDA）、估计点集分布的高斯混合模型（GMM）、提取频繁项集的 FP-growth、生成图聚类的 power iteration c

2016-07-14 15:09:39 723 1

原创 Spark on Yarn集群搭建详细过程

由于最近学习大数据开发，spark作为分布式内存计算框架，当前十分火热，因此作为首选学习技术之一。Spark官方提供了三种集群部署方案： Standalone, Mesos, Yarn。其中 Standalone 为spark本身提供的集群模式，搭建过程可以参考官网，本文介绍Spark on Yarn集群部署过程。使用3台普通机器搭建Spark集群

2016-04-29 17:19:40 36197 14

转载 CentOS7安装vncserver（启动失败及连接黑屏解决办法）

一.安装以root用户运行以下命令来安装vncserver;yum install tigervnc-server 同样运行以下命令来安装vncviewer;yum install vnc停止并禁用防火墙；systemctl stop firewalld.servicesystemctl disable firewalld.s

2016-04-25 20:06:28 86852 6

转载在Ubuntu15.10安装F.lux

长时间对着电脑，眼睛比较疲惫。在iPhone中和Mac电脑中都有使用过f.lux，习惯了就离不开。现在学习Linux系统下的开发，也想使用f.lux，到网上查找了一下相关文章，花了一个多小时终于在Ubuntu 15.10中成功安装，下面是详细安装步骤。1、添加PPA到系统中?1sudo add-apt-repository p

2016-04-14 10:36:44 1893

Fang的博客