「已注销」-CSDN博客

原创 Storm通过rJava调用R脚本的环境配置

Storm Bolt中通过rJava调用R脚本时，需要配置本地的R环境及修改Storm的环境。1、本地R配置系统安装R语言, HDP-UTILS中提供R的安装包，将这些包配置本地yum源# yum install R重新配置R的java环境变量# R CMD javareconf进入R中安装rJava或者本地安装# R CMD INSTALL rJa

2017-08-18 17:48:05 881

原创 Spark2.1.0集群部署

1、从官网下载2.1.0版本的Spark，spark-2.1.0-bin-hadoop2.7.tgz；2、拷贝都集群中各个节点，解压到特定目录下；3、启master服务:# ./sbin/start-master.sh master服务启来之后可以看到master的URL地址(或者在日志中查看)spark://Spark01:70774、启所

2017-04-01 17:37:42 1288

原创 Hive映射已存在的HBase表

1、首先要确保/usr/lib/hive/lib下HBase的jar包的版本要和实际环境中HBase的版本一致，需要用/usr/lib/hbase/li/目录下得jar包做软连接，如下：ln -s /usr/lib/hbase/lib/hbase-client-1.0.0-cdh5.4.3.jar /usr/lib/hive/lib/hbase-client.jarln -s /usr

2016-12-14 14:22:58 7244 3

原创 MapReduce开发环境搭建

1. 概述在使用UDH 过程中，难免需要开发M apReduce 程序，本文介绍如何搭建基于Eclipse的UDH MapReduce的开发环境。2. 准备UDH集群：这个可以是已经搭建好的远端UDH集群，也可以是本地伪集群，本文就以使用远端UDH集群为例进行说明。客户端开发环境：Eclipse+JDK1.7(JDK1.8)3. Maven Projec

2016-12-14 14:20:52 840

原创 Linux磁盘读写性能测试

开发过程中会经常使用基于虚拟机技术的虚拟服务器来进行环境搭建和程序调试，由于虚拟服务器的底层磁盘是建立在分布式文件系统之上的，如果分布式文件系统或磁盘硬件出现故障，会直接影响集群的运行速度和稳定性。所以，测试系统磁盘的读写性能就成为了系统环境准备和验证的一个重要环节。测试原理：使用Linux命令向磁盘中写入1G测试数据，记录写入数据的时间及每秒的平均写入数据量，根据这两个数据对服务

2016-12-14 14:19:47 3234 1

原创配置本地yum源

1、开启HTTP服务# service httpd start2、在html目录下创建新目录，如“udh”# cd /var/www/html/# mkdirudh 3、搭建本地yum源在udh目录下安装repo#yum install –y createrepo#createrepo /var/www/html/udh

2016-12-14 14:18:22 496

原创利用MapReduce对HBase数据进行统计分析

1、HBase作为一种kv数据库，能够很好的面对高吞吐率的在线数据读写服务，尤其是写操作，但是在非rowkey多条件查询、数据分析、统计等场景下，HBase表现的就不是很好了，这些场景下就比较适合来用MapReduce来计算。2、应用场景假设有一张HBase表article,它有一列是数据来源source，现在需要统计不同来源的文章数量(数据行数)，对于这样的简单统计需求，可以利用MapR

2016-10-27 16:52:18 8827

原创 yum安装Docker及入门使用

一、安装1、配置yum源# vim /etc/yum.repos.d/docker.repo[dockerrepo]name=Docker Repositorybaseurl=https://yum.dockerproject.org/repo/main/centos/$releasever/enabled=1gpgcheck=1gpgkey=https://yum

2016-10-09 10:12:54 5181

原创 Solr5.5集群安装部署及使用

部署安装：1. 说明Solr5内置了Jetty服务，所以不用安装部署到Tomcat了。以下每步操作除了特殊说明外默认在集群中每个节点都需要操作, 操作的用户为root。 2. 修改系统配置修改hosts文件，加入各主机IP和主机名的映射;# vim /etc/hosts开放相应端口或者直接关闭防火墙。# service iptables stop# chkcon

2016-08-17 14:33:50 1259 1

原创 Safari下载文件名乱码

在使用Safari下载中文名文件的时候，下载的文件名是乱码, 但在IE，Firefox，Chrome中下载时中文文件名可以正确显示/*** 浏览器下载文件时需要在服务端给出下载的文件名，当文件名是ASCII字符时没有问题当文件名有非ASCII字符时就有可能出现乱码* 最终设置的response header是这样:* Content-Disposition: attachment;*

2016-08-16 13:01:09 18462 5

GoFastX的博客