mysql5.7安装与配置

Step1: 检测系统是否自带安装mysql # yum list installed | grep mysql Step2: 删除系统自带的mysql及其依赖 命令: # yum -y remove mysql-libs.x86_64     1 查看Linux发行版本[root...

2017-03-26 11:34:41

阅读数 363

评论数 0

使用MRUnit进行MapReduce单元测试

1.前言 在写完MR之后,通常都会自己造一些数据本地测一下保证基本逻辑没问题。这里使用MRUnit进行MR的单元测试 官网地址:https://mrunit.apache.org/              这里笨小葱使用MRUnit来测试一下最简单的WordCount的MR代码。 2.m...

2017-03-12 12:17:47

阅读数 560

评论数 0

mr配置es

https://www.elastic.co/guide/en/elasticsearch/hadoop/current/mapreduce.html#_emphasis_new_emphasis_literal_org_apache_hadoop_mapreduce_literal_api

2017-03-10 15:48:01

阅读数 333

评论数 0

通过Nginx访问后端应用,ERR_CONTENT_LENGTH_MISMATCH 问题的解决

遇到两个问题 1. 选择日期功能,不起作用了 2. 下载稍大一点的文件,只能下载一小半 页面调试发现有ERR_CONTENT_LENGTH_MISMATCH错误 系统:CentOS,Nginx,proxy到后端的tomcat 原因:nginx会...

2017-01-06 16:17:02

阅读数 621

评论数 0

【lua】table是否为空的判断

【lua】table是否为空的判断 在项目的脚本lua中经常有这样的需求, 1、local a = {} 2、对a进行处理 3、对a是否为空表进行判断 关于对a是否为空表的判断,如果直接这样做: if a == {} then 这样的结果就是a == {}永远返回false,...

2017-01-06 16:15:28

阅读数 1700

评论数 0

CDH5.X完全卸载步骤

//CDH5.X完全卸载步骤 # by coco # 2015-01-14 1. 关闭集群中的所有服务。  这个可以通过clouder manger 主页关闭集群。 2. 卸载 [root@master ~]# /usr/share/cmf/uninst...

2017-01-06 16:13:56

阅读数 582

评论数 0

lua+nginx解析useragent实例

----------------------------------------razor_js.lua--------------------------------------------------------- local cjson = require("cjson&q...

2017-01-06 16:06:44

阅读数 2071

评论数 0

lua解析UserAgent

--解析UserAgent,获取移动设备访问的系统版本和设备型号 function getUAField(t) local separator=';' local tab={} local android=string.find(t,"Android")...

2017-01-06 15:59:03

阅读数 1183

评论数 0

lua的一些简单函数

--字符串分割函数 --传入字符串和分隔符,返回分割后的table function string.split(str, delimiter) if str==nil or str=='' or delimiter==nil then return nil end ...

2017-01-06 15:50:48

阅读数 380

评论数 0

Linux下调整根目录的空间大小

一、目的 在使用Linux系统的时候,发现根目录(/)的空间不是很充足,而其他目录空间有很大的空闲,所以本文主要是针对现在已有的空间进行调整。首先,先来查看一下系统的空间分配情况: [plain] view plain copy  print? ...

2017-01-06 15:17:56

阅读数 8014

评论数 0

hadoop MR从hbase中读取数据写入到hbase中

hadoop MR从hbase中读取数据写入到hbase中的配置 public class WordCount { private static final Logger LOGGER= LoggerFactory.getLogger(WordCount.class); st...

2016-12-10 10:25:50

阅读数 2308

评论数 0

hadoop MR多目录动态输出配置

在写MR时,如果需要根据记录内容进行,每条记录的动态目录输出可以使用MultipleOutputs类配置。 public static class hdfs2HiveMap extends Mapper { private MultipleOutputs multipleO...

2016-12-10 10:11:59

阅读数 1117

评论数 0

CDH安装中遇到的问题解决

--------------------------cdh中重装hbase后之前的脚本残留解决--------------------- 1.切换到zookeeper的bin目录;  //zookeeper-client status命令可以找到该bin目录 2.执行$sh zkCli...

2016-10-23 10:55:10

阅读数 4259

评论数 0

ORA-12519: TNS: 没有找到适用的服务处理

无法连接到数据库实例: ORA-12519: TNS: 没有找到适用的服务处理 无法连接到数据库实例: ORA-12519: TNS:no appropriate service handler found (DBD ERROR: OCIServerAttach)。 ...

2016-10-23 10:32:01

阅读数 9136

评论数 0

java.io.IOException: Too many open files

今天后台服务器(Linux) 在转音源的时候 报java.io.IOException: Too many open files 在网上查了一些资料 记录如下: 打开的文件过多,一般来说是由于应用程序对资源使用不当造成,比如没有及时关闭Socket或数据库连接等。但也可能应用确实需要打开比...

2016-10-23 10:29:43

阅读数 3381

评论数 0

es与其他服务(hbase,spark,hive)jar包冲突时如何定位冲突包

集群部署时es的jar包可能与其他服务(hbase,spark,hive....)jar包冲突 部署时需要替换官方的es架包为我们自己重新编译的jar包。   补充:如果需要定位到具体是哪个class引起的冲突,可以通过在tomcat的bin/catalina.sh中配置...

2016-10-23 10:26:03

阅读数 1548

评论数 0

CDH集群中maptask的日志文件的位置整理

笨小葱这周写了一个读取hbase中的数据到map中的很简单的mr。然后放到cdh集群中跑了一下,结果出现了一系列问题。其中最重要的一个问题竟然是,笨小葱想去找我在mr程序中打的日志,竟然苦苦找不到。所以这里记录下笨小葱从头到尾的一个过程。 1.打包运行mr 这里笨小葱执行 hadoop jar x...

2016-09-09 21:54:26

阅读数 3753

评论数 2

IDEA远程调试Hadoop步骤及出错解决整理

作为习惯了用idea开发的小伙伴,不太想用eclipse开发Hadoop,于是研究了一下idea如何远程调试mr,现分享一下。 一 开发环境 本地win10系统 Intellij idea14工具 虚拟机中hadoop2.6.0伪分布模式 二配置步骤(这里笨小葱参考的这篇文章:http://ww...

2016-09-04 12:09:33

阅读数 7265

评论数 6

Could not initialize class net.sf.cglib.proxy.Enhancer解决办法

出现异常:java.lang.NoClassDefFoundError: Could not initialize class net.sf.cglib.proxy.Enhancer, 解决方法:     方案1:删除asm-2.2.3.jar;     方案2:删除 cglib...

2016-06-20 17:35:45

阅读数 4106

评论数 0

通过maven-shade-plugin 解决Elasticsearch与hbase的jar包冲突问题

今天在项目中集成hbase1.0.0-cdh5.5.2和ElasticSearch2.2.0时出现了问题,原先在集成hbase时,引入了架包com.google.guava(16.0版本),后来在集成ES时发现es中也用到了guava的18.0版本。这时候问题来了,如果将原来的guava 16.0...

2016-06-13 20:08:11

阅读数 9273

评论数 8

提示
确定要删除当前文章?
取消 删除
关闭
关闭