- 博客(106)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 tomcat的log日志打印位置
log4j.properties配置文件如下：#Logger root settinglog4j.rootLogger = INFO,FILE,CONSOLE,DEBUGlog4j.threshhold = INFO,DEBUG#Daily Rolling File Appenderlog4j.appender.FILE = org.apache.log4j.DailyRollingF
2017-10-20 10:42:22
21394
原创 virtualbox扩展centos6.5虚拟机磁盘
最近在安装cloudera Manager，由于之前设置的虚拟机为自动扩展，结果默认最大大小为8G，结果安装死活硬盘不够大，安装失败。写一篇博客来记录解决这个问题的过程。预置条件：虚拟机:Oracle VM VirtualBoxOS: Centos 6.5虚拟硬盘：动态分配存储宿主系统：Mac Os Sierra 10.12.6扩展步骤：第一步：修改硬盘镜像
2017-10-12 18:17:23
713
原创 安装spark集群及spark介绍
Spark的介绍Hadoop与StromHadoop：MapReduce：为海量数据提供了计算，但只有Map和Reduce操作，操作不灵活。HDFS（分布式文件系统）：为海量的数据提供了存储。（把全部计算机的存储能力合在一起，数据通过网络在节点之间传输）。 Strom：一个分布式的、容错的实时计算系统。 大数据处理复杂的批量数据处理（batch da
2017-10-12 09:49:33
487
原创 Impala重要组件介绍
Impala重要组件1.Impala DaemonThe core Impala component is a daemon process that runs on each DataNode of the cluster, physically represented by the impalad process.Impala的核心组件是运行在各个节点上面的
2017-10-10 11:17:52
1597
转载 Google Dremel数据模型详解
首先简单介绍一下Dremel是什么，能解决什么问题。第二部分着重讲Dremel的数据模型，即数据结构。第三部分将谈一下在此数据结构上设计的算法。1 起源Dremel的数据模型起源于分布式系统的应用环境(Protocol Buffers，一种在Google内广泛使用，现已开源的实现)。其数据模型是基于强类型的嵌套记录，抽象语法可以表示成下面公式：一个例子：
2017-10-10 11:10:08
6700
1
转载 使用 CAS 在 Tomcat 中实现单点登录
CAS 介绍CAS 是 Yale 大学发起的一个开源项目，旨在为 Web 应用系统提供一种可靠的单点登录方法，CAS 在 2004 年 12 月正式成为 JA-SIG 的一个项目。CAS 具有以下特点：开源的企业级单点登录解决方案。CAS Server 为需要独立部署的 Web 应用。CAS Client 支持非常多的客户端(这里指单点登录系统中的各个 Web 应用)，
2017-09-14 10:29:25
318
转载 Spring cron 表达式
前言： 最近做的项目有用到定时器，每周只在特定时间运行一次，考虑到Spring Task的简单易用性，就果断选择了，我是配置在配置文件里面，没有用注解@Scheduled，推荐配置，注解虽方便，但更改需求时，需要代码重新编译。 定时任务配置其实很简单，不再赘述，自行度娘。关键就是方法执行时机，Spring用cron字符串表达式来做设置。服务器启动的时候立马执
2017-09-04 15:06:22
323
原创 解决POI解析excel出现内存溢出问题
使用原生的方法解析excel会导致内存溢出，比较好的方法就是将excel转化为csv，即可。maven配置的依赖如下： org.apache.poi poi 3.16 org.apache.poi poi-ooxml 3.16 java代码如下：package com.cloudjet.dmp.dalution.util
2017-09-01 17:09:12
4015
1
原创 ClassLoader.getSystemResource("log4j.properties")问题
使用ClassLoader.getSystemResource("log4j.properties")在tomcat的java web项目中是获取不到该文件的URL，原因是tomcat使用自己的加载器，所以找不到。解决方法是使用URLDecoder.decode((ConnectionFactory.class.getClassLoader().getResource("kerberos/"
2017-08-29 21:36:48
1363
原创 Mac SecureCRT rz couldn’t be opened because there is no such file
在mac上启动SecureCRT,使用rz，报如下的错误：其实只要使用download文件夹就可以了。
2017-08-23 18:24:57
2222
2
原创 使用JVisualVM远程监控Tomcat
1.我在tomcat的catalina.sh中jvm的参数配置如下：dt=`date +"%Y-%m-%d-%H-%M-%S"`JAVA_OPTS='-XX:+UseConcMarkSweepGC -XX:+UseParNewGC -Xloggc:/usr/local/tomcat6/apache-tomcat-7.0.73/logs/dalution_gc.$dt.log -XX:+Pr
2017-08-21 15:20:32
484
原创 MAC上virtualbox的centos6.5网络配置
在mac上使用virtualbox来虚拟化虚拟机。对虚拟机的网络要求是1.能与宿主机互通。2.虚拟机之间能互通。3.虚拟机能连接Internet。自己摸索出一套配置方案（由于自己对网络也不太懂，也不一定是最优的方案）由于使用桥接模式的时候，虚拟机无法连接外网，自己查看了路由表配置也没发现什么问题，最后的解决方案就是采用采用双网卡，一个网卡是桥接模式，一个网卡是nat
2017-08-16 22:08:26
3628
1
原创 将Java项目打成可执行的jar
使用maven来管理项目，其maven的配置如下 org.apache.maven.plugins maven-dependency-plugin 2.8 copy prepare-package copy-dependencies
2017-08-16 17:13:28
295
原创 解决vmware虚拟机克隆网络配置问题
VMware虚拟机安装好CentOS6.5系统后，纯净的系统多克隆几份出来方便后期做试验。克隆步骤很简单，克隆后出现的问题是克隆后的网卡MAC地址和原系统MAC地址一样，在局域网内会有冲突，需要更改克隆后的MAC地址。解释一下：实际上克隆后的系统有两个网卡eth0和 eth1，实际起作用的是eth1，eth0是克隆过来的。克隆系统会重新生成一个mac地址，因为系统会在eth0加1变成eth
2017-08-16 10:03:20
893
原创 windows环境 java jdbc 连接impala (kerberos认证)
在网上找了下使用kerberos认证来通过jdbc连接impala，发现基本都是报错了。我使用两种方法jdbc连接impala，分别是通过hive来连接，还有通过impala自身的jdbc驱动来连接。第一种：（使用impala自身的jdbc驱动来连接，本例子是在impala的demo中进行了修改，添加了kerberos认证）pom文件如下：<project xmlns="http://maven.
2017-07-17 10:51:44
6753
3
原创 spark streaming读取kafka数据，记录offset
如下是pom.xml文件<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xs
2017-06-15 15:13:24
6210
1
原创 kafka helloworld
贴一下我根据官网的例子，写的kafka的hello world列子，完整的代码如下pom.xml如下<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.
2017-06-07 10:19:59
1108
转载 HttpClient 4.3超时设置
HttpClient这货和Lucene一样，每个版本的API都变化很大，这有点让人头疼。就好比创建一个HttpClient对象吧，每一个版本的都不一样，3.X是这样的HttpClient httpClient=new DefaultHttpClient();4.3是这样的CloseableHttpClient httpClient = HttpClients.createDefau
2017-05-03 15:20:37
281
原创 hadoop-2.6.5安装
写篇博文记录下我搭建hadoop-2.6.5，中间遇到一些坑，不过最后能看到namenode和nodemanager都能出来也算成功了。由于每个人的操作系统，安装版本不一致，所以也不用像机器人一样照搬，按照我所说的步骤思想去做就行了，有些地方也需要灵活变通。一、安装的步骤如下1.给每台机器设置主机名，然后配置主机名和IP的映射关系（主机名类似域名）2.安装ssh,设置免密码登录
2017-04-23 17:39:59
6129
转载 linux lsof命令详解
简介lsof(list open files)是一个列出当前系统打开文件的工具。在linux环境下，任何事物都以文件的形式存在，通过文件不仅仅可以访问常规数据，还可以访问网络连接和硬件。所以如传输控制协议 (TCP) 和用户数据报协议 (UDP) 套接字等，系统在后台都为该应用程序分配了一个文件描述符，无论这个文件的本质如何，该文件描述符为应用程序与基础操作系统之间的交互提供了通用接口。因
2017-04-23 15:29:15
467
转载 Linux netstat命令详解
简介Netstat 命令用于显示各种网络相关信息，如网络连接，路由表，接口状态 (Interface Statistics)，masquerade 连接，多播成员 (Multicast Memberships) 等等。输出信息含义执行netstat后，其输出结果为Active Internet connections (w/o servers)Proto Re
2017-04-23 15:28:27
251
原创 VMware Virtual Network介绍 bridged、host-only、NAT
VMWare提供了三种工作模式，它们是bridged(桥接模式)、NAT(网络地址转换模式)和host-only(主机模式)。要想在网络管理和维护中合理应用它们，你就应该先了解一下这三种工作模式。在介绍这三种网络之前，来介绍下使用到的交换机和虚拟网卡VMnet0：这是VMware用于虚拟桥接网络下的虚拟交换机；VMnet1：这是VMware用于虚拟Host-Only网络下的
2017-04-22 20:14:58
463
转载 Hive函数大全
一、关系运算：1. 等值比较: = 语法：A=B 操作类型：所有基本类型 描述:如果表达式A与表达式B相等，则为TRUE；否则为FALSE 举例： Hive>select 1 from lxw_dual where 1=1; 12. 不等值比较: 语
2017-04-19 18:24:39
311
原创 SparkSQL中DataFrame常用API
package com.fosun.sparkdemo;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.sql.DataFrame;import org.apache.spark.sql.SQLContext;impor
2017-04-17 11:18:13
3215
原创 spark任务提交参数
~/spark$ bin/spark-submit Usage: spark-submit [options] [app arguments] Usage: spark-submit --kill [submission ID] --master [spark://...] Usage: spark-submit --status [submission ID] --master [spark:
2017-04-17 10:02:21
1225
原创 mvn 构建项目，脚本windows编译成功,linux执行失败
一般情况都是该shell脚本在windows下的结束符合linux下不一样，导致执行失败。使用linux命令dos2unix，执行dos2unix *.sh(就是将你的脚本由windows转化为linux格式)
2017-03-21 19:46:42
823
转载 kerberos认证原理---讲的非常细致，易懂
转载URL:http://blog.csdn.net/wulantian/article/details/42418231前几天在给人解释Windows是如何通过Kerberos进行Authentication的时候，讲了半天也别把那位老兄讲明白，还差点把自己给绕进去。后来想想原因有以下两点：对于一个没有完全不了解Kerberos的人来说，Kerberos的整个Authenticati
2017-03-17 12:24:03
629
转载 Java中的MessageFormat.format用法实例
转载URL：http://www.jb51.net/article/67058.htmMessageFormat本身与语言环境无关，而与用户提供给MessageFormat的模式和用于已插入参数的子格式模式有关，以生成适用于不同语言环境的消息。MessageFormat模式（主要部分）： 复制代码代码如下:FormatElement:
2017-03-16 17:19:40
1234
转载 HBase体系结构
转载URL：http://www.cnblogs.com/ggjucheng/p/3380169.htmlHBase的服务器体系结构遵循简单的主从服务器架构，它由HRegion服务器（HRegion Server）群和HBase Master服务器（HBase Master Server)构成。HBase Master服务器负责管理所有的HRegion服务器，而HBase中所有的服务器都是
2017-03-16 14:35:52
405
原创 关于gitlab报500的问题解决方案
记录一次使用gitlab各种报500的问题，并怎么解决的描述下一、问题背景描述我第一次使用wiki的步骤：二、问题描述之后我进行任何合法的操作(创建页面使用全英文名称；页面不做任何修改，只是点击保存)都会报500三、问题解决经过和我们的gitlab管理员以及在网上查询，我们使用的gitlab是8.5.7，该版本不支持页面名称含有中文，需要升级到8
2017-03-16 10:51:04
31697
2
原创 SSH免密码登录
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa在配置Hadoop集群分布时，要使用SSH免密码登录，假设现在有两台机器master(192.168.10.100)，作为A机，worker(192.168.10.107)，作为B机。现想master通过ssh免密码登录到worker。1.在A机下生成公钥/私钥对。[hadoop@wang-PC ~]$ s
2017-03-16 00:23:10
347
转载 CentOS 6.5安装jdk1.8
转载URL：http://www.cnblogs.com/xqzt/p/4934451.html1、源码包准备：首先到官网下载jdk-8u66-linux-x64.tar.gz，http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html2、解压源码包
2017-03-15 23:48:02
264
转载 理解Spark的核心RDD
这篇文章也是对spark论文的翻译，就直接拿过来了转载URL：http://www.infoq.com/cn/articles/spark-core-rdd/与许多专有的大数据处理平台不同，Spark建立在统一抽象的RDD之上，使得它可以以基本一致的方式应对不同的大数据处理场景，包括MapReduce，Streaming，SQL，Machine Learning以及Grap
2017-03-15 18:14:20
262
转载 idea15破解 以及 idea15重置设置
转载URL：https://my.oschina.net/lizhengdong/blog/608159注册方法: 注册码可以沿用14的,只是在 注册时选择 License server ，填 http://idea.lanyus.com ，然后点击 OK14的话，网上可以找到一个，根据你的用户名生成激活码。 *.lanyus.com下的全部授权服务器已遭JetBr
2017-03-15 13:18:18
2389
原创 Markdown的使用方法
Markdown 语法说明 (简体中文版) / (点击查看快速入门)概述宗旨兼容 HTML特殊字符自动转换区块元素段落和换行标题区块引用列表代码区块分隔线区段元素链接强调代码图片其它反斜杠自动链接感谢概述宗旨Markdown 的目标是实
2017-03-15 00:14:34
827
转载 Git & Gitlab 使用指南
转载：http://www.tuicool.com/articles/mEbAZbE去年小组在从 SVN 和 TFS 迁移到 Git 的过程中整理了这份文档，面向的用户是对 Git 和 SVN 可能都不是很了解的人。看到自己写了这么多，于是就拿出来分享下，有些东西可能写得比较浅，有错误还请指正。1. 关于 Git 你应该知道的东西Git 是一个分布式版本控制系统
2017-03-14 10:14:56
2496
转载 从RDDs到Spark
这哥们的论文用大白话讲的非常好，再次致敬一下。转载URL：http://blueve.me/archives/1437Spark是近年来非常火爆的分布式计算框架，可以说它紧跟Hadoop的脚步，并且在很多方面实现了超越。在Spark官方的宣传中我们也可以看到，Hadoop能做到的事情，Spark也可以做，而且通常可以做得更好。事实上，越来越多的业内公司都开始试水Spar
2017-03-13 22:18:21
491
采用“写优先”的策略演示“读者-写者”问题
2013-07-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人