- 博客(23)
- 资源 (179)
- 收藏
- 关注
转载 linux tcpdump命令以及结果分析
tcpdump能帮助我们捕捉并保存网络包,保存下来的网络包可用于分析网络负载情况,包可通过tcpdump命令解析,也可以保存成后缀为pcap的文件,使用wireshark等软件进行查看。1.针对特定网口抓包(-i选项)当我们不加任何选项执行tcpdump时,tcpdump将抓取通过所有网口的包;使用-i选项,我们可以在某个指定的网口抓包:linux:/tmp/lx #
2015-10-29 21:31:17 1765
转载 ehcache memcache redis 三大缓存男高音
最近项目组有用到这三个缓存,去各自的官方看了下,觉得还真的各有千秋!今天特意归纳下各个缓存的优缺点,仅供参考! Ehcache在java项目广泛的使用。它是一个开源的、设计于提高在数据从RDBMS中取出来的高花费、高延迟采取的一种缓存方案。正因为Ehcache具有健壮性(基于java开发)、被认证(具有apache 2.0 license)、充满特色(稍后会详细介绍),所以被用于
2015-10-28 10:44:37 442
转载 模型Bean:Model Bean
在上一节是用apache的commons-modeler来开发的一个model,只不过commons-modeler帮助我们实现了很多的代码,而我们只需要写描述XML文件就行了。这一节,来一个实打实的Model Bean,不借助任何第三方工具包。例子还是沿用Hello这个类,以便于和以前的实现相比较。 一、Model MBean实例1、Hello.java还是和以前的一样。这里它没有再
2015-10-21 11:14:28 742
转载 用Apache的commons-modeler来辅助开发JMX
一、前言 每一个MBean都要有一个接口,比如前面的Hello要有一个HelloMBean接口。要多维护一个接口,的确是件麻烦的事。 Apache的commons-modeler利用JMX中的动态MBean原理很好的解决了这一问题,commons-modeler使用得我们可以只写Hello,而不用写HelloMBean这个接口。不过这是有代价的,它要求我们写一个mbean的xml描述文
2015-10-21 11:12:25 846
转载 动态MBean:DynamicMBean
一、前言 动态MBean是在运行期才定义它的属性和方法,也就是说它有什么属性和方法是可以动态改变的。动态MBean主要利用一些辅助类(构造函数类MBeanConstructorInfo、属性类MBeanAttributeInfo、方法类MBeanOperationInfo)来完成这个功能,所有的动态MBean必须实现DynamicMBean接口。DynamicMBean写好后,使用方法
2015-10-21 10:58:15 492
转载 Notification的使用
一、简介 Mbean之间的通信是必不可少的,Notification就起到了在Mbean之间沟通桥梁的作用。JMX notification 由四部分组成: * Notification 这个相当于一个信息包,封装了需要传递的信息 * Notification broadcaster 这相当于一个广播器,把消息广播出去 * Notification l
2015-10-21 10:56:24 603
转载 JMX简介
一、JMX简介 JMX是一种JAVA的正式规范,它主要目的是让程序且有被管理的功能,那么怎么理解所谓的“被管理”呢?试想你开发了一个软件(如WEB网 站),它是在24小时不简断运行的,那么你可能会想要“监控”这个软件的运行情况,比如收到了多少数据,有多少人登录等等。或者你又想“配置”这个软件, 比如现在访问人数比较多,你想把数据连接池设置得大一些。 当然,你也许会专门为这些管理
2015-10-21 10:53:08 519
转载 JMX的Hello World
1、JMX的Hello World 一、JMX简介 什么是JMX?在一篇网文中是这样说的:"JMX(Java Management Extensions)是一个为应用程序植入管理功能的框架。JMX是一套标准的代理和服务,实际上,用户可以在任何Java应用程序中使用这些代理和服务实现管理",这句话我现在看着还是不知所云,云里雾里。 我们还是从JMX能给我们提供什么好处入手
2015-10-21 10:50:52 472
转载 Kafka剖析:Kafka背景及架构介绍
Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展,“Kafka剖析”专栏将会从架构设计、实现、应用场景、性能等方面深度解析Kafka。背景介绍Kafka
2015-10-18 22:26:40 582
转载 Hbase 系统架构与数据结构
HBase中的表一般有这样的特点:1 大:一个表可以有上亿行,上百万列2 面向列:面向列(族)的存储和权限控制,列(族)独立检索。3 稀疏:对于为空(null)的列,并不占用存储空间,因此,表可以设计的非常稀疏。下面一幅图是Hbase在Hadoop Ecosystem中的位置。二、逻辑视图HBase以表的形
2015-10-16 13:25:48 611
转载 HBase 系统架构
HBase 系统架构图 组成部件说明 Client: 使用HBase RPC机制与HMaster和HRegionServer进行通信 Client与HMaster进行通信进行管理类操作 Client与HRegionServer进行数据读写类操作 Zookeeper: Zookeeper Quorum存储-ROOT-表地址、HMa
2015-10-16 13:21:52 433
转载 NoSQL数据库Redis系统性介绍
虽然Redis已经很火了,相信还是有很多同学对Redis只是有所听闻或者了解并不全面,下面是一个比较系统的Redis介绍,对Redis的特性及各种数据类型及操作进行了介绍。是一个很不错的Redis入门教程。 1.介绍 1.1 Redis是什么 REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储
2015-10-16 13:07:13 393
原创 Hive1.2.1 启动报错 ClassNotFoundException: org.apache.hadoop.hive.service.HiveServer
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]Exception in thread "main" java.lang.ClassNotFoundException: org.apache.hadoop.hive.service.HiveServer at java.net.URLCla
2015-10-15 20:24:11 5489 1
转载 hadoop1.2.1集群安装hive1.2.0,用mysql作为元数据库
安装Hive,有条件的同学可考虑用mysql作为元数据库安装(有一定难度,可以获得老师极度赞赏),安装完成后做简单SQL操作测试。安装环境:hadoop1.2.1集群安装MySQL:配置本地yum源,vi /etc/yum.repos.d/dvd.repoRedhat6.6添加如下内容:[dvd]
2015-10-15 20:16:35 1254
转载 apache-hive-1.2.1 安装与MYSQL配置
1.Hive简介 起源自facebook由Jeff Hammerbacher领导的团队 构建在Hadoop上的数据仓库框架 设计目的是让SQL技能良好,但Java技能较弱的分析师可以查询海量数据 2008年facebook把hive项目贡献给Apache Hive的组件与体系架构 用户接口:shell, thrift, web等 Th
2015-10-15 19:44:01 2606
原创 Hive 启动异常: java.net.URISyntaxException: Relative path in absolute URI:
Logging initialized using configuration in jar:file:/wls/apache-hive-1.2.1-bin/lib/hive-common-1.2.1.jar!/hive-log4j.propertiesException in thread "main" java.lang.RuntimeException: java.lang.Illega
2015-10-15 19:40:34 6298
转载 Linux rpm安装MySQL
1:查看操作系统信息##uname -a:准备软件包:MySQL-server-5.6.19-1.rhel5.x86_64.rpmMySQL-devel-5.6.19-1.rhel5.x86_64.rpmMySQL-client-5.6.19-1.rhel5.x86_64.rpm下载地址:http://dev.mysql.com/down
2015-10-15 18:43:50 489
转载 Spark SQL 1.3.0 DataFrame介绍、使用及提供了些完整的数据写入
DataFrame就易用性而言,对比传统的MapReduce API,说Spark的RDD API有了数量级的飞跃并不为过。然而,对于没有MapReduce和函数式编程经验的新手来说,RDD API仍然存在着一定的门槛。另一方面,数据科学家们所熟悉的R、Pandas等传统数据框架虽然提供了直观的API,却局限于单机处理,无法胜任大数据场景。为了解决这一矛盾,Spark SQL 1.3.0在
2015-10-15 10:45:17 1097
转载 Redhat Enterprise Linux 6.4 安装Oracle JDK替换OpenJDK
缺省java版本为OpenJDK 1.7:# java -versionjava version "1.7.0_09-icedtea"OpenJDK Runtime Environment (rhel-2.3.4.1.el6_3-x86_64)OpenJDK 64-Bit Server VM (build 23.2-b09, mixed mode) # upda
2015-10-14 18:45:14 979
转载 Hadoop生态系统介绍
1、Hadoop生态系统概况Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。Hadoop的核心是HDFS和Mapreduce,hadoop2.0还包括YARN。下图为hadoop的生态系统:2、HDFS(Hadoop分布式文件系统)源自于Google的GFS论文,发表于2003年10月,HDFS是GFS克隆版。是Hadoo
2015-10-13 15:41:30 595
转载 Spark On Yarn(HDFS HA)详细配置过程
一、服务器分布及相关说明1、服务器角色2、Hadoop(HDFS HA)总体架构 二、基础环境部署1、JDK安装http://download.oracle.com/otn-pub/java/jdk/7u45-b18/jdk-7u45-linux-x64.tar.gz# tar xvzf jdk-7u45-linux-x64.tar.gz -
2015-10-12 18:46:15 959
转载 hadoop 2.2.0集群安装
相关阅读:hbase 0.98.1集群安装本文将基于hadoop 2.2.0讲解其在linux集群上的安装方法,并对一些重要的设置项进行解释,本文原文链接:http://blog.csdn.net/bluishglc/article/details/24591185,转载请注明出处!1. 网络设置注意:以下各项网络配置务必前行执行,特别是关闭防火墙,以避
2015-10-07 21:28:17 524
转载 linux下修改ip地址,默认网关以及DNS
*修改IP地址 即时生效: ifconfig eth0 192.168.1.100 netmask 255.255.255.0 重启生效: vim /etc/sysconfig/network-scripts/ifcfg-eth0 --增加或者修改下面几行 BOOTPROTO=static IPADDR=192.168.1
2015-10-05 23:32:07 972
Apache Sqoop Cookbook
2014-08-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人