- 博客(23)
- 资源 (179)
- 收藏
- 关注
RSS订阅转载 linux tcpdump命令以及结果分析
tcpdump能帮助我们捕捉并保存网络包，保存下来的网络包可用于分析网络负载情况，包可通过tcpdump命令解析，也可以保存成后缀为pcap的文件，使用wireshark等软件进行查看。1.针对特定网口抓包(-i选项)当我们不加任何选项执行tcpdump时，tcpdump将抓取通过所有网口的包；使用-i选项，我们可以在某个指定的网口抓包：linux:/tmp/lx #
2015-10-29 21:31:17
1754
转载 ehcache memcache redis 三大缓存男高音
最近项目组有用到这三个缓存，去各自的官方看了下,觉得还真的各有千秋！今天特意归纳下各个缓存的优缺点，仅供参考！ Ehcache在java项目广泛的使用。它是一个开源的、设计于提高在数据从RDBMS中取出来的高花费、高延迟采取的一种缓存方案。正因为Ehcache具有健壮性（基于java开发）、被认证（具有apache 2.0 license）、充满特色（稍后会详细介绍），所以被用于
2015-10-28 10:44:37
440
转载 模型Bean：Model Bean
在上一节是用apache的commons-modeler来开发的一个model，只不过commons-modeler帮助我们实现了很多的代码，而我们只需要写描述XML文件就行了。这一节，来一个实打实的Model Bean，不借助任何第三方工具包。例子还是沿用Hello这个类，以便于和以前的实现相比较。 一、Model MBean实例1、Hello.java还是和以前的一样。这里它没有再
2015-10-21 11:14:28
741
转载 用Apache的commons-modeler来辅助开发JMX
一、前言 每一个MBean都要有一个接口，比如前面的Hello要有一个HelloMBean接口。要多维护一个接口，的确是件麻烦的事。 Apache的commons-modeler利用JMX中的动态MBean原理很好的解决了这一问题，commons-modeler使用得我们可以只写Hello，而不用写HelloMBean这个接口。不过这是有代价的，它要求我们写一个mbean的xml描述文
2015-10-21 11:12:25
846
转载 动态MBean：DynamicMBean
一、前言 动态MBean是在运行期才定义它的属性和方法，也就是说它有什么属性和方法是可以动态改变的。动态MBean主要利用一些辅助类（构造函数类MBeanConstructorInfo、属性类MBeanAttributeInfo、方法类MBeanOperationInfo）来完成这个功能，所有的动态MBean必须实现DynamicMBean接口。DynamicMBean写好后，使用方法
2015-10-21 10:58:15
488
转载 Notification的使用
一、简介 Mbean之间的通信是必不可少的，Notification就起到了在Mbean之间沟通桥梁的作用。JMX notification 由四部分组成： * Notification 这个相当于一个信息包，封装了需要传递的信息 * Notification broadcaster 这相当于一个广播器，把消息广播出去 * Notification l
2015-10-21 10:56:24
602
转载 JMX简介
一、JMX简介 JMX是一种JAVA的正式规范，它主要目的是让程序且有被管理的功能，那么怎么理解所谓的“被管理”呢？试想你开发了一个软件（如ＷＥＢ网 站），它是在２４小时不简断运行的，那么你可能会想要“监控”这个软件的运行情况，比如收到了多少数据，有多少人登录等等。或者你又想“配置”这个软件， 比如现在访问人数比较多，你想把数据连接池设置得大一些。 当然，你也许会专门为这些管理
2015-10-21 10:53:08
517
转载 JMX的Hello World
1、JMX的Hello World 一、JMX简介 什么是JMX？在一篇网文中是这样说的："JMX(Java Management Extensions)是一个为应用程序植入管理功能的框架。JMX是一套标准的代理和服务，实际上，用户可以在任何Java应用程序中使用这些代理和服务实现管理"，这句话我现在看着还是不知所云，云里雾里。 我们还是从JMX能给我们提供什么好处入手
2015-10-21 10:50:52
471
转载 Kafka剖析：Kafka背景及架构介绍
Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展，“Kafka剖析”专栏将会从架构设计、实现、应用场景、性能等方面深度解析Kafka。背景介绍Kafka
2015-10-18 22:26:40
581
转载 Hbase 系统架构与数据结构
HBase中的表一般有这样的特点：1 大：一个表可以有上亿行，上百万列2 面向列:面向列(族)的存储和权限控制，列(族)独立检索。3 稀疏:对于为空(null)的列，并不占用存储空间，因此，表可以设计的非常稀疏。下面一幅图是Hbase在Hadoop Ecosystem中的位置。二、逻辑视图HBase以表的形
2015-10-16 13:25:48
608
转载 HBase 系统架构
HBase 系统架构图 组成部件说明 Client： 使用HBase RPC机制与HMaster和HRegionServer进行通信 Client与HMaster进行通信进行管理类操作 Client与HRegionServer进行数据读写类操作 Zookeeper： Zookeeper Quorum存储-ROOT-表地址、HMa
2015-10-16 13:21:52
431
转载 NoSQL数据库Redis系统性介绍
虽然Redis已经很火了，相信还是有很多同学对Redis只是有所听闻或者了解并不全面，下面是一个比较系统的Redis介绍，对Redis的特性及各种数据类型及操作进行了介绍。是一个很不错的Redis入门教程。 1.介绍 1.1 Redis是什么 REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储
2015-10-16 13:07:13
391
原创 Hive1.2.1 启动报错 ClassNotFoundException: org.apache.hadoop.hive.service.HiveServer
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]Exception in thread "main" java.lang.ClassNotFoundException: org.apache.hadoop.hive.service.HiveServer at java.net.URLCla
2015-10-15 20:24:11
5484
1
转载 hadoop1.2.1集群安装hive1.2.0，用mysql作为元数据库
安装Hive，有条件的同学可考虑用mysql作为元数据库安装（有一定难度，可以获得老师极度赞赏），安装完成后做简单SQL操作测试。安装环境：hadoop1.2.1集群安装MySQL:配置本地yum源，vi /etc/yum.repos.d/dvd.repoRedhat6.6添加如下内容：[dvd]
2015-10-15 20:16:35
1252
转载 apache-hive-1.2.1 安装与MYSQL配置
1.Hive简介 起源自facebook由Jeff Hammerbacher领导的团队 构建在Hadoop上的数据仓库框架 设计目的是让SQL技能良好，但Java技能较弱的分析师可以查询海量数据 2008年facebook把hive项目贡献给Apache Hive的组件与体系架构 用户接口：shell, thrift, web等 Th
2015-10-15 19:44:01
2606
原创 Hive 启动异常： java.net.URISyntaxException: Relative path in absolute URI:
Logging initialized using configuration in jar:file:/wls/apache-hive-1.2.1-bin/lib/hive-common-1.2.1.jar!/hive-log4j.propertiesException in thread "main" java.lang.RuntimeException: java.lang.Illega
2015-10-15 19:40:34
6298
转载 Linux rpm安装MySQL
1:查看操作系统信息##uname -a:准备软件包：MySQL-server-5.6.19-1.rhel5.x86_64.rpmMySQL-devel-5.6.19-1.rhel5.x86_64.rpmMySQL-client-5.6.19-1.rhel5.x86_64.rpm下载地址：http://dev.mysql.com/down
2015-10-15 18:43:50
487
转载 Spark SQL 1.3.0 DataFrame介绍、使用及提供了些完整的数据写入
DataFrame就易用性而言，对比传统的MapReduce API，说Spark的RDD API有了数量级的飞跃并不为过。然而，对于没有MapReduce和函数式编程经验的新手来说，RDD API仍然存在着一定的门槛。另一方面，数据科学家们所熟悉的R、Pandas等传统数据框架虽然提供了直观的API，却局限于单机处理，无法胜任大数据场景。为了解决这一矛盾，Spark SQL 1.3.0在
2015-10-15 10:45:17
1096
转载 Redhat Enterprise Linux 6.4 安装Oracle JDK替换OpenJDK
缺省java版本为OpenJDK 1.7:# java -versionjava version "1.7.0_09-icedtea"OpenJDK Runtime Environment (rhel-2.3.4.1.el6_3-x86_64)OpenJDK 64-Bit Server VM (build 23.2-b09, mixed mode) # upda
2015-10-14 18:45:14
979
转载 Hadoop生态系统介绍
1、Hadoop生态系统概况Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。下图为hadoop的生态系统：2、HDFS（Hadoop分布式文件系统）源自于Google的GFS论文，发表于2003年10月，HDFS是GFS克隆版。是Hadoo
2015-10-13 15:41:30
595
转载 Spark On Yarn(HDFS HA)详细配置过程
一、服务器分布及相关说明1、服务器角色2、Hadoop（HDFS HA）总体架构 二、基础环境部署1、JDK安装http://download.oracle.com/otn-pub/java/jdk/7u45-b18/jdk-7u45-linux-x64.tar.gz# tar xvzf jdk-7u45-linux-x64.tar.gz -
2015-10-12 18:46:15
958
转载 hadoop 2.2.0集群安装
相关阅读：hbase 0.98.1集群安装本文将基于hadoop 2.2.0讲解其在linux集群上的安装方法，并对一些重要的设置项进行解释，本文原文链接：http://blog.csdn.net/bluishglc/article/details/24591185，转载请注明出处！1. 网络设置注意：以下各项网络配置务必前行执行，特别是关闭防火墙，以避
2015-10-07 21:28:17
523
转载 linux下修改ip地址，默认网关以及DNS
*修改IP地址 即时生效： ifconfig eth0 192.168.1.100 netmask 255.255.255.0 重启生效： vim /etc/sysconfig/network-scripts/ifcfg-eth0 --增加或者修改下面几行 BOOTPROTO=static IPADDR=192.168.1
2015-10-05 23:32:07
971
Apache Sqoop Cookbook
2014-08-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人