- 博客(100)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Flume(NG)架构设计要点及配置实践 Flume NG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集
Flume(NG)架构设计要点及配置实践Flume NG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。经过架构重构后，Flume NG更像是一个轻量的小工具，非常简单，容易适应各种方式日志收集，并支持fa
2017-11-16 07:36:04
667
原创 hive 使用udf函数实现数据导入到mysql
利用hive内置的hive-contrib 来实现udf导入mysql，同时还需要mysql驱动包例子：add jar /usr/local/hive-0.13.1b/hive-contrib-0.13.1.jar;add jar /usr/local/hive-0.13.1b/mysql-connector-java-5.1.32-bin.jar;create tem
2015-08-17 09:54:04
1233
转载 Hive自定义UDAF详解
Hive自定义UDAF详解 遇到一个Hive需求：有A、B、C三列，按A列进行聚合，求出C列聚合后的最小值和最大值各自对应的B列值。这个需求用hql和内建函数也可完成，但是比较繁琐，会解析成几个MR进行执行，如果自定义UDAF便可只利用一个MR完成任务。 所用Hive为0.13.1版本。UDAF有两种，第一种是比较简单的形式
2015-08-17 09:42:44
1336
转载 Hive元数据解析
转自 ： http://www.2cto.com/database/201311/255627.htmlHive元数据解析Hive元数据解析 本文是笔者初步整理的Hive元数据表，有不准确的地方请轻拍，后续我会补充.1. Hive 0.11 元数据表汇总线上Hive 0.11 metastore包括下述39个表，主要分为以下几类 ：
2015-08-17 09:40:21
593
转载 hive 数据导入的四种方法
问题导读1.从本地文件系统中通过什么命令可导入数据到Hive表？2.什么是动态分区插入？3.该如何实现动态分区插入？扩展：这里可以和Hive中的三种不同的数据导出方式介绍进行对比？Hive的几种常见的数据导入方式这里介绍四种：（1）、从本地文件系统中导入数据到Hive表；（2）、从HDFS上导入数据到Hive表；（3）、从别的表中
2015-08-17 09:38:47
759
转载 深入学习Tomcat----自己动手写服务器（附服务器源码）
深入学习Tomcat----自己动手写服务器（附服务器源码）转自：http://blog.csdn.net/beijiguangyong/article/details/7439352#comments相信大多Web开发者对Tomcat是非常熟悉的，众所周知Tomcat是一款非常好用的开源Servlet容器，您一定对这个最流行的Servlet容器充满好奇，虽然它并不像一
2015-08-03 11:11:25
497
转载 spring中的设计模式
转自：http://ylsun1113.iteye.com/blog/828542我对设计模式的理解： 应该说设计模式是我们在写代码时候的一种被承认的较好的模式，就像一种宗教信仰一样，大多数人承认的时候，你就要跟随，如果你想当一个社会存在的话。好的设计模式就像是给代码造了一个很好的骨架，在这个骨架里，你可以知道心在哪里，肺在哪里，因为大多数人都认识这样的骨架，就有了很好的传播性。这是从易读
2015-08-02 17:59:09
464
转载 用反射和内省技术实现简单 SpringIOC
转自：http://blog.csdn.net/newjueqi/archive/2009/06/03/4238602.aspx【文章标题】用反射和内省技术实现简单 SpringIOC【文章作者】曾健生【作者邮箱】 [email protected]【作者 QQ 】 190678908【作者博客】 http://blog.csdn.net/newjueqi【作者声
2015-08-02 17:57:48
485
转载 struts2拦截器(JDK反射,JDK动态代理)
struts2拦截器(JDK反射,JDK动态代理)拦截器的意义： 大家都知道，DRY（Don't Repeat Yourself，不要书写重复的代码）规则是软件开发过程中的一条重要法则，遵守该规则所开发出来的系统将会具有较好的可维护性。拦截器思想与此也是有相似点的，可以这样理解：拦截器是对调用方法的改进。实际上，当称某个实例是一个拦截器时，这是就其行为上而言；但从代码角度
2015-08-02 17:55:08
607
转载 搭建MySql的Master/Slave架构
搭建MySql的Master/Slave架构 随着访问量的增加，对于一些比较耗时的数据库读取操作，一般采用将写入与读取操作分开来缓解数据库的压力，数据库引擎一般采用Master/Slave架构。虽然这种架构不能从根本上解决数据库的失败设计，但对于数据库的性能优化还是可以起到一些的作用的，特别是对于MySql，读取的时候，没有像SQL Server的unlock操作。 为了搭建一个Maste
2015-07-31 17:09:00
481
转载 MySQL之Master-Master配置
MySQL之Master-Master配置 2013-01-08 14:11:57 分类： Mysql/postgreSQLMicrosoftInternetExplorer402DocumentNotSpecified7.8Normal0 近期在测试MySQL双主多个slave架构，利用keepavlied实现自动切换Master。主要工作有： 1、MySQL Mater-Mas
2015-07-31 17:06:50
469
原创 Spring+Redis集成+关系型数据库持久化
Spring+Redis集成+关系型数据库持久化本篇文章主要介绍了"Spring+Redis集成+关系型数据库持久化"，主要涉及到Spring+Redis集成+关系型数据库持久化方面的内容，对于Spring+Redis集成+关系型数据库持久化感兴趣的同学可以参考一下。最近研究Spring-Redis集成的问题，在网上搜了很多，但是都是没有营养的资料，最后根据Spring和R
2015-07-30 14:51:49
574
原创 Nginx + Tomcat 动静分离
nginx.conf配置 user www www; worker_processes 8; error_log /usr/local/nginx/logs/nginx_error.log crit; pid /usr/local/nginx/nginx.pid;
2015-07-30 14:50:05
356
转载 Linux的用户和用户组管理
Linux的用户和用户组管理 Linux是个多用户多任务的分时操作系统，所有一个要使用系统资源的用户都必须先向系统管理员申请一个账号，然后以这个账号的身份进入系统。用户的账号一方面能帮助系统管理员对使用系统的用户进行跟踪，并控制他们对系统资源的访问；另一方面也能帮助用户组织文件，并为用户提供安全性保护。每个用户账号都拥有一个惟一的用户名和用户口令。用户在登录时键入正确的用户名和口令后，才能进入
2015-07-30 14:48:18
342
转载 nfs网络文件系统
通过NFS可以将远程主机的目录（ARP1：/ora1159）挂装（Mount）为本地主机的一个目录（ARP2：/home1），如同存取本机文件一样，存取远程主机的文件。具体设置包括远程主机和本地主机的设置：1.远程主机以root用户登陆ARP1。确保portmap进程工作。运行命令ps -aux|grep portmap应显示portmap的进程信息。否则运行命令/stc/
2015-07-30 14:47:54
325
原创 Apache 配置虚拟主机三种方式
Apache 配置虚拟主机三种方式 一、基于IP 1. 假设服务器有个IP地址为192.168.1.10，使用ifconfig在同一个网络接口eth0上绑定3个IP：[root@localhost root]# ifconfig eth0:1 192.168.1.11[root@localhost root]# ifconfig eth0:2 192.168.1.12[root
2015-07-30 14:47:12
477
原创 LVS+keepalived负载均衡
LVS+keepalived负载均衡 背景: 随着你的网站业务量的增长你网站的服务器压力越来越大？需要负载均衡方案！商业的硬件如F5又太贵，你们又是创业型互联公司如何有效节约成本，节省不必要 的浪费？同时实现商业硬件一样的高性能高可用的功能？有什么好的负载均衡可伸张可扩展的方案吗？答案是肯定的！有！我们利用 LVS+Keepalived基于完整开源软件的架构可以为你提供一个
2015-07-30 14:46:02
355
原创 Lvs负载均衡（dr模式）
1.安装Lvs 安装ipvsadm工具yum -y install ipvsadm 2.先进行保存再进行启动service ipvsadm saveservice ipvsadm start 3.打开路由转发功能，并启动生效。vi /etc/sysctl.conf 4.sysctl -P 报错问题error: "n
2015-07-29 17:21:39
622
原创 Nginx + tomcat + memcache （负载均衡+session共存）
Nginx + tomcat + memcache （负载均衡+session共存）一、 Nginx + tomcat负载均衡配置（4步）1. 为yum增加epel的源，命令：yum install epel-release 回车2.安装 nginx (yum之前必须有epel源，勿漏)：yum install nginx3.配置nginx负载均衡器
2015-07-29 17:11:35
670
原创 JVM学习笔记（第一天）
一、Java内存区域与内存溢出学习目的：解决内存溢出与内存泄露1、运行时数据区域五大区域：程序计数器（Program Counter Register）： 描述：可以看作当前线程所执行的字节码的行号指示器 作用：通过改变计数器的值来实现改变一条需要执行的字节码指令，分支，循环，跳转，异常处理，线程恢复等基础功能
2015-07-29 16:51:06
471
原创 Scala学习——资源整理
模式匹配话说模式匹配(1) 什么是模式？http://hongjiang.info/scala-pattern-matching-1/话说模式匹配(2) scala里是怎么实现的? http://hongjiang.info/scala-pattern-matching-2/话说模式匹配(3) 模式匹配的核心功能是解构！http://hongjiang.info/scala
2015-07-28 18:40:43
538
原创 python时间函数和常用格式化
python时间函数和常用格式化使用之前import：import time,datetime下面的函数在python2.7里可以正常运行，但python2.4可能不支持某些方法。比如python2.4.3中报错：AttributeError: type object 'datetime.datetime' has no attribute 'str
2015-07-28 18:36:59
503
转载 Linux下RPM软件包的安装及卸载
Linux下RPM软件包的安装及卸载在 Linux 操作系统下，几乎所有的软件均通过RPM 进行安装、卸载及管理等操作。RPM 的全称为Redhat Package Manager ，是由Redhat 公司提出的，用于管理Linux 下软件包的软件。Linux 安装时......AD：在 Linux 操作系统下，几乎所有的软件均通过RPM 进行安
2015-07-27 14:35:01
347
转载 rpm打包整理
首先介绍下RPMRPM 是 Red Hat Package Manager 的缩写，原意是Red Hat 软件包管理。 这里先介绍一下RPM的一些用法。查询功能： 1、对系统中已经安装的软件查询：rpm -q softwarename 2、查询系统中已安装的包：rpm -qa [softwarename] 3、查询已安装软件包都安装到何处：rpm -
2015-07-27 14:34:33
1408
转载 JVM 入门
JVM性能优化（一）JVM技术入门作者 Eva Andreasson 译者：赵峰 校对：方腾飞 原文链接Java应用程序是运行在JVM上的，但是你对JVM技术了解吗？这篇文章（这个系列的第一部分）讲述了经典Java虚拟机是怎么样工作的，例如：Java一次编写的利弊，跨平台引擎，垃圾回收基础知识，经典的GC算法和编译优化。之后的文章会讲JVM性能优化，包括最新的JVM设计——支持当今
2015-07-27 14:30:57
632
原创 MapReduce的模式、算法和用例
MapReduce的模式、算法和用例转自：http://blog.jobbole.com/33967/英文原文：MapReduce Patterns, Algorithms, and Use Cases，编译：juliashine在这篇文章里总结了几种网上或者论文中常见的MapReduce模式和算法，并系统化的解释了这些技术的不同之处。所有描述性的文字和代码都使用了
2015-07-24 16:01:25
408
原创 Hadoop中MapReduce多种join实现实例分析
【博文推荐】Hadoop中MapReduce多种join实现实例分析本文主要对MapReduce框架对表之间的join操作的几种实现方式进行详细分析，并且根据我在实际开发过程中遇到的实际例子来进行进一步的说明。AD：51CTO移动APP安全沙龙！马上要爆满，手慢没座位！本博文出自51CTO博客 zengzhaozheng博
2015-07-24 15:57:35
472
转载 国内、国外Hadoop的应用现状（转）
国内、国外Hadoop的应用现状本文节选自《Hadoop核心技术》一书。翟周伟著，由机械工业出版社华章公司，2015年4月出版。 写在前面：本文给出了国内、国外Hadoop的应用现状，很多数据是比较旧的了，现在也许已经发生了重大变化（比如阿里已经转而使用自己内部的阿里云平台），但对于那些正在选型的技术人员而言，仍具有较高的参考价值。 摘要：Hadoop是一个开源的高效云计算基础
2015-07-24 15:54:59
4021
原创 hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比（转）
hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比问题导读：1.DataNode的http服务的端口、ipc服务的端口分别是哪个？2.NameNode的http服务的端口、ipc服务的端口分别是哪个？3.journalnode的http服务的端口、ipc服务的端口分别是哪个？4.ResourceManager的http
2015-07-24 15:53:10
666
原创 sqoop的安装与使用
sqoop的安装与使用阅读目录1、列出mysql数据库中的所有数据库2、连接mysql并列出数据库中的表3、将关系型数据的表结构复制到hive中4、将数据从关系数据库导入文件到hive表中5、将hive中的表数据导入到mysql数据库表中6、将数据从关系数据库导入文件到hive表中，--query 语句使用7、将数据从关系数据库导入文件到hive表中，--columns
2015-07-24 15:47:57
429
原创 利用sqoop将hive数据导入导出数据到mysql
利用sqoop将hive数据导入导出数据到mysql运行环境 centos 5.6 hadoop hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具在使用过程中可能遇到的问题：sqoop依赖zookeeper，所以必须配置ZOOKEEPER_HOME到环境变量中。sq
2015-07-24 15:46:13
1053
原创 Memcached常用命令及使用说明
Memcached常用命令及使用说明一、存储命令存储命令的格式：12 参数说明如下：set/add/replace查找关键字客户机使用它存储关于键值对的额外信息该数据的存活时间，0表示永远
2015-07-24 15:20:40
447
原创 在Linux上安装Memcached服务（转）
在Linux上安装Memcached服务（转）2011-08-10 20:01 by 周国选, 38952 阅读, 8 评论, 收藏, 编辑下载并安装Memcache服务器端服务器端主要是安装memcache服务器端.下载：http://www.danga.com/memcached/dist/memcached-1.2.2.tar.gz另外，Memcache用到了li
2015-07-24 15:14:14
324
原创 Storm UI各个指标详解
Storm UI本文主要解释下storm ui上各项属性的含义。1. mainpage 首页主要分为3块: a. Cluster Summary Nimbus uptime: nimbus的启动时间 Supervisors: storm集群中supervisor的数目 used slots: 使用了的slots数 free slo
2015-07-24 15:11:51
5729
1
原创 Jedis “Socket读取超时”导致“返回值类型错误”
从异常信息来看，首先是在'zadd'操作时出现"Socket读取超时异常"，具体异常信息"JedisConnectionException: java.net.SocketTimeoutException: Read timed out"。出现异常后，会销毁这个阻塞的Jedis连接池对象（CustomShardedJedisPool.returnBrokenResource(Custo
2015-07-24 15:10:18
2836
原创 Java开发中的23种设计模式详解(转)
Java开发中的23种设计模式详解(转)设计模式（Design Patterns） ——可复用面向对象软件的基础设计模式（Design pattern）是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结。使用设计模式是为了可重用代码、让代码更容易被他人理解、保证代码可靠性。 毫无疑
2015-07-24 15:06:28
359
原创 算法之排序算法
1. 概述排序算法是计算机技术中最基本的算法，许多复杂算法都会用到排序。尽管各种排序算法都已被封装成库函数供程序员使用，但了解排序算法的思想和原理，对于编写高质量的软件，显得非常重要。本文介绍了常见的排序算法，从算法思想，复杂度和使用场景等方面做了总结。2. 几个概念（1）排序稳定：如果两个数相同，对他们进行的排序结果为他们的相对顺序不变。例如A={1,2,1,2,
2015-07-23 08:57:35
341
原创 数据结构与算法汇总
1、常见数据结构线性：数组，链表，队列，堆栈，块状数组（数组+链表），hash表，双端队列，位图（bitmap）树：堆（大顶堆、小顶堆），trie树（字母树or字典树），后缀树，后缀树组，二叉排序/查找树，B+/B-，AVL树，Treap，红黑树，splay树，线段树，树状数组图：图其它：并查集2、常见算法（1） 基本思想：枚举，
2015-07-23 08:48:29
397
转载 Hadoop 新 MapReduce 框架 Yarn 详解
Hadoop MapReduceV2(Yarn) 框架简介原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考 Hadoop 官方简介。使用和学习过老 Hadoop 框架（0.20.0 及之前版本）的同仁应该很熟悉如下的原 MapRed
2015-07-22 16:06:01
420
转载 Hadoop YARN配置参数剖析(1)—RM与NM相关参数
注意，配置这些参数前，应充分理解这几个参数的含义，以防止误配给集群带来的隐患。另外，这些参数均需要在yarn-site.xml中配置。1. ResourceManager相关配置参数（1） yarn.resourcemanager.address参数解释：ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序，杀死应用程序等。默认值：${yarn.
2015-07-22 16:05:12
385
Spark——大型集群上的快速和通用数据处理架构pdf
2015-07-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人