- 博客(38)
- 资源 (2)
- 收藏
- 关注
转载 MapReduce之join和sort
MapReduce的Join#http://blog.csdn.net/a4342502cld/article/details/18841673MapReduce的Sort#http://blog.csdn.net/a4342502cld/article/details/18950777Hadoop Pipes & Streaming#http://blog.c
2015-04-29 13:12:47 434
转载 MapReduce之Recordreader组件
(1)以怎样的方式从分片中读取一条记录,每读取一条记录都会调用RecordReader类;(2)系统默认的RecordReader是LineRecordReader,如TextInputFormat;而SequenceFileInputFormat的RecordReader是SequenceFileRecordReader;(3)LineRecordReader是用每行的偏移量作为
2015-04-29 12:01:20 1185
转载 MapReduce之计数器
(1)计数器主要用来收集系统信息,以及相关作业的运行时候的统计数据,用于知道作业成功、失败等情况;(2)相比而言,计数器方式比日志更易于分析。内置计数器:(1)Hadoop内置的计数器,主要用来记录作业的执行情况(2)内置计数器包括MapReduce框架计数器(Map-Reduce Framework) ——文件系统计数器(
2015-04-29 11:59:33 1234
转载 hive学习笔记之配置MySQL数据库
默认情况下,Hive的元数据信息存储在内置的Derby数据中。Hive支持将元数据存储在MySQL中,配置过程如下:1.安装MySQL创建用户hadoop$ mysql -u root -pEnter password:进入MySQL后,mysql> CREATE USER 'hadoop'@'localhost' IDENTIFIED BY 'ha
2015-04-27 17:33:18 835
转载 hive学习笔记之配置MySQL数据库
1.Hive简介 起源自facebook由Jeff Hammerbacher领导的团队 构建在Hadoop上的数据仓库框架 设计目的是让SQL技能良好,但Java技能较弱的分析师可以查询海量数据 2008年facebook把hive项目贡献给Apache Hive的组件与体系架构 用户接口:shell, thrift, web等 Th
2015-04-27 17:28:59 676
转载 MySQL 新增、删除用户和权限分配-直接修改mysql.user表
1. 新增用户复制代码代码如下:mysql>insert into mysql.user(Host,User,Password) values("localhost","lionbule",password("hello1234"));mysql>flush privileges;2. 修改用户密码复制代码代码如下:m
2015-04-27 17:24:10 1220
转载 Linux命令之crontab定时任务执行
基本格式 : * * * * * command 分 时 日 月 周 命令 第1列表示分钟1~59 每分钟用*或者 */1表示 第2列表示小时1~23(0表示0点) 第3列表示日期1~31 第4列表示月份1~12 第5列标识号星期0~6(0表示星期天) 第6列要运行的命令 crontab文件的一些例子: 30 21 * * * /usr/local
2015-04-27 16:58:18 467
转载 Linux之yum命令的使用总结
yum(全称为 Yellow dog Updater, Modified)是一个在Fedora和RedHat以及SUSE中的Shell前端软件包管理器。基於RPM包管理,能够从指定的服务器自动下载RPM包并且安装,可以自动处理依赖性关系,并且一次安装所有依赖的软体包,无须繁琐地一次次下载、安装。yum提供了查找、安装、删除某一个、一组甚至全部软件包的命令,而且命令简洁而又好记。yum的命令
2015-04-27 12:01:42 466
转载 python升级导致yum命令无法使用的解决办法
1、报错信息如下:[plain][root@develop bin]# yum [root@develop local]# yum -y install prce There was a problem importing one of the Python modules required to run yum. The error
2015-04-27 11:25:58 1256
转载 Python的lambda匿名函数
lambda函数也叫匿名函数,即,函数没有具体的名称。先来看一个最简单例子:参考:http://www.cnblogs.com/coderzh/archive/2010/04/30/python-cookbook-lambda.htmldef f(x):return x**2print f(4)Python中使用lambda的话,写成这样g = lamb
2015-04-24 17:57:28 479
转载 Python定义函数
1.1 定义函数基础参考:http://www.cnblogs.com/xuqiang/archive/2011/04/22/2025276.html# define the functiondef fib(n): # print the Fibonacci series up to n. a, b = 0, 1; whil
2015-04-24 17:54:54 509
转载 Python的函数返回值
Python的函数返回值最近学一些Python的基本用法,看到定义函数,发现似乎只能返回一个返回值,想想matlab里返回多个返回值多方便啊,网上查了查,看到有返回多个值的方法。参考:http://www.cnblogs.com/tqsummer/archive/2011/01/25/1944382.html python 函数返回值有两种形式:1 返回
2015-04-24 17:53:04 1023
转载 Python连接及操作MySQL数据库
坚持每天学一点,每天积累一点点,作为自己每天的业余收获,利用自己零散的时间学了一下python操作MYSQL,所以整理一下。我采用的是MySQLdb操作的MYSQL数据库。先来一个简单的例子吧:12345678910import MySQLdb try
2015-04-24 13:28:36 683
转载 Linux命令之stat命令、inode内容--ctime,mtime,atime的区别
#1. [root@localhost tmp]# stat 1.txt File: `1.txt' Size: 8 Blocks: 8 IO Block: 4096 regular fileDevice: 802h/2050d Inode: 196617 Links: 1Access: (0644/-rw
2015-04-23 12:03:22 2507
转载 Linux命令之find命令中的mtime-ctime-atime应用总结
有同事问起find命令中-mtime n、-mtime –n以及-mtime +n的用法区别,当时虽然记得这里n是n个24个小时的意思;也是对所有这几个属性详细的用法却一知半解,索性周末仔细google并且实践了一番,终于理清楚了个中乾坤。find . –atime n find . –ctimen find . –mtime nfind .
2015-04-23 11:59:46 709
转载 Linux命令之find命令中的-mtime参数
有关find -mtime这个参数的使用确实是我以前犯过错误。今天又有人问到我这个问题,我觉得有必要把这个问题在这里记录下来。##mtime参数的理解应该如下:-mtime n 按照文件的更改时间来找文件,n为整数。n表示文件更改时间距离为n天, -n表示文件更改时间距离在n天以内,+n表示文件更改时间距离在n天以前。例如:-mtime 0 表示文件修改时间
2015-04-23 11:55:59 21454
转载 Play之Scala-Web项目运行流程-简单分析(3)
(2)中只是对简单的流程进行了分析,并没有涉及到play模板的内容,本文就是针对模板概念力图阐述现在几乎每个web语言都会有这样那样的模板供你选择,如果你曾经使用过任何一种模板,我想模板这个概念你能很清晰的阐明,我借用类与对象的关系进行阐述:模板的功能就是将(含有模板元素的)页面实例化输出。每个人对模板的概念都不一而同,但模板干的事情几乎都是一致的--渲染页面!Play的模板在
2015-04-22 14:26:19 1844
转载 Play之Scala-Web项目运行流程-简单分析(2)
接着上次的分析,我们分析此Play工程的目录结构和运行流程。为了方便开发,我们将此工程转化为Eclipse项目,然后通过sftp下载到本地并导入到Eclipse里分析!如果您的项目还在运行,就关了(通过Ctr+C吧)它,然后进入play命令行下:?1234567891
2015-04-22 14:25:09 969
转载 Play之Scala-Web项目运行流程-简单分析(1)
简单创建并运行此工程开发环境为Linux,play和插件预先按照的,目前只是针对用Play生成的最简单项目的最简单分析,适合刚入门的同学。?12新建工程[当前workspace]# /opt/play-2.2.2/playnewproject_name其中/o
2015-04-22 14:21:45 1370
转载 Mysql ERROR 1040 (HY000): Too many connections解决
Mysql ERROR 1040 (HY000): Too many connections解决#From: http://www.2cto.com/database/201306/218126.html#1、问题描述:连接数据库出现Too Many Connections 错误,2、问题定位步骤: 1、mysql -u root -
2015-04-22 11:38:56 10729
转载 Memcached-学习(四)应对高并发攻击
近半个月过得很痛苦,主要是产品上线后,引来无数机器用户恶意攻击,不停的刷新产品各个服务入口,制造垃圾数据,消耗资源。他们的最好成绩,1秒钟可以并发6次,赶在Database入库前,Cache进行Missing Loading前,强占这其中十几毫秒的时间,进行恶意攻击。 相关链接: Memcached笔记——(一)安装&常规错误&监控 Memcached笔记——(二)XMem
2015-04-21 14:25:57 566
转载 Memcached学习(三)Memcached使用总结
为了将N个前端数据同步,通过Memcached完成数据打通,但带来了一些新问题: 使用iBatis整合了Memcached,iBatis针对每台server生成了唯一标识,导致同一份数据sql会产生不同的key,造成重复缓存。——通过重写iBatis部分原码,终止了唯一标识的生成,同一个SQL产生同一个Key,同时对生成key做hash,控制长度,使得数据统一在Memcached。为了迎合
2015-04-21 14:24:54 530
转载 Memcached-学习(二)XMemcached&Spring集成
今天研究Memcached的Java的Client,使用XMemcached 1.3.5,做个简单的测试,并介绍如何与Spring集成。 相关链接: Memcached笔记——(一)安装&常规错误&监控 Memcached笔记——(二)XMemcached&Spring集成 Memcached笔记——(三)Memcached使用总结 Memcached笔记——(四)应对
2015-04-21 14:24:22 433
转载 Memcached-学习(一)安装&常规错误&监控
#From: http://snowolf.iteye.com/blog/144734808年的时候接触过Memcached,当时还对它的客户端产品嗤之以鼻,毕竟手工代码没有各种ORM原生XML配置方便。尽管如此,Memcached现在已经成了服务器架构里不可或缺的一部分! 相关链接: Memcached笔记——(一)安装&常规错误&监控 Memcached笔记——(二)XMe
2015-04-21 14:22:16 432
转载 Http1.1中的Transfer-Encoding和Content-Encoding及Content-Type整理
原意是想对输出的内容进行编码,却用错了响应头,结果这个错误的响应头对后面的客户端程序带来了许多麻烦。这里有必要对这个这块的内容进行详细地了解。#[1]. 传输数据编码:Transfer-Encoding 数据编码,即表示数据在网络传输当中,使用怎么样的保证方式来保证数据是安全成功地传输处理。可以是分段传输,也可以是不分段,直接使用原数据进行传输。 有效的值为:trunked 和 i
2015-04-15 15:05:58 3093
转载 Http1.1协议中返回内容中的Transfer-Encoding的作用
#Transfer-Encoding 的作用#通过HTTP传送数据时,有些时候并不能事先确定body的长度,因此无法得到Content-Length的值, 就不能在header中指定Content-Length了,造成的最直接的影响就是:接收方无法通过Content-Length得到报文体的长度。#那怎么判断发送方发送完毕了呢?HTTP 1.1协议在header中引入了Tr
2015-04-15 14:59:06 1571
转载 浏览器Cookies数量及大小限制
cookie对一个大网站来说是很重要的,网站用来存用户登录信息,电商用来存订单信息,等等分析也会用到cookie信息,就连联盟也是靠cookie的,但浏览器对cookie数量和大小有限制的!如果超过了这个限制,你的信息将丢失,你知道吗?下面看看这些限制:一、一个域名下可以有多少个cookiefirefox 3.6可以存150个cook
2015-04-11 15:49:49 13066
转载 Web.xml 中的listener、 filter、servlet 加载顺序及其详解
web.xml 中的listener、 filter、servlet 加载顺序及其详解在项目中总会遇到一些关于加载的优先级问题,刚刚就遇到了一个问题,由于项目中使用了quartz任务调度,quartz在web.xml中是使用listener进行监听的,使得在tomcat启动的时候能马上检查数据库查看那些任务未被按时执行,而数据库的配置信息在是在web.xml中使用servlet配置的,导致
2015-04-08 15:36:40 440
转载 Web环境下Quartz配置实例及问题总结【二】Servlet+Quartz
#B/S下的Quartz应用配置涉及到三个文件:#1.配置启动Quartz服务的web.xml;[html] view plaincopy servlet> servlet-name> QuartzInitializer servlet-n
2015-04-08 15:12:36 842
转载 Spring中整合Quartz插件【一】基于MethodInvokingJobDetailFactoryBean实现任务管理
1.引入除spring.jar外的Quartz的jar包quartz-all-1.8.6.jar2.任务类 QuartzJob?1234567891011121314publicclass QuartzJob {
2015-04-08 14:21:04 810
转载 Spring整合quartz配置【一】基于MethodInvokingJobDetailFactoryBean实现任务管理
##[一] quartz Jar包quartz-all-1.8.6.jar 在官网可以下载,不知道的请百度下下。##[二] Spring配置文件[html] view plaincopybean id="jobDetail" class="com.zsj.shop.utils.MethodInvokingJobDeta
2015-04-08 14:17:54 1567
转载 [Web]Servlet中使用Quartz【二】基于配置文件和jobs.xml触发任务执行
#采用配置文件quartz.properties结合quartz_jobs.xml文件的方式来执行Quartz调度:#1、所需的第三方包commons-beanutils.jarcommons-collections-3.2.jarcommons-digester.jarcommons-logging.jarjta.jarquar
2015-04-08 14:14:47 3636
转载 Quartz+Spring实例应用【一】基于Spring的MethodInvokingJobDetailFactoryBean实现
经过一晚上的研究终于弄出Spring+Quartz 的例子。#1. javabean类, 在test.QuartzJob中 package test; public class QuartzJob { public void work(){ System.out.println("Quartz的任务调度!!!"); } }
2015-04-08 13:57:19 790
转载 Quartz-Spring[一]之MethodInvokingJobDetailFactoryBean方法
#什么是动态定时任务:是由客户制定生成的,服务端只知道该去执行什么任务,但任务的定时是不确定的(是由客户制定)。这样总不能修改配置文件每定制个定时任务就增加一个trigger吧,即便允许客户修改配置文件,但总需要重新启动web服务啊,研究了下Quartz在Spring中的动态定时,发现: cronExpression是关键,如果可以动态设置cronExpression的值,也就说如果我
2015-04-07 19:37:56 3682
转载 Quartz-Spring[一]之MethodInvokingJobDetailFactoryBean配置任务
Spring中使用Quartz的3种方法(MethodInvokingJobDetailFactoryBean,implements Job,extends QuartzJobBean)#动态启动,暂定,添加,删除定时功能,可传参数Quartz是一个强大的企业级任务调度框架,Spring中继承并简化了Quartz,下面就看看在Spring中怎样配置Quartz:首先我们来写一个
2015-04-07 19:34:05 11672 3
转载 Java-Servlet之过滤器Filter
一、过滤器1.1定义过滤器是一个服务器端的组件,它可以截取用户端的请求与响应信息,并对这些信息进行过滤。1.2工作原理1、项目启动时,从Web容器中加载过滤器;2、过滤器存在于用户请求和Web资源之间;3、用户请求和Web响应之间的收发都经由过滤器按照过滤规则进行过滤筛选。1.3过滤器的生命周期实例化(web.xml加载)→初始化(i
2015-04-07 19:25:51 619
转载 SELECT INTO 和 INSERT INTO SELECT 两种表复制语句
SELECT INTO 和 INSERT INTO SELECT 两种表复制语句 Insert是T-sql中常用语句,Insert INTO table(field1,field2,...) values(value1,value2,...)这种形式的在应用程序开发中必不可少。但我们在开发、测试过程中,经常会遇到需要表复制的情况,如将一个table1的数据的部分字段复制到
2015-04-07 19:01:05 398
转载 Quartz之QuartzInitializerServlet
问题:我想在应用程序启动之后去执行任务怎么办呢! Quartz:使用QuartzInitializerServlet可满足需要 参考资料 1 Quartz调度框架应用总结 http://java.chinaitlab.com/advance/752064_3.html 2 Integrating quartz in a web application http://www.
2015-04-07 18:56:12 2705
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人