2015年01月_zdp072

12月 11月 08月 05月 04月 03月 02月 01月

原创关于oracle触发器的两个小例子

今天接到一个任务，需要修改触发器，因为好久都没有看过关于oracle触发器的东东了，所以这里通过两个简单的小例子复习下触发器，以备忘。1. 案例一需求：建立触发器，判断员工工资，如果小于0，则改为0；如果大于10000，则改为10000建表：create table emp1( e_id number primary key not null, e_no number,

2015-01-30 16:25:56 1098

原创 python学习笔记(四) - 函数式编程

一. 高阶函数aaa二.返回函数aaa三.匿名函数aaa四.装饰器aaa五.偏函数aaa

2015-01-29 22:45:49 1455

原创 python学习笔记(三) - 高级特性

一. 切片a切片操作和java中的subList类似，就是获取一个子列表比如L=['zhangsan','lisi','wangwu'] 那么L[0, 2]表示从索引0开始取，直到索引2(不含2), 正好2个元素如果第一个索引为0, 还可以省略.下面我们创建一个0-99的数列: L = range(100)1. 获取前10个数: L[:10]2. 获取后10个数: L[-1

2015-01-29 17:39:25 1408

原创定时cronjob调用Java程序

一个部署在linux环境的Java企业应用后台经常会在大半夜运行很多定时的任务，本篇文章总结下如何使用shell脚本调用Java程序，以备忘。1. setupenv.shexport APP_HOME=`pwd`if [ -z "$JAVA_HOME" ] ; then JAVA=`which java` if [ -z "$JAVA" ] ; then echo "C

2015-01-29 11:34:10 1885

原创用存储过程批量更新表

最近做了一个需求，需要批量更新数据库表，但是因为涉及到的数据较多(千万条)，如果直接用sql更新，估计会把pl/sql弄垮sql如下：update online_product set online_flag = '0' where status = 'ON'所以，写了一个存储过程，以备忘：declare cursor product_id_list is select p

2015-01-29 09:28:06 4672 3

原创 python学习笔记(二) - 函数

一. 调用函数python内置了一些数据类型转换函数，比如int()函数可以把其他数据类型转换为整形>>> int('123')123>>> int(12.34)12>>> float('12.34')12.34>>> str(1.23)'1.23'>>> unicode(100)u'100'>>> bool(1)True>>> bool('')False函数名其

2015-01-28 21:36:02 1125 1

原创 python学习笔记(一) - 基础

一. 第一个小程序：python语法比较简单，采用缩进的方式，如下所示：a = 100if a >= 0: print aelse: print -a使用#进行注释，其他的每一行都是一个语句，当语句以冒号“:”结尾时，缩进的语句视为代码块。按照约定俗成，一般使用Tab键缩进，或按四个空格。注意：python程序是大小写敏感的。二.

2015-01-27 16:19:02 1281

原创小谈TreeMap

在有些业务处理中，我们需要对map的key进行排序，此时我们就需要使用TreeMap。1. TreeMap如不制定排序器，默认按照key值进行升序排序，如果制定了排序器，则按照制定的排序器进行排序。2. 如果需要按照我们自己的业务需求进行排序，那么就需要传入一个比较器。public class TreeMapTest { public static void main(Strin

2015-01-25 19:55:53 1194 1

原创 windows下使用eclipse开发hadoop

一. 配置hadoop插件1. 安装插件将hadoop-eclipse-plugin-1.1.2.jar复制到eclipse/plugins目录下，重启eclipse2. 打开MapReduce视图window -> open perspective -> other 选择Map/Reduce 图标是一个蓝色的象3. 添加一个MapReduce环境在eclipse下端，控制

2015-01-24 23:19:30 1080

原创 Think in Java(六)：接口

1. java中的多重继承在c++中，组合多个类的接口的行为被称为多重继承。在java中一个类只能继承一次，但可以实现多个接口，注意，继承必须写在实现前面2. 使用接口的核心原因：1) 为了能够向上转型为多个父类型（以及由此而带来的灵活性）2) 防止程序员创建该类的对象3. 策略设计模式：传递不同的StringProcessor实现类，将会分别做不同的事情

2015-01-24 19:56:43 895

原创 Think in Java(四)：复用类

1. 每一个非基本类型的对象都有一个toString方法，而且当编译器需要一个String而你却只有一个对象时，该方法便会被调用。public class SprinklerSystem { private String valve； public String toString() { value = "test"; return "valve = " + valve; }

2015-01-23 15:35:26 738

原创 hadoop(十三) - mahout安装与使用

一. mahout简介：Mahout 是一个很强大的数据挖掘工具，是一个分布式机器学习算法的集合，包括：被称为Taste的分布式协同过滤的实现、分类、聚类等。Mahout最大的优点就是基于hadoop实现，把很多以前运行于单机上的算法，转化为了MapReduce模式，这样大大提升了算法可处理的数据量和处理性能。以下为在mahout实现的机器学习算法：算法类

2015-01-12 22:54:10 6639

原创 IT行业智力测试题

一. 智力测试题：1. 有A、B、C、D四个人，要在夜里过一座桥。他们通过这座桥分别需要耗时1、2、5、10分钟，只有一支手电，并且同时最多只能两个人一起过桥。请问，如何安排，能够在17分钟内这四个人都过桥？答案:第一步:A(1)和B(2)过桥，A(1)返回 Cost：1+2第二步: C(5)和D(10)过桥，B(2)返回 Cost：10+2第三

2015-01-10 21:21:33 4868 1

原创海量数据处理十道题

第一部分：十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP 取出来，逐个写入到一个大文件中。注意到IP 是32 位的，最多有个2^32 个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000 个小文件，再找出每个小文中出现频率最大的IP（可以采用hash_map进行频率统计，然后再找出频率最大的几个

2015-01-10 20:54:16 937

原创 hadoop面试题整理(十二)

一. 问答题1.请说说hadoop1的HA如何实现？2.列举出hadoop中定义的最常用的InputFormats。那个是默认的？3.TextInputFormat和KeyValueInputFormat类之间的不同之处在于哪里？4.hadoop中的InputSplit是什么？5.hadoop框架中文件拆分是如何被触发的？6.

2015-01-10 20:30:53 1869

原创 hadoop面试题整理(十一)

1.hbase怎么预分区？2.hbase怎么给web前台提供接口来访问？3.htable API有没有线程安全问题，在程序中是单例还是多例？4.hbase有没有并发问题？5.metaq消息队列，zookeeper集群，storm集群，就可以完成对商城推荐系统功能吗？还有没有其他的中间件？6.storm 怎么完成对单词的计数？

2015-01-10 20:27:13 1797

原创 hadoop面试题整理(十)

1.一个网络商城1天大概产生多少G的日志？2.大概有多少条日志记录？3.日访问量大概有多少个？4.公司网站注册数大概多少？5.我们的日志是不是除了apache的访问日志是不是还有其他的日志？6.假设我们有其他的日志是不是可以对这个日志有其他的业务分析？这些业务分析都有什么？7.你们的服务器有多少台？服务器的内存多大？

2015-01-10 12:01:53 1982

原创 hadoop面试题整理(九)

1.文件大小默认为64M，改为128M有啥影响？2.RPC的原理？3.NameNode与SecondaryNameNode的区别与联系？4.介绍MadpReduce整个过程，比如把WordCount的例子的细节将清楚（重点讲解Shuffle）？5.MapReduce出现单点负载多大，怎么负载平衡？6.MapReduce怎么实现Top1

2015-01-10 11:23:02 2297

原创 hadoop面试题整理(八)

一.问答题1、map方法是如何调用reduce方法的？2、fsimage和edit的区别？3、hadoop1和hadoop2的区别？4、列举几个配置文件优化？5、写出你对zookeeper的理解6、datanode首次加入cluster的时候，如果log报告不兼容文件版本，那需要namenode执行格式化操作，这样处理的原因是

2015-01-09 17:14:11 1630

原创 hadoop面试题整理(七)

一. 问答题：1. 简单说说map端和reduce端溢写的细节2. hive的物理模型跟传统数据库有什么不同3. 描述一下hadoop机架感知4. 对于mahout，如何进行推荐、分类、聚类的代码二次开发分别实现那些接口5. 直接将时间戳作为行健，在写入单个region 时候会发生热点问题，为什么呢？二. 计算题：1. 比方:如今

2015-01-09 16:58:20 2072

原创 hadoop面试题整理(六)

一. 单选题1. 下面哪个程序负责 HDFS 数据存储。a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker答案：C datanode2. HDfS 中的 block 默认保存几份？a)3 份 b)2 份 c)1 份d)不确定答案:A 默认3份 3. 下列哪个程序通常与 N

2015-01-09 16:37:35 5408

原创 hadoop面试题整理(五)

一. 问答题1.hive如何调优？2.hive如何权限控制？3.hbase写数据的原理是什么？4.hive能像关系数据库那样，建多个库吗？5.hbase宕机如何处理？6.hive实现统计的查询语句是什么？7.生产环境中为什么建议使用外部表？8.hadoop mapreduce创建类DataWritable的

2015-01-09 16:05:10 2108

原创 hadoop面试题整理(四)

一. 问答题：1.用mapreduce实现sql语句select count(x) from a group by b？2.简述MapReduce大致流程，map -> shuffle -> reduce3.HDFS如何定位replica4.Hadoop参数调优: cluster level: JVM, map/reduce slots, job lev

2015-01-09 15:58:07 1958

原创 hadoop面试题整理(三)

一. 问答题1) datanode在什么情况下不会备份？2) hdfs的体系结构？3) sqoop在导入数据到mysql时，如何让数据不重复导入？如果存在数据问题sqoop如何处理？4) 请列举曾经修改过的/etc下的配置文件，并说明修改要解决的问题？5) 描述一下hadoop中，有哪些地方使用了缓存机制，作用分别是什么？二. 计算题：1、使用Hive或者自定义

2015-01-09 15:44:21 2672 2

原创 hadoop面试题整理(二)

1、Hive 内部表和外部表的区别？2、Hbase 的rowkey 怎么创建比较好？列族怎么创建比较好？3、用mapreduce 怎么处理数据倾斜问题？4、hadoop 框架中怎么来优化？5、Hbase 内部是什么机制？6、我们在开发分布式计算job 时是否可以去掉reduce()阶段？7、hdfs 的数据压缩算法

2015-01-09 14:15:55 3491

原创 hadoop(十二) - pig安装与使用

一. Pig简介：Pig可以看做hadoop的客户端软件，可以连接到hadoop集群进行数据分析工作。Pig方便不熟悉Java的用户，使用一种较为简便的类似于sql的面相数据流的语言Pig latin进行数据处理。Pig latin可以进行排序、过滤、求和、分组、关联等常用操作，还可以自定义函数，这是一种面向数据分析处理的轻量级脚本语言。Pig可以看做是Pig latin到map-

2015-01-07 22:10:30 1816

原创 hadoop面试题整理(一)

一. 问答题：1. 简单描述如何安装配置一个apache开源版hadoop，只描述即可，无需列出完整步骤，能列出步骤更好。2. 请列出正常工作的hadoop集群中hadoop都分别需要启动那些进程，他们的作用分别是什么，尽可能写的全面些。3. 加入一个新的存储节点和删除一个计算节点需要刷新集群状态命令。4. 请列出你所知道的hadoop调度器，并简要说明其工

2015-01-07 11:21:27 5786

原创 sql内连接、外连接和自连接查询

一. 前言：通常在项目中对表的查询都是关联多张表，多表查询就涉及到sql的内连接、外连接和自连接查询。本篇文章将简单的介绍这些sql连接的使用，希望对大家有所帮助。二. 数据准备：先准备两张表：1. 学生表：studentselect * from student;2. 教师表：teacherselect * from teacher;

2015-01-06 14:20:04 27516 4

原创 web.xml中url-pattern匹配规则

今天刚好要写一个验证用户是否登陆的过滤器，所以把web.xml中关于url-pattern的匹配规则重新熟悉了一下：一，servlet容器对url的匹配过程：当一个请求发送到servlet容器的时候，容器先会将请求的url减去当前应用上下文的路径作为servlet的映射url，比如我访问的是 http://localhost/test/aaa.html，我的应用上下文是test

2015-01-05 10:42:12 1438