- 博客(40)
- 收藏
- 关注
原创 Hive设置转换任务相关配置参数
hive中选择数据并不一定都只能执行MapReduce任务。对于一些select原表的基本操作,可以通直接读出,不启动MapReduce。参数配置:hive.fetch.task.conversionminimal/none/morehive.fetch.task.conversion.threshold超过该大小时,查询转换成Fetch任务。
2017-03-19 16:07:35 812
原创 判断IP地址是否在某个指定的网段内
最近用到了判断IP地址是否在某个指定网段的功能。需求如下: 输入:给定IP地址网段起始IP网段结束IP 输出:给定IP是否在给定网段范围内。 思路: 一开始想到的是将IP进行split,逐个跟网段起始IP和结束IP比对,但是写完以后发现细节问题太多。后来参考mysql的 inet_aton(ip)方法将IP转换成数值形式之后再进行比较
2017-03-08 17:50:58 9414 1
原创 SparkLauncher 1.6 版本bug
简要介绍了SparkLauncher 类,并指出在Spark 1.6版本中其应用过程中相关类的一个Bug,该Bug目前在Spark 2.0中得到解决。
2016-12-12 22:47:34 2431
原创 Linux Shell 数组
最近在写一些Linux Shell脚本程序,使用了数组ARRAY,因此细看了一下数组的一些知识,参考一些比较清晰明了的文章,总结在本文。
2015-07-13 18:11:13 679
原创 Linux下定时任务配置-crontab
实际中经常有一些任务需要定期执行,人工操作比较麻烦,如果定时执行将会省去很多人力,还可以在一些资源占用不多的时间段执行,linux下crontab命令就实现了这一便捷的功能,实现脚本的自动化运行。常用的crontab命令参数: crontab -l:列出定时任务文件的内容 crontab -e:编辑定时任务文件的内容 crontab文件的格式:M H D m d cmd. 其中: * M
2015-07-10 16:08:47 812
原创 Pig基础学习【持续更新中】
本文参考了Pig官方文档以及已有的一些博客,并加上了自己的一些知识性的理解。目前正在持续更新中。Pig作为一种处理大规模数据的高级查询语言,底层是转换成MapReduce实现的,可以作为MapReduce的一种脚本语言,大大简化了对数据操作的代码。
2015-07-10 14:34:16 896
原创 3Sum——leetcode
Given an array S of n integers, are there elements a, b, c in S such that a + b + c = 0? Find all unique triplets in the array which gives the sum of zero.Note:Elements in a triplet (a,b,c
2015-02-05 16:56:02 575
原创 Reverse Integer
Reverse digits of an integer.Example1: x = 123, return 321Example2: x = -123, return -321此题看似简单,但有几种情况要注意:对于10这种数字的处理;对于溢出的处理。溢出不意味着ans_before解法一:采用x=reverse(reverse(x)) 的技巧判断是否溢出:public
2015-02-04 17:38:24 590
原创 Symmetric Tree
Given a binary tree, check whether it is a mirror of itself (ie, symmetric around its center).For example, this binary tree is symmetric: 1 / \ 2 2 / \ / \3 4 4 3But the f
2015-02-04 14:07:00 521
原创 Queue 的用法
对Queue 进队出队的使用不是很了解,刷题时想要直接用,所以查了一下。平时用的话用add 和remove 即可。Queue进队:boolean add(E e) //如果不会违反空间限制的话,插入指定对象e 到队列中,如果成功返回true,空间不够抛出异常。boolean offer(E e) //如果不会违反空间限制的话,插入指定对象e 到队列中。出队:E eleme
2015-02-04 12:28:46 605
原创 Compare Version Numbers
Compare two version numbers version1 and version1.If version1 > version2 return 1, if version1 version2 return -1, otherwise return 0.You may assume that the version strings are non-empty and co
2015-02-02 19:14:59 553
原创 Rotate Image
You are given an n x n 2D matrix representing an image.Rotate the image by 90 degrees (clockwise).Follow up:Could you do this in-place?public class Solution {//inplace solution publi
2015-01-30 09:39:18 478
原创 Singleton模式——对象创建型模式
Singleton模式即为单例模式/单件模式。(一)意图——保证一个类仅有一个实例,并提供一个访问它的全局访问点。如一台计算机可以有多个端口,但是应该统一管理这些端口,避免访问冲突。——选择Singleton模式就是为了避免不一致状态的发生。(二)动机一个全局变量使得一个对象可以被访问,但是它不能防止产生实例化多个对象。为解决以上问题,使类本身负责保存它的唯一实例,这个类保证没
2015-01-14 10:37:49 534
原创 Eclipse中使用maven构建web项目中遇到的问题
根据在Eclipse中使用maven构建web项目中遇到的问题,给出解决办法,以备以后使用。
2015-01-13 22:51:07 1134
原创 Bridge模式——对象结构型模式
今天看了Bridge模式,对其进行简单的总结,并给出几篇通俗易懂的文章链接。(一)意图——将抽象部分和它的实现部分分离,使它们都可以独立地变化。适用于从多维度描述的类型,拆解开来,使其能沿着各维度独立变化。脱耦。(二)动机——解决继承机制带来的不足。1)扩展抽象不方便。扩展时要重新定义一个新的类。2)继承机制使得客户代码需要重新编译。为解决以上两个问题,使用桥接的方式使得抽
2015-01-13 15:23:59 673
原创 spark 部署问题
spark的web UI 端口设置:spark-env.sh 中设置SPARK_MASTER_WEBUI_PORT 为自己想设置的端口号。
2014-11-25 22:56:27 530
原创 Reverse Words in a String
Given an input string, reverse the string word by word.For example,Given s = "the sky is blue",return "blue is sky the".开始这么写的:
2014-11-17 23:01:17 540
原创 Find Minimum in Rotated Sorted Array
package leetcode;/* * * 注意问题: * 1. 原序列升序、降序问题,两种情况都要考虑 * 2. 边界问题,如果只有两个元素时要单独考虑,在num[mid]==num[left]判断中考虑 * 3. 采用2叉查找的思想 * */public class findMinInRotatedSortedArray { public int findMin(int[]
2014-11-16 22:49:48 492
原创 Map.Entry用法示例
一般在HashMap中可以通过key值得到value值,以key作为检索项。Map.Entry可以作为条目的检索项。HashMap中有entrySet()方法,返回值是Set>,对于返回的条目集合,可使用迭代器访问每个条目的Key和Value值。Map.Entry中的主要方法:1、getKey() ,返回值是K;2、getValue(),返回值是V;3、setValue(V value),返回值是
2014-02-25 11:38:16 2017
原创 enum枚举类型的使用
修饰符为public static enum,不用加final,否则提示错误。枚举类的所有实例必须在枚举类中显式列出(,分隔,; 结尾)。列出的实例系统会自动添加 public static final 修饰。允许开发者给枚举类型增加任何方法和属性,也可以实现任意的接口,即枚举类型内可以有方法和属性。举例:public static enum State {
2014-02-14 09:07:20 682
原创 旧版API的TextInputFormat源码分析
TextInputFormat类package org.apache.hadoop.mapred;import java.io.*;import org.apache.hadoop.fs.*;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoo
2014-02-13 21:26:09 983
原创 block和split的理解
两者是从不同的角度来定义的:HDFS以固定大小的block为基本单位存储数据(分布式文件系统,实际存储角度,物理存储单位),而MapReduce以split作为处理单位(编程模型角度,逻辑单位)。对于文件中的一行记录,可能会划分到不同的block中,也可能划分到不同的split中。split是逻辑上的概念,它只包含一些元数据信息,比如数据起始位置、数据长度、数据所在节点等,它的划分方法完全
2014-02-13 11:38:32 2515
原创 XML Basic
XML声明:XML中属性的value值要被引号(单引号or双引号)引起来,如: Tove JaniXML元素中有,&,'," 时用实体引用:<less than>>greater than&&ersand''apostrophe""quotation mark如:if salary 错误;if salary < 10
2014-01-20 23:59:14 704
原创 安装配置hive中遇到的问题
1,mysql中添加用户名时总出现如下问题:ERROR 1290 (HY000): The MySQL server is running with the --skip-grant-tables option so it cannot execute this statement 解决办法:flush privileges; //新设置用户或更改密码后需要用该命令刷新mysql的
2013-10-13 14:47:08 753
原创 实战Hadoop中遇到的几个类、接口说明
1. Configuration :public 类型接口,这个接口包含的多数方法是进行与数据属性有关的操作。 几个方法: 1)addProperty(String key, Object value): Add a property to configuration 2)setProperty(String key, Object value): Set a pro
2013-09-22 22:33:25 841
原创 Hadoop中几个基本命令行命令
对HDFS操作的几个命令(必须是Hadoop命令,否则只是对本地操作)1. 查看HDFS中某个目录或文件的包含哪些文件和文件夹: bin/hadoop dfs/fs -ls 文件(夹)路径 若是非空文件夹,则为目录:查看结果显示目录下的文件和文件夹。 若是空文件夹:查看结果为空。 若是文件:查看结果为该文件本身信息。 对于查
2013-09-19 08:57:55 1021
原创 安装和配置Tomcat
今天第一个技术难题,说难也不难,被鄙视的彻彻底底。 理解上的问题纠正:Xftp里面我们看到的只是自己电脑上和集群里面的文件,集群里面有master 服务器和slaves 服务器 ,一个NameNode 和若干DataNodes 。前述与HDFS(Hadoop 分布式文件系统)是不同的,要查看HDFS 里面的内容可以进入到某个地址,是不是在master服务器上容我稍后再查看。
2013-09-12 22:10:39 641
原创 PAT (BL) 1001
链接:http://pat.zju.edu.cn/contests/pat-b-practise/1001 /*1001. 害死人不偿命的(3n+1)猜想 (15)卡拉兹(Callatz)猜想:对任何一个自然数n,如果它是偶数,那么把它砍掉一半;如果它是奇数,那么把(3n+1)砍掉一半。这样一直反复砍下去,最后一定在某一步得到n=1。卡拉兹在1950年的世界数学家大会上公布了这
2013-07-03 21:19:16 617
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人