- 博客(31)
- 收藏
- 关注
RSS订阅转载 hive PURGE关键字
DROPTABLE [IFEXISTS] table_name [PURGE];注：指定PURGE后，数据不会放到回收箱，会直接删除。
2016-10-31 12:00:57
3420
转载 linux syslog详解
分三部分一、syslog协议介绍 二、syslog函数三、linux syslog配置 一、syslog协议介绍1、介绍 在Unix类操作系统上，syslog广泛应用于系统日志。syslog日志消息既可以记录在本地文件中，也可以通过网络发送到接收syslog的服务器。接收syslog的服务器可以对多个设备的syslog消息进行统
2016-10-26 16:32:17
575
转载 Kafka console consumer源代码分析(一)
上一篇中分析了Scala版的console producer代码，这篇文章为读者带来一篇console consumer工作原理分析的随笔。其实不论是哪个consumer，大部分的工作原理都是类似的。本文利用console consumer作为切入点，既容易理解又不失一般性。 本文使用的Kafka环境是0.8.2.1版本，这也是当前最新的版本。(注：Kafka 0.9版本据说会
2016-10-26 16:13:33
3978
转载 Kafka入门经典教程
http://blog.csdn.net/hmsiwtv/article/details/46960053问题导读1.Kafka独特设计在什么地方？2.Kafka如何搭建及创建topic、发送消息、消费消息？3.如何书写Kafka程序？4.数据传输的事务定义有哪三种？5.Kafka判断一个节点是否活着有哪两个条件？6.producer是否
2016-10-25 14:33:34
341
转载 Mac开发利器之程序员编辑器MacVim学习总结
http://blog.csdn.NET/eric_xjj/article/details/8932502Emacs和Vim都是程序员专用编辑器，Emacs被称为神的编辑器，Vim则是编辑器之神。至于两者到底哪个更好用，网络上两大派系至今还争论不休。不过，相比之下，Emacs更加复杂，已经不能算是一个编辑器了，有人这么说：Emacs是伪装成编辑器的操作系统。与之相反，Vim的定位很
2016-10-25 09:10:17
361
转载 名人成长的烦恼的故事有哪些？
大哲学家苏格拉底有一天给他的学生上课。他说：同学们，我们今天不讲哲学，只要求大家做一个简单的动作，把手往前摆动300下，然后再往后摆动300下，看看谁能每天坚持。过了几天，苏格拉底上课时，他请坚持下来的同学举手，结果，90%以上的人举起了手。过了一个月，他又要求坚持下来的同学举手，只有 70%多的人举手。过了一年，他又同样要求，结果只有一个人举手，这个人就是后来也成为了大哲学家的柏拉图。
2016-10-25 08:32:04
1511
转载 Linux crontab 命令格式与详细例子
基本格式 :* * * * * command分 时 日 月 周 命令第1列表示分钟1～59 每分钟用*或者 */1表示第2列表示小时1～23（0表示0点）第3列表示日期1～31第4列表示月份1～12第5列标识号星期0～6（0表示星期天）第6列要运行的命令crontab文件的一些例子：30 21 * * * /usr/local/etc/rc.d/
2016-10-24 18:40:01
201
转载 shell 与 sqlplus 交互
shell 与 sqlplus 交互1、简单shell调用sqlplus编写脚本[Oracle@localhost oracle_script]$ vimtest1.sh#!/bin/bash# user envsource ~/.bash_profilesqlplus -S /nolog > result.log--set heading off
2016-10-24 18:39:05
1163
转载 linux下rsync命令详细整理
在对rsync服务器配置结束以后，下一步就需要在客户端发出rsync命令来实现将服务器端的文件备份到客户端来。rsync是一个功能非常强大的工具，其命令也有很多功能特色选项，我们下面就对它的选项一一进行分析说明。 Rsync的命令格式可以为以下六种： rsync [OPTION]... SRC DEST rsync [OPTION]... SRC [USER@]HOST:DES
2016-10-24 18:38:39
252
转载 linux的nohup命令的用法。
linux的nohup命令的用法。在应用Unix/Linux时，我们一般想让某个程序在后台运行，于是我们将常会用 & 在程序结尾来让程序自动运行。比如我们要运行mysql在后台： /usr/local/mysql/bin/mysqld_safe –user=mysql &。可是有很多程序并不想mysqld一样，这样我们就需要nohup命令，怎样使用nohup命令呢？这里讲解
2016-10-24 14:44:06
221
转载 linux 命令行 光标移动技巧
看一个真正的专家操作命令行绝对是一种很好的体验-光标在单词之间来回穿梭，命令行不同的滚动。在这里强烈建立适应GUI节目的开发者尝试一下在提示符下面工作。但是事情也不是那么简单，还是需要知道“如何去做”。在单词之间跳转，使用Ctrl+左右键。Ctrl+a跳到本行的行首，Ctrl+e则跳到页尾。Ctrl+u删除当前光标前面的文字 ctrl+k-删除当前光标后面的文字Ctrl+w和Alt+d-对于当前的
2016-10-24 09:31:01
415
转载 选择 Parquet for Spark SQL 的 5 大原因
http://www.ibm.com/developerworks/cn/analytics/blog/5-reasons-to-choose-parquet-for-spark-sql/index.html选择 Parquet for Spark SQL 的 5 大原因列式存储 (columnar storage) 在处理大数据的时候可以有效地节省时间和空间。例如
2016-10-23 22:52:50
1173
转载 sparkSQL中UDF的使用
在Spark中使用sql时一些功能需要自定义方法实现，这时候就可以使用UDF功能来实现多参数支持UDF不支持参数*的方式输入多个参数，例如String*，不过可以使用array来解决这个问题。定义udf方法，此处功能是将多个字段合并为一个字段def allInOne(seq: Seq[Any], sep: String): String = seq.mkString
2016-10-23 09:36:22
517
转载 Spark DataFrame小试牛刀
三月中旬，Spark发布了最新的1.3.0版本，其中最重要的变化，便是DataFrame这个API的推出。DataFrame让Spark具备了处理大规模结构化数据的能力，在比原有的RDD转化方式易用的前提下，计算性能更还快了两倍。这一个小小的API，隐含着Spark希望大一统「大数据江湖」的野心和决心。DataFrame像是一条联结所有主流数据源并自动转化为可并行处理格式的水渠，通过它Spark能
2016-10-21 10:44:07
271
转载 Scala yield 关键字
我看了《Programming in Scala》一书，仍然对 Scala yield 关键字的理解不甚清楚。起初我以为 Scala yield 的与 Ruby 的 yield 是一样，Ruby 中 yield 是被传入代码块的占位符。Scala 中的 yield 关键字好像总是在 for 循环中用的. 下面一些例子可以帮助你更好的理解 yield 关键字。下面是摘自 《Programming
2016-10-21 10:25:54
424
转载 iaas paas saas 越来越高级了。
作者：John Wang链接：https://www.zhihu.com/question/20387284/answer/28514161来源：知乎著作权归作者所有，转载请联系作者获得授权。如果你是一个网站站长，想要建立一个网站。不采用云服务，你所需要的投入大概是：买服务器，安装服务器软件，编写网站程序。现在你追随潮流，采用流行的云计算，如果你采用IaaS服务
2016-10-20 22:52:17
582
转载 java.util.Collections.reverseOrder()方法实例
reverseOrder() 方法用于获取一个比较有否就实现Comparable接口的对象的集合的自然顺序相反。声明以下是java.util.Collections.reverseOrder()方法的声明。public static T> ComparatorT> reverseOrder()参数NA返回值在方法调用返回一个比较器，它强行
2016-10-20 20:41:22
14544
2
转载 【Java 学习笔记】 TreeMultimap（guava）
还是google中的工具，由于HashMap中键值是不排序的，所以如果你需要排序的Multimap的话就需要使用guava中的TreeMultimap。类：com.google.common.collect.TreeMultimap--定义：TreeMultimapInteger,Integer> map = TreeMultimap.create(); map
2016-10-20 20:25:02
2188
转载 【Scala】使用Option、Some、None，避免使用null
【Scala】使用Option、Some、None，避免使用null字数1522 阅读5207 评论1 喜欢8避免null使用大多数语言都有一个特殊的关键字或者对象来表示一个对象引用的是“无”，在Java，它是null。在Java 里，null 是一个关键字，不是一个对象，所以对它调用任何方法都是非法的。但是这对语言设计者来说是一件令人疑惑的选择。为什么要在程序员希望返
2016-10-20 18:32:14
983
转载 Spark RDD Transformation 简单用例（三）
cache和persist将RDD数据进行存储，persist(newLevel: StorageLevel)设置了存储级别，cache()和persist()是相同的，存储级别为MEMORY_ONLY。因为RDD的transformation是lazy的，只有action算子才会触发transformain真正的执行，如果一个rdd需要进行多次的action算子操作，最好能够使用cache或
2016-10-20 18:30:34
347
转载 Linux dirname、basename 指令
http://blog.sina.com.cn/s/blog_9d074aae01013ctk.html一、dirname指令1、功能：从给定的包含绝对路径的文件名中去除文件名（非目录的部分），然后返回剩下的路径（目录的部分）2、用法：dirname filename例如下面几个例子（1）# dirname /etc/sysconfig/networ
2016-10-20 18:27:46
235
转载 linux shell 中的sleep命令
在有的shell（比如linux中的bash）中sleep还支持睡眠（分，小时）sleep 1 睡眠1秒sleep 1s 睡眠1秒sleep 1m 睡眠1分sleep 1h 睡眠1小时
2016-10-20 17:52:01
9789
转载 linux sheel脚本里面，在if语句里“$? -eq o” 这是什么意思！！！
首先应该是0不是o$?是shell变量,表示"最后一次执行命令"的退出状态.0为成功,非0为失败.在你的问题里就是，if语句前一个命令执行成功，就怎么样
2016-10-20 17:51:14
10178
转载 Linux中shell文件操作大全
原文地址：Linux中shell文件操作大全 作者：fuliangcheng1.创建文件夹#!/bin/shmkdir -m 777 "%%1"2.创建文件#!/bin/shtouch "%%1"3.删除文件#!/bin/shrm -if "%%1"4.删除文件夹#!/bin/shrm -rf "%%1"5.删除一
2016-10-20 17:49:58
214
转载 find命令用法
转自http://www.chinaz.com/server/2009/0807/85796.shtml首先是find的语法：find [起始目录] 寻找条件 操作还有种表述方式：find PATH OPTION [-exec COMMAND { } \;]因为find命令会根据我们给的option,也就是寻找条件从我们给出的目录开始对其中文件及其下
2016-10-20 17:28:37
291
转载 Hadoop2.6.0防止误删机制-Trash
Hadoop2.6.0的回收站Trash机制跟Hadoop1变化不大，建议提前打开该功能（默认关闭），防止误删时欲哭无泪。1、修改/etc/Hadoop/core-site.xml，增加如下配置： 开启hdfs文件删除自动转移到垃圾箱，值为垃圾箱文件清除时间，单位是分钟。一般开启该配置比较好，防止删除重要文件。 --> fs.tras
2016-10-20 17:13:34
716
转载 readlink命令
readlink是Linux系统中一个常用工具，主要用来找出符号链接所指向的位置。在Ubuntu系统中执行以下命令：[plain] view plaincopy$ readlink --help 可以查看readlink命令的帮助信息，或者执行[plain] view plainc
2016-10-20 17:10:16
1124
转载 linux中shell变量$#,$@,$0,$1,$2的含义解释:
变量说明: $$ Shell本身的PID（ProcessID） $! Shell最后运行的后台Process的PID $? 最后运行的命令的结束代码（返回值） $- 使用Set命令设定的Flag一览 $* 所有参数列表。如"$*"用「"」括起来的情况、以"$1 $2 … $n"的形式输出所有参数。 $@ 所有参数列表。如"$@"用「"」括起来的情况、
2016-10-20 14:33:57
248
转载 1
http://www.zampsdk.net/site/loginhttp://hj.fxiaoke.com/login?from=/nbi2/#coreBus/overviewUser
2016-10-12 09:12:45
523
转载 EventFunnelJoinUserJob
import com.ZAMPSDK.AppTracking.common.ZPConstants;import com.ZAMPSDK.AppTracking.mo.EventHistory;import com.ZAMPSDK.AppTracking.mo.TextPair;import org.apache.commons.lang.StringUtils;import or
2016-10-12 09:12:18
388
转载 AppUserProfileJob
import com.ZAMPSDK.AppTracking.common.ZPConstants;import com.ZAMPSDK.AppTracking.mo.BootContent;import com.ZAMPSDK.AppTracking.mo.UserProfile;import com.google.protobuf.Message;import org.apac
2016-10-12 09:11:22
513
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人