- 博客(204)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 spark 配置
1->spark.storage.memoryFraction 默认内存40%运行task %60 存储2->问题map|reduce数量大造成shuffle 小文件数目多default: shuffle文件数目为 spark.shuffle.consolidateFiles为true来合并中间文件数量3-> 问题block...
2015-07-07 16:02:26
133
原创 hive 不以科学计数法输出，hive计数法输出
Hive中int , float , double这些数值类型在存储大额度数字时，在前端展现上总是使用科学计数法来表示，例如：hive> select pow(10,8) from dual;OK1.0E8其实无论是普通的表示方式还是科学计数法表示，只是一个习惯问题，结果都是一样的。可是不能理解的是当把数值类型转化成字符串类型以后Hive竟然把数值转换成了科学计数法表示的字...
2015-06-03 18:29:17
6896
1
原创 Java 中 Map与JavaBean之间的相互转化
在做导入的时候，遇到了需要将map对象转化 成javabean的问题，也就是说，不清楚javabean的内部字段排列，只知道map的 key代表javabean的字段名，value代表值。那现在就需要用转化工具了。是通用的哦！首先来看 JavaBean 转化成Map的方法： [java] view plaincopy /** * 将一个 ...
2015-06-02 10:19:47
199
原创 SparkStreaming源码全方位解析--
复制大牛的分析，因为他的博客在国内打不开http://guaver.info/spark-streaming-code-analysis/ SparkStreaming源码全方位解析09 MARCH 2015最近在做基于Kafka + Spark Streaming的实时计算，今天研究了下Spark Streaming源码，在此记录下。主要以WordCount为例，具体讲解Sp...
2015-05-29 15:38:03
206
原创 shell中的重定向 1>&2 2>&1 >&2
shell中的重定向 1>&2 2>&1 >&2 当初在shell中, 看到">&1"和">&2"始终不明白什么意思.经过在网上的搜索得以解惑.其实这是两种输出. 在 shell 程式中，最常使用的 FD (file descriptor) 大概有三个, 分别是: 0: Standard Inpu
2015-05-19 19:16:16
145
原创 PHP调用外部程序的方法
原地址:http://www.cppblog.com/amazon/archive/2011/12/01/161281.aspx 很多情况下需要php调用其他程序如shell命令、shell脚本、可执行程序等等，此时需要使用到诸如exec/system/popen/proc_open等函数，每种函数有各自适合使用的场景以及需要注意的地方。前提：PHP没有运行在安全模式如果PHP运行在安全...
2015-05-08 10:09:07
217
原创 scala object 与class 区别
原博客:http://dreamhead.blogbus.com/logs/60217908.html准备涉水Scala的Java程序员请注意，Scala里没有static。在大多数情况下，static真不该是static的。像Scala这样想在面向对象上更进一步的程序设计语言，取消static是一种进取的表现，这样得以保证了其面向对象模型的完整性。好吧，我承认，有时候，我们还是需要类一级的...
2015-05-04 20:02:32
137
原创 fastjson自定义null是否输出
System.out.println(JSONObject.toJSONString(req, new ValueFilter() { public Object process(Object obj, String s, Object v) { if (v == null) return ...
2015-04-14 20:54:23
90
原创 fastjson自定义null是否输出
System.out.println(JSONObject.toJSONString(req, new ValueFilter() { public Object process(Object obj, String s, Object v) { if (v == null) return "...
2015-04-14 20:54:02
172
原创 maven 只复制compile级别的jar包
原博客：http://ljhzzyx.blog.163.com/blog/static/3838031220138335540882/mvn dependency:copy-dependencies可以准备好当前项目依赖的jar包，可以配置文件中scope为test的jar也包含进来了。生产系统发布的时候是不需要测试用的jar包的，如junit相关的包。想直接使用命令来指定c...
2015-04-14 17:34:47
171
原创 hadoop fs -count的结果含义
hadoop fs -count的结果含义最近要对hdfs上空间使用和文件结点使用增加报警，当超过一定的限额的时候就要发报警好通知提前准备。[sunwg]$ hadoop fs -count /sunwg 2 1 108 hdfs://sunwg:9000/sunwg第一个数值2表示/sunwg下的文件夹的个数，第二个数值1表是当前...
2015-04-01 18:45:20
404
原创 shell传递参数给awk
shell传参数给awki=1ATP-T3000:~/bhz # cat file0f 31 00 12 00 05 01 06 03awk "{print \$$((6+i))}" file01awk "{print \$${i}}" file0f只能引用数字，不能引用字母awk "BEGIN{print "${i}"}"1test=10awk "BEGIN{print "${test...
2015-04-01 15:58:26
456
原创 mysql mysqldump只导出表结构或只导出数据,执行sql
mysql mysqldump 只导出表结构 不导出数据mysqldump --opt -d dbtest -h localhost -P3307 -u root -p > xxx.sql 这个操作会锁表，需要有权限的用户操作备份数据库 #mysqldump 数据库名 >数据库备份名 #mysqldump -A -u用户名 -p密码 数据库名>数据库备份名...
2015-03-26 11:36:13
366
原创 String的compareTo()方法返回值
原地址:http://blog.csdn.net/ysf871104/article/details/7779441String的compareTo()方法返回值compareTo()的返回值是整型,它是先比较对应字符的大小(ASCII码顺序),如果第一个字符和参数的第一个字符不等,结束比较,返回他们之间的 差值,如果第一个字符和参数的第一个字符相等,则以第二个字符和参数的第二个...
2015-03-25 16:38:30
185
原创 java 获取小时级的时间戳的另一种方法
Long l= System.currentTimeMillis()- System.currentTimeMillis()%3600000;得到当前的小时级别的时间戳
2015-03-23 21:17:40
2650
原创 grep 精确匹配&& 递时子目录
原地址http://www.cppblog.com/prayer/archive/2008/12/24/70244.html方法有三种：例如，精确匹配sourcefile中单词flag的行1.-w选项grep -w flag sourcefile2.锚定grep '\<flag\>' sourcefile3.锁定grep '\bflag\b' sourcefile \b能表...
2015-03-23 17:17:56
397
原创 MySQL的Grant命令
原地址http://www.cnblogs.com/hcbin/archive/2010/04/23/1718379.html本文实例，运行于 MySQL 5.0 及以上版本。MySQL 赋予用户权限命令的简单格式可概括为：grant 权限 on 数据库对象 to 用户 .删除用户 @>mysql -u root -p @>密码 my...
2015-03-18 18:50:53
111
原创 maven 打包源码包
插件首页：http://maven.apache.org/plugins/maven-source-plugin/项目pom文件build下添加配置：?12345678910111213<plugin> <groupId>org.apache.maven.plugins&...
2015-03-17 18:18:45
122
原创 Linux date 命令获取某日期的前一天
date -d "20150303 -1day" +%Y%m%d date -d "+2 month 20131231" +%Y%m%d #获得2013年12月31日以后2个月的日期这是最简单的做法 稍微看一下 date 命令，就发现利用它可以很方便的写出一个非常 stable 的函数。date 可以通过 -d 指定一个日期，然后用指定的格式输出。-d 不仅可以接受 “2...
2015-03-13 11:54:38
4014
原创 mysql load操作
原博客:http://www.cnblogs.com/ggjucheng/archive/2012/11/05/2755683.htmlload 实例通过网上查询,发现有2个方法进行解决,1.由于MYSQL编译安装时默认不允许执行这个命令。1)安装时加上 --enable-local-infile 参数就可以了执行了。./configure --prefix=/usr/local/mysq...
2015-03-12 15:28:46
101
原创 hive union
原文：http://www.cnblogs.com/ggjucheng/archive/2013/01/15/2861574.htmlUnion 语法select_statement UNION ALL select_statement UNION ALL select_statement ...UNION用于联合多个SELECT语句的结果集，合并为一个独立的结果集。当前只能...
2015-03-11 15:07:49
98
原创 hive中分组取前N个值的实现
背景假设有一个学生各门课的成绩的表单，应用hive取出每科成绩前100名的学生成绩。这个就是典型在分组取Top N的需求。 解决思路对于取出每科成绩前100名的学生成绩，针对学生成绩表，根据学科，成绩做order by排序,然后对排序后的成绩，执行自定义函数row_number(),必须带一个或者多个列参数，如ROW_NUMBER(col1, ....)，它的作用是按指定的列...
2015-03-11 12:18:54
101
原创 字节流转对象
import java.io.*;import java.util.*;public class WriteObject { public static void main(String args[]) throws Exception { Map map = new HashMap(); map.put("a", "a"); map....
2015-03-03 17:16:14
600
原创 hive中order by,sort by, distribute by, cluster by作用以及用法
hive中order by,sort by, distribute by, cluster by作用以及用法 1. order by Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局排序，所以说，只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的b...
2015-03-03 12:39:26
91
原创 mysql－－SHOW命令大全
SHOW AUTHORS顾名思义，这个要展示的是各位MYSQL开发者的信息，包括姓名，住址及相关注解e.g.1mysql> show authors\G;*************************** 1. row *************************** Name: Brian (Krow) AkerLocation: Seattle,...
2015-03-02 16:16:47
179
原创 Hive UDF整理
目录[-]Hive UDF整理字符串函数字符串长度函数：length字符串反转函数：reverse字符串连接函数：concat带分隔符字符串连接函数：concat_ws字符串截取函数：substr,substring字符串截取函数：substr,substring字符串转大写函数：upper,ucase字符串转小写函数：lower,lcase...
2015-02-28 19:16:46
116
原创 MySQL的FLUSH句法和作用
今天仔细看了下Flush语法，同时在工作中也经常使用Flush命令，在这儿汇总下。MySQL的FLUSH句法(清除或者重新加载内部缓存） FLUSH flush_option [,flush_option]，如果你想要清除一些MySQL使用内部缓存，你应该使用FLUSH命令。为了执行FLUSH，你必须有reload权限。flush_option 可以是下列任何东西：HOSTS ...
2015-02-28 18:59:19
195
原创 mysql查看所有存储过程,函数，视图，触发器，表
查询数据库中的存储过程和函数 方法一： select `name` from mysql.proc where db = 'your_db_name' and `type` = 'PROCEDURE' //存储过程 select `name` from mysql.proc where db = 'your_db_name' and `type` = 'FUNCT...
2015-02-28 15:00:21
83
原创 shell获取当前执行脚本的路径
filepath=$(cd "$(dirname "$0")"; pwd)脚本文件的绝对路径存在了环境变量filepath中，可以用echo $filepath查看完整路径 在shell中：$0: 获取当前脚本的名称$#: 传递给脚本的参数个数$$: shell脚本的进程号$1, $2, $3...：脚本程序的参数...
2015-02-06 21:03:31
399
原创 xargs用法
xargs 用法xargs是一条Unix和类Unix操作系统的常用命令。它的作用是将参数列表转换成小块分段传递给其他命令，以避免参数列表过长的问题。 ，下面的命令：1rm `find /path -type f`如果path目录下文件过多就会因为“参数列表过长”而报错无法执行。但改...
2015-02-03 19:54:49
182
原创 mysql 设置root密码 和赋与远程访问
1.mysql -u root 2.UPDATE mysql.user SET Password = PASSWORD('root') WHERE user = 'root'; FLUSH PRIVILEGES; GRANT ALL PRIVILEGES ON *.* TO root@"%" IDENTIFIED BY "root"; FLUSH PRIVILE...
2015-01-22 21:09:18
94
原创 eclipse javahL svn 集成svn 客户端
svn 客户端版本必须对应 svn/javaHL 版本 如 svn 1.8x 对应 svn/javaHl 1.8x 才能在eclipse 显示svn 地址，才能集成svn 客户端subeclipse 对应的版本Subclipse VersionSVN/JavaHL Version1.10.x1.8.x1.8.x...
2015-01-18 22:02:04
368
原创 安装eclipse插件出错
An error occurred during the org.eclipse.equinox.internal.p2.engine.phases.CheckTrust phase...does not exsist 出现这样的错误时删除掉eclipse 根目录下的atifact.xml重启即可...
2015-01-18 14:19:21
159
原创 chrome 自定义右键功能插件
自定义右键搜索引擎的Chrome扩展：Quick Searchhttp://www.chromi.org/archives/2670自定义右键搜索引擎的Chrome扩展：Quick Search2009年12月28日发表评论 新浪微博 网易微博 腾讯微博 开心网 人人网 豆瓣 Chrome迷读者wxnet给我们分享了他自己做的Chrome扩展：QuickSea...
2015-01-13 20:37:18
2449
原创 在eclipse的maven插件中搜寻本地仓库中的jar搜索不到的解决方案
在eclipse的maven插件中搜索本地仓库中的jar搜索不到的解决方案 之前，用过maven管理项目的童鞋都知道本地会有一个${User_Home}.m2/repository仓库 是用来存放jar包的地方。但是，在eclipse中的maven仓库中 搜索不到本地仓库中的jar包。 原因是因为maven中的本地仓库的index索引没有更新，导致在eclipse的maven插件中...
2015-01-12 20:20:54
166
原创 php 日期加减处理函数
php 日期加减处理函数 <?phpecho "今天:",date('Y-m-d H:i:s'),"<br>";echo "明天:",date('Y-m-d H:i:s',strtotime('+1 day'));?>上一行输出当前时间，下一行输出明天时间这里+1 day可以修改参数1为任何想需要的数 day也可以改成year（年），month（月）...
2015-01-08 09:33:47
217
原创 nohup 与 & 的区别及用法
nohup如果你正在运行一个进程，而且你觉得在退出帐户时该进程还不会结束，那么可以使用n o h u p命令。该命令可以在你退出帐户之后继续运行相应的进程。n o h u p就是不挂起的意思( no hang up)。 在Linux/Unix下，只有守护进程在脱离终端后能继续执行，而普通进程在关闭终端时会因收到SIGHUP信号（挂起信号）而退出。因此，为了长时间运行普通进程，需要使用nohup...
2014-12-31 10:23:25
169
原创 java的System.getProperty()方法可以获取的值
java的System.getProperty()方法可以获取的值分类： j2ee2009-03-13 13:03 72352人阅读 评论(20) 收藏 举报java虚拟机unixclassuserpath java.versionJava 运行时环境版本java.vendorJava 运行时环境供应商...
2014-12-26 16:29:19
103
原创 ant 执行 exec方法
<project default="all" name="deploy"> <target name="cp"> <!--<scp todir="" file=""></scp>--> <exec execut
2014-12-24 17:10:50
3453
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人