- 博客(14)
- 资源 (3)
- 问答 (5)
- 收藏
- 关注
转载 Spark开发指南
简介接入SparkSpark初始化Master URLs在集群上部署代码弹性分布式数据集并行集合 (Parallelized Collections)Hadoop 数据集 (Hadoop Datasets)RDD 的操作转换动作RDD 的持久化存储级别的选择共享变量广播变量累加器
2014-06-30 11:09:53 1343
转载 Hive中的TRANSFORM
Hive中的TRANSFORM:使用脚本完成Map/Reduce。Leave a reply数据、例子,修改自:《Hive with Python example》首先来看一下数据:12345hive> select * from test;OK1
2014-06-30 09:25:57 2821
转载 MAVEN OOM
使用Ant和Maven构建时出现OOM错误使用Ant和Maven构建时出现OOM异常 今日更新测试环境时报OOM错误(工程中使用了Ant和Maven) 参照《Maven和Ant构建大项目时内存溢出的解决方案》——设置相应的参数OK 1. Maven的解决方案 找到文件%M2_HOME%\bin\mvn.bat,这就是启动Maven的脚本文件,找到该文件中以下代码
2014-06-24 12:23:25 1601
原创 MINA2 源码学习--源码结构梳理
一、mina的整体框架结构及案例:1.整体结构图:简述:以上是一张来自网上比较经典的图,整体上揭示了mina的结构,其中IoService包含客户端IoConnector和服务端IoAcceptor两部分。即无论是客户端还是服务端都是这个结构。IoService封装了网络传输层(TCP和UDP),而IoFilterChain中mina自带的filter做了一些基本的操作之外,支
2014-06-23 13:06:20 2129 1
转载 UDTF 开发案例
原文:http://blog.linezing.com/2011/03/hive%E4%B8%ADudtf%E7%BC%96%E5%86%99%E5%92%8C%E4%BD%BF%E7%94%A81. UDTF介绍UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many mapin
2014-06-20 17:40:26 1840
转载 mina总结
客户端通信过程 1.通过SocketConnector同服务器端建立连接 2.链接建立之后I/O的读写交给了I/O Processor线程,I/O Processor是多线程的 3.通过I/O Processor读取的数据经过IoFilterChain里所有配置的IoFilter,IoFilter进行消息的过滤,格式的转换,在这个层面可以制定一些自定义的协议 4.最后IoFilte
2014-06-19 13:26:00 538
转载 HBase深入分析之RegionServer
所有的用户数据以及元数据的请求,在经过Region的定位,最终会落在RegionServer上,并由RegionServer实现数据的读写操作。本小节将重点介绍RegionServer的代码结构和功能,从实现细节上深入理解RegionServer对于数据的操作流程。1 RegionServer概述RegionServer是HBase集群运行在每个工作节点上的服务。它是整个HBase
2014-06-17 23:38:34 1104
转载 python的诗歌实战项目
python项目练习一:即时标记python项目练习二:画幅好画python项目练习三:万能的XMLpython项目练习四:新闻聚合python项目练习五:虚拟茶话会python项目练习六:使用CGI进行远程编辑python项目练习七:自定义公告板python项目练习八:使用XML-RPC进行远程文件共享python项目练习九:文件共享2-GUI版本python
2014-06-17 23:28:34 2636
转载 Hive的Lateral View
Lateral View用于把UDTF的行转列结果集合在一起提供服务。Lateral View可以返回多列数据,前提是UDTF注册的输出个数。UDTF代码参考:hive/src/ql/src/java/org/apache/hadoop/hive/ql/udf/generic/GenericUDTFExplode.java准备数据CREATE TABLE t
2014-06-17 15:33:41 1201
转载 sed 文件查找,替换
sed 命令查找与替换:(1)删除第2,3行:sed '2,3d' test.txt > new.txt(2)替换: 替换所有:sed 's/abc/ABC/' test.txt >new.txt 查找: sed -n "/abc/p" test.txt 匹配字符串中的一部分: echo abc123 | sed 's/\([a-z]*\).*/\1
2014-06-16 13:37:59 2730
转载 linux 命令学习
Linux必学的60个命令(1)-安装与登陆Linux提供了大量的命令,利用它可以有效地完成大量的工作,如磁盘操作、文件存取、目录操作、进程管理、文件权限设定等。所以,在Linux系统上工作离不开使用系统提供的命令。要想真正理解Linux系统,就必须从Linux命令学起,通过基础的命令学习可以进一步理解Linux系统。不同Linux发行版的命令数量不一样,但Linux发行版本最少的
2014-06-16 12:02:47 1299
转载 python web应用搭建
本文实现的是通信录的Web应用,在Windows xp环境下开发。 1.从官方网站下载Python安装文件,安装后配置环境变量(系统变量path)。 C:\Program Files\Python25; C:\Program Files\Python25\Scripts; 2.下载Django,解压。打开命令行,进入刚
2014-06-15 17:20:18 645
原创 linux shell 知识点及问题总结
awk命令查找一个字符串是否包含某个关键字:temp=`echo $param | awk '{print index($1,"bulkload-arg-s")}'`ps:param被当做awk的参数传入到后面 awk程序中执行。应用场景示例脚本:#!/usr/bashparamArray=$@for param in ${paramArray[@]}; dot
2014-06-11 22:47:09 809 1
linux 平台上一个进程退出了,还可以根据进程Id获取进程退出码吗?
2016-03-08
sudo -u admin 和 sudo su admin的区别是什么呀
2014-06-11
JConsole 老是连接不上远程的服务器,求指导?
2013-07-28
maven 依赖冲突问题
2013-05-07
问什么说servlet只能访问web-inf/lib下的类?
2013-04-30
TA创建的收藏夹 TA关注的收藏夹
TA关注的人