- 博客(14)
- 资源 (3)
- 问答 (5)
- 收藏
- 关注
RSS订阅转载 Spark开发指南
简介接入SparkSpark初始化Master URLs在集群上部署代码弹性分布式数据集并行集合 (Parallelized Collections)Hadoop 数据集 (Hadoop Datasets)RDD 的操作转换动作RDD 的持久化存储级别的选择共享变量广播变量累加器
2014-06-30 11:09:53
1341
转载 Hive中的TRANSFORM
Hive中的TRANSFORM：使用脚本完成Map/Reduce。Leave a reply数据、例子，修改自：《Hive with Python example》首先来看一下数据：12345hive> select * from test;OK1
2014-06-30 09:25:57
2818
转载 MAVEN OOM
使用Ant和Maven构建时出现OOM错误使用Ant和Maven构建时出现OOM异常 今日更新测试环境时报OOM错误（工程中使用了Ant和Maven） 参照《Maven和Ant构建大项目时内存溢出的解决方案》——设置相应的参数OK 1. Maven的解决方案 找到文件%M2_HOME%\bin\mvn.bat,这就是启动Maven的脚本文件，找到该文件中以下代码
2014-06-24 12:23:25
1601
原创 MINA2 源码学习--源码结构梳理
一、mina的整体框架结构及案例：1.整体结构图：简述：以上是一张来自网上比较经典的图，整体上揭示了mina的结构，其中IoService包含客户端IoConnector和服务端IoAcceptor两部分。即无论是客户端还是服务端都是这个结构。IoService封装了网络传输层（TCP和UDP），而IoFilterChain中mina自带的filter做了一些基本的操作之外，支
2014-06-23 13:06:20
2128
1
转载 UDTF 开发案例
原文:http://blog.linezing.com/2011/03/hive%E4%B8%ADudtf%E7%BC%96%E5%86%99%E5%92%8C%E4%BD%BF%E7%94%A81. UDTF介绍UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many mapin
2014-06-20 17:40:26
1840
转载 mina总结
客户端通信过程 1.通过SocketConnector同服务器端建立连接 2.链接建立之后I/O的读写交给了I/O Processor线程，I/O Processor是多线程的 3.通过I/O Processor读取的数据经过IoFilterChain里所有配置的IoFilter，IoFilter进行消息的过滤，格式的转换，在这个层面可以制定一些自定义的协议 4.最后IoFilte
2014-06-19 13:26:00
538
转载 HBase深入分析之RegionServer
所有的用户数据以及元数据的请求，在经过Region的定位，最终会落在RegionServer上，并由RegionServer实现数据的读写操作。本小节将重点介绍RegionServer的代码结构和功能，从实现细节上深入理解RegionServer对于数据的操作流程。1 RegionServer概述RegionServer是HBase集群运行在每个工作节点上的服务。它是整个HBase
2014-06-17 23:38:34
1103
转载 python的诗歌实战项目
python项目练习一：即时标记python项目练习二：画幅好画python项目练习三：万能的XMLpython项目练习四：新闻聚合python项目练习五：虚拟茶话会python项目练习六：使用CGI进行远程编辑python项目练习七：自定义公告板python项目练习八：使用XML-RPC进行远程文件共享python项目练习九：文件共享2-GUI版本python
2014-06-17 23:28:34
2636
转载 Hive的Lateral View
Lateral View用于把UDTF的行转列结果集合在一起提供服务。Lateral View可以返回多列数据，前提是UDTF注册的输出个数。UDTF代码参考：hive/src/ql/src/java/org/apache/hadoop/hive/ql/udf/generic/GenericUDTFExplode.java准备数据CREATE TABLE t
2014-06-17 15:33:41
1199
转载 sed 文件查找，替换
sed 命令查找与替换：(1)删除第2，3行：sed '2,3d' test.txt > new.txt(2)替换： 替换所有：sed 's/abc/ABC/' test.txt >new.txt 查找： sed -n "/abc/p" test.txt 匹配字符串中的一部分： echo abc123 | sed 's/\([a-z]*\).*/\1
2014-06-16 13:37:59
2730
转载 linux 命令学习
Linux必学的60个命令(1)-安装与登陆Linux提供了大量的命令，利用它可以有效地完成大量的工作，如磁盘操作、文件存取、目录操作、进程管理、文件权限设定等。所以，在Linux系统上工作离不开使用系统提供的命令。要想真正理解Linux系统，就必须从Linux命令学起，通过基础的命令学习可以进一步理解Linux系统。不同Linux发行版的命令数量不一样，但Linux发行版本最少的
2014-06-16 12:02:47
1299
转载 python web应用搭建
本文实现的是通信录的Web应用，在Windows xp环境下开发。 1.从官方网站下载Python安装文件，安装后配置环境变量(系统变量path)。 C:\Program Files\Python25; C:\Program Files\Python25\Scripts; 2.下载Django，解压。打开命令行，进入刚
2014-06-15 17:20:18
644
原创 linux shell 知识点及问题总结
awk命令查找一个字符串是否包含某个关键字：temp=`echo $param | awk '{print index($1,"bulkload-arg-s")}'`ps：param被当做awk的参数传入到后面 awk程序中执行。应用场景示例脚本：#!/usr/bashparamArray=$@for param in ${paramArray[@]}; dot
2014-06-11 22:47:09
809
1
linux 平台上一个进程退出了，还可以根据进程Id获取进程退出码吗？
2016-03-08
sudo -u admin 和 sudo su admin的区别是什么呀
2014-06-11
JConsole 老是连接不上远程的服务器，求指导？
2013-07-28
maven 依赖冲突问题
2013-05-07
问什么说servlet只能访问web-inf/lib下的类？
2013-04-30
TA创建的收藏夹 TA关注的收藏夹
TA关注的人