- 博客(43)
- 资源 (5)
- 收藏
- 关注
原创 vim编辑器——常用操作整理
注意:以下的操作都是在命令状态下进行的,不要进入插入状态了1.删除dd删除一行ndd 删除以当前行开始的n行dw删除以当前字符开始的一个字符ndw删除以当前字符开始的n个字符d$、D删除以当前字符开始的一行字符d)删除到下一句的开始d}删除到下一段的开始d回车删除2行2.复制粘贴vi设置自动缩进:set sma
2014-10-17 15:14:58 522
原创 Vim快捷键
vim替换命令::s/vivian/sky/ 替换当前行第一个 vivian 为 sky:s/vivian/sky/g 替换当前行所有 vivian 为 sky
2014-10-16 15:41:17 453
原创 List和二维数组之间转化及初始化
ArrayList resultsList = new ArrayList();String[] result = { "cr_tx_amt","f_fare", "counts" };resultsList.add(result); String[][] results = new String[resultsList.size()][]; for (int i = 0; i < r
2014-10-10 12:44:08 7563
原创 hive:排序分析函数
2.hive排序排名函数语法:rank()over([partition by col1] order by col2)dense_rank()over([partition by col1] order by col2)row_number()over([partition by col1] order by col2)其中[partition by col1]可省略案例:
2014-10-09 16:59:21 4528
原创 hive: insert数据时Error during job, obtaining debugging information 以及beyond physical memory limits
770.39 sec2014-10-09 10:40:26,312 Stage-1 map = 100%, reduce = 32%, Cumulative CPU 2772.25 sec2014-10-09 10:40:27,368 Stage-1 map = 100%, reduce = 32%, Cumulative CPU 2772.48 sec2014-10-09 10:40:
2014-10-09 10:51:31 7859
原创 hadoop性能调优
平衡磁盘利用率hadoop balancer -Threshold 20或者 sh $HADOOP_HOME/bin/start-balancer.sh –t 20%
2014-10-08 17:24:32 472
原创 mysql字符设置
修改字符集MySQL字符集设置• 系统变量:– character_set_server:默认的内部操作字符集– character_set_client:客户端来源数据使用的字符集– character_set_connection:连接层字符集– character_set_results:查询结果字符集– character_set_database:当前选中数据库的默认字符集–
2014-09-22 22:42:43 970
转载 hadoop修改权限问题
sudo addgroup hadoop#添加一个hadoop组sudo usermod -a -G hadoop larry#将当前用户加入到hadoop组sudo gedit etc/sudoers#将hadoop组加入到sudoer在root ALL=(ALL) ALL后 hadoop ALL=(ALL) ALL修改hadoop目录的权限sudo chown -R
2014-09-08 22:59:14 2657
原创 HDP2.0.6+hadoop2.2.0+eclipse(windows和linux下)调试环境搭建
花了好几天,搭建好windows和linux下连接HDP集群的调试环境,
2014-09-08 18:12:29 990
原创 Centos最小化安装
RedHat、CentOS上搭建Hadoop集群http://wenku.baidu.com/link?url=dcs8IgSXgax_F_Q2CSKdi7LmihCbi_ceRjeTEHbQL4c63P5HIPURDa6Gdr_yA4sPeTtqnnbSEYhec29jQmM4FyBqpcADrLdnUnexNyanDYqHadoop集群系列1:CentOS安装配置(2)http
2014-07-11 16:40:46 1203
转载 eclipse hadoop1.2.0配置及wordcount运行
本人这次的编译环境是linuxmint15 64bit,与上文的编译环境win2003不同了首先要配置linux的jdk 1.6.0_45、ant 1.9.1以及相关环境变量,这部分内容本文就不再赘述了然后需要下载eclipse和hadoop的源码包,本人下载的eclipse版本是Eclipse Classic 4.2.2 ,下载地址Eclipse Classic 4.2.2hadoo
2014-07-11 16:37:52 584
原创 ubuntu配置
首先就是Ubuntu的更新源问题,需要更改,否则更新不了。其次就是Securecrt的远程登陆问题,windows主机和ubuntu虚拟机如果能通信,要求在同一网段上,而ubuntu是动态加载,需要手动更改成二者在同一网段上。网上好多更改网址的方法,经过验证,以下的方法是最好的:1. 配置静态ip地址$sudo vi /etc/network/interfaces原有内容只有如下两
2014-07-11 16:36:18 467
原创 eclipse调试hadoop2.2.0源码笔记
在hadoop1.x版本时使用的是在Windows下编译Eclipse插件,远程调试集群。换成2.2.0,没有eclipse-plugin文件。 hadoop2.2.0“远程调试集群”,是指调试NameNode/DataNode,JobTracker/Tasktracker,ResourceManager/NodeManager等服务进程,可以在hadoop-env.sh(对于NN/D
2014-07-11 16:36:16 520
原创 Hadoop编译方法
1.在hadoop官网下载hadoop的源码(同步跟踪最新源代码)mvn checkout http://svn.apache.org/repos/asf/hadoop/common/trunk/ hadoop-trunkhadoop-trunk目录下即就是下载的源码2.源码版本和安装的版本应该会不一样,因此先使用默认的hadoop单机配置下。因此引进的
2014-07-11 16:35:19 553
转载 局域网IP规划
本文介绍如何将多台运行 Red Hat Linux 的计算机组建成本地局域网(Local Area Network, LAN)。首先阐述一些基础知识,其中包括 TCP/IP (Transmission Control Protocol/Internet protocol 互联网传输控制协议)的概述,以及局域网中 IP 地址的分配。其次介绍局域网的硬件,以及如何在 Red Hat Linux 操
2014-07-11 16:34:09 1033 1
转载 Hama安装及示例运行
Hama介绍Apache Hama是一个纯BSP(Bulk Synchronous Parallel)计算框架,模仿了Google的Pregel。用来处理大规模的科学计算,特别是矩阵和图计算。BSP概念由Valiant(2010图灵奖获得者)在1990年提出,具体参看wikipedia。Google在2009年发表了论文,在分布式条件下实现了BSP模型。Hama安装安装环境:O
2014-07-11 16:32:26 1452
原创 eclipse导入/编译hadoop源代码
1. 确保安装好JDK和eclipse 详细教程见: http://blog.csdn.net/kangdakangdaa/article/details/113649852. 安装 Subclipse(Eclipse 的 SVN 插件) 用于从 Hadoop 获得源代码。我们使用 eclipse 自带的软件安装功能,通过 Subclipse 提供的地址自动下
2014-07-11 16:30:21 728
原创 强连通子图
http://www.doc88.com/p-35322059878.html《算法导论》习题解答 Chapter 22.1-3(转置图)http://blog.csdn.net/hcbbt/article/details/9337887
2014-07-11 16:29:02 588
转载 恢复Mysql丢失的root用户权限
今天安装了某个程序时, 由于程序很傻X的 新建了一个 root@localhost 用户 并把 root权限全部改为了 no 这下 我也 傻X 了.服务器上所有程序都崩溃了. 此时即使用root用户登陆进去也无法再修改权限了. 赶紧 service mysqld stop 先停掉mysql 然后用安全模式 启动mysql /usr/bin/mysqld_safe --skip-g
2014-06-11 17:23:14 782
原创 Eclipse远程调试hadoop源码
1. 修改对应调试端口之前的一篇blog里讲述了hadoop单机版调试的方法,那种调试只限于单机运行hadoop命令而已,对于运行整个hadoop环境而言是不可取的,因为hadoop会开启多个java进程,如果统一为一个端口启动,则启动会报错说端口被占用,同时对于jdwp agent而言也只能加载一次,故调试时单机只能有一个java进程开启debug模式,其实这个也足够了。通过分析ha
2014-03-25 21:42:12 775
转载 hadoop源码调试
原文地址:http://www.cnblogs.com/end/archive/2011/04/26/2029497.html在使用hadoop的时候,可能遇到各种各样的问题,然而由于hadoop的运行机制比较复杂,因而出现了问题的时候比较难于发现问题。本文欲通过某种方式跟踪Hadoop的运行痕迹,方便出现问题的时候可以通过这些痕迹来解决问题。一、环境的搭建为了
2014-03-25 10:44:50 624
原创 HAMA
org.apache.hadoop.dfs.SafeModeException: Cannot create ***. Name node is in safe mode的解决解决方案:关闭hadoop NameNode的安全模式就行了。bin/hadoop dfsadmin -safemode leave
2014-01-12 16:42:59 611
原创 面试书籍
C语言:《C 和指针》 《 C语言深度剖析》 C++书籍:《深度探索C++对象模型》《STL源码剖析》《Effective C++》 算法:《数据结构与算法(严蔚敏或者李春葆》《算法导论》 面试算法:《编程珠玑》《编程之美》《剑指offer》 计算机网络:《计算机网络》 谢希仁《TCP/IP详解卷1:协议》《计算
2013-10-29 11:03:04 1092
原创 养生
经常走神说明大脑太多时间处于无任务性思维状态,而这是由于脑动力不足导致的。专家说,衰老,并非始自脸上的第一道皱纹,而是从我们的大脑开始的。实际上,脑力衰退从16岁就已经开始了,只不过,我们通常要到四十岁左右才会感觉到。专家说,脑动力不足会让我们记忆力下降、分析复杂问题的能力降低、不分场合地走神儿等。如果脑动力不足发生在驾驶等需要集中注意力的关键时刻,我们的生命安全将会受到威胁。 走神一刻,我
2013-10-28 22:30:06 548
转载 算法导论 第22章 图的基本算法 22.1 图的表示
目录(?)[+]一、综述图的表示方法通常有两种,即邻接表表示法和邻接矩阵表示法。这两种方法都可以表示有向图和无向图1.邻接表表示法(1)用邻接表表示无向图(2)用邻接表表示有向图(3)邻接表的优点及适用场合使用邻接表表示稀疏图比较紧凑2.邻接矩阵表示法(1)用邻接矩阵表示无向图(2)用邻接矩阵表示有向图(3)邻接矩阵的优点与适用场
2013-10-28 10:16:04 655
转载 算法导论-22.4-5-用队列实现拓扑排序
题目:在一个有向无回路图G=(V,E)上,执行拓扑排序的另一种方法是重复地寻找一个入度为0的顶点,将该点输出,并将该顶点及其所有的出边从图中删除。解释如何来实现这一想法,才能使得它的运行时间为O(V+E)。如果G中包含回路的话,这个算法在运行时会发生什么? 思考:初始时,所有入度为0的顶点入队列while队列不为空,作以下处理: 取队列头结点,并出队列
2013-10-28 10:15:00 793
转载 2014阿里巴巴面试题哈尔滨
20141. 单选题1. 假设把整数关键码K散列到N个槽列表,以下哪些散列函数是好的散列函数A: h(K)=K/N;B: h(K)=1;C: h(K)=K mod N;D: h(K)=(K+rand(N)) mod N, rand(N)返回0到N-1的整数答案:C,选项D不能保证Hash表在O(1)的时间内寻址2. 下面排序算法中,初始数据集的排列顺序对算法的性能无
2013-09-29 19:59:19 873
转载 Hadoop分布式集群配置
硬件环境:安装一个Hadoop集群时,需要专门指定一个服务器作为主节点。三台虚拟机搭建的集群:(搭建集群时主机名不能一样,主机名在/etc/hostname修改)master机器:集群的主节点,驻留NameNode和JobTracker守护进程) dbrg1 192.168.0.102slaves机器:(集群的从节点,驻留DataNode和Task
2013-09-09 09:15:31 652
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人