- 博客(43)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 vim编辑器——常用操作整理
注意：以下的操作都是在命令状态下进行的，不要进入插入状态了1.删除dd删除一行ndd 删除以当前行开始的n行dw删除以当前字符开始的一个字符ndw删除以当前字符开始的n个字符d$、D删除以当前字符开始的一行字符d)删除到下一句的开始d}删除到下一段的开始d回车删除2行2.复制粘贴vi设置自动缩进：set sma
2014-10-17 15:14:58
501
原创 Vim快捷键
vim替换命令：：s/vivian/sky/ 替换当前行第一个 vivian 为 sky：s/vivian/sky/g 替换当前行所有 vivian 为 sky
2014-10-16 15:41:17
433
原创 List和二维数组之间转化及初始化
ArrayList resultsList = new ArrayList();String[] result = { "cr_tx_amt","f_fare", "counts" };resultsList.add(result); String[][] results = new String[resultsList.size()][]; for (int i = 0; i < r
2014-10-10 12:44:08
7510
原创 hive：排序分析函数
2.hive排序排名函数语法：rank()over([partition by col1] order by col2)dense_rank()over([partition by col1] order by col2)row_number()over([partition by col1] order by col2)其中[partition by col1]可省略案例：
2014-10-09 16:59:21
4497
原创 hive： insert数据时Error during job, obtaining debugging information 以及beyond physical memory limits
770.39 sec2014-10-09 10:40:26,312 Stage-1 map = 100%, reduce = 32%, Cumulative CPU 2772.25 sec2014-10-09 10:40:27,368 Stage-1 map = 100%, reduce = 32%, Cumulative CPU 2772.48 sec2014-10-09 10:40:
2014-10-09 10:51:31
7831
原创 hadoop性能调优
平衡磁盘利用率hadoop balancer -Threshold 20或者 sh $HADOOP_HOME/bin/start-balancer.sh –t 20%
2014-10-08 17:24:32
461
原创 mysql字符设置
修改字符集MySQL字符集设置• 系统变量：– character_set_server：默认的内部操作字符集– character_set_client：客户端来源数据使用的字符集– character_set_connection：连接层字符集– character_set_results：查询结果字符集– character_set_database：当前选中数据库的默认字符集–
2014-09-22 22:42:43
936
转载 hadoop修改权限问题
sudo addgroup hadoop#添加一个hadoop组sudo usermod -a -G hadoop larry#将当前用户加入到hadoop组sudo gedit etc/sudoers#将hadoop组加入到sudoer在root ALL=(ALL) ALL后 hadoop ALL=(ALL) ALL修改hadoop目录的权限sudo chown -R
2014-09-08 22:59:14
2570
原创 HDP2.0.6+hadoop2.2.0+eclipse（windows和linux下）调试环境搭建
花了好几天，搭建好windows和linux下连接HDP集群的调试环境，
2014-09-08 18:12:29
980
原创 Centos最小化安装
RedHat、CentOS上搭建Hadoop集群http://wenku.baidu.com/link?url=dcs8IgSXgax_F_Q2CSKdi7LmihCbi_ceRjeTEHbQL4c63P5HIPURDa6Gdr_yA4sPeTtqnnbSEYhec29jQmM4FyBqpcADrLdnUnexNyanDYqHadoop集群系列1:CentOS安装配置(2)http
2014-07-11 16:40:46
1176
转载 eclipse hadoop1.2.0配置及wordcount运行
本人这次的编译环境是linuxmint15 64bit，与上文的编译环境win2003不同了首先要配置linux的jdk 1.6.0_45、ant 1.9.1以及相关环境变量，这部分内容本文就不再赘述了然后需要下载eclipse和hadoop的源码包，本人下载的eclipse版本是Eclipse Classic 4.2.2 ，下载地址Eclipse Classic 4.2.2hadoo
2014-07-11 16:37:52
575
原创 ubuntu配置
首先就是Ubuntu的更新源问题，需要更改，否则更新不了。其次就是Securecrt的远程登陆问题，windows主机和ubuntu虚拟机如果能通信，要求在同一网段上，而ubuntu是动态加载，需要手动更改成二者在同一网段上。网上好多更改网址的方法，经过验证，以下的方法是最好的:1. 配置静态ip地址$sudo vi /etc/network/interfaces原有内容只有如下两
2014-07-11 16:36:18
456
原创 eclipse调试hadoop2.2.0源码笔记
在hadoop1.x版本时使用的是在Windows下编译Eclipse插件，远程调试集群。换成2.2.0，没有eclipse-plugin文件。 hadoop2.2.0“远程调试集群”，是指调试NameNode/DataNode，JobTracker/Tasktracker，ResourceManager/NodeManager等服务进程，可以在hadoop-env.sh（对于NN/D
2014-07-11 16:36:16
507
原创 Hadoop编译方法
1.在hadoop官网下载hadoop的源码（同步跟踪最新源代码）mvn checkout http://svn.apache.org/repos/asf/hadoop/common/trunk/ hadoop-trunkhadoop-trunk目录下即就是下载的源码2.源码版本和安装的版本应该会不一样，因此先使用默认的hadoop单机配置下。因此引进的
2014-07-11 16:35:19
543
转载 局域网IP规划
本文介绍如何将多台运行 Red Hat Linux 的计算机组建成本地局域网（Local Area Network, LAN)。首先阐述一些基础知识，其中包括 TCP/IP (Transmission Control Protocol/Internet protocol 互联网传输控制协议）的概述，以及局域网中 IP 地址的分配。其次介绍局域网的硬件，以及如何在 Red Hat Linux 操
2014-07-11 16:34:09
1008
1
转载 Hama安装及示例运行
Hama介绍Apache Hama是一个纯BSP（Bulk Synchronous Parallel）计算框架，模仿了Google的Pregel。用来处理大规模的科学计算，特别是矩阵和图计算。BSP概念由Valiant（2010图灵奖获得者）在1990年提出，具体参看wikipedia。Google在2009年发表了论文，在分布式条件下实现了BSP模型。Hama安装安装环境：O
2014-07-11 16:32:26
1317
原创 eclipse导入/编译hadoop源代码
1. 确保安装好JDK和eclipse 详细教程见： http://blog.csdn.net/kangdakangdaa/article/details/113649852. 安装 Subclipse（Eclipse 的 SVN 插件） 用于从 Hadoop 获得源代码。我们使用 eclipse 自带的软件安装功能，通过 Subclipse 提供的地址自动下
2014-07-11 16:30:21
720
原创 强连通子图
http://www.doc88.com/p-35322059878.html《算法导论》习题解答 Chapter 22.1-3（转置图）http://blog.csdn.net/hcbbt/article/details/9337887
2014-07-11 16:29:02
572
转载 恢复Mysql丢失的root用户权限
今天安装了某个程序时, 由于程序很傻X的 新建了一个 root@localhost 用户 并把 root权限全部改为了 no 这下 我也 傻X 了.服务器上所有程序都崩溃了. 此时即使用root用户登陆进去也无法再修改权限了. 赶紧 service mysqld stop 先停掉mysql 然后用安全模式 启动mysql /usr/bin/mysqld_safe --skip-g
2014-06-11 17:23:14
760
原创 Eclipse远程调试hadoop源码
1. 修改对应调试端口之前的一篇blog里讲述了hadoop单机版调试的方法，那种调试只限于单机运行hadoop命令而已，对于运行整个hadoop环境而言是不可取的，因为hadoop会开启多个java进程，如果统一为一个端口启动，则启动会报错说端口被占用，同时对于jdwp agent而言也只能加载一次，故调试时单机只能有一个java进程开启debug模式，其实这个也足够了。通过分析ha
2014-03-25 21:42:12
764
转载 hadoop源码调试
原文地址：http://www.cnblogs.com/end/archive/2011/04/26/2029497.html在使用hadoop的时候，可能遇到各种各样的问题，然而由于hadoop的运行机制比较复杂，因而出现了问题的时候比较难于发现问题。本文欲通过某种方式跟踪Hadoop的运行痕迹，方便出现问题的时候可以通过这些痕迹来解决问题。一、环境的搭建为了
2014-03-25 10:44:50
614
原创 HAMA
org.apache.hadoop.dfs.SafeModeException: Cannot create ***. Name node is in safe mode的解决解决方案：关闭hadoop NameNode的安全模式就行了。bin/hadoop dfsadmin -safemode leave
2014-01-12 16:42:59
601
原创 面试书籍
C语言：《C 和指针》 《 C语言深度剖析》 C++书籍：《深度探索C++对象模型》《STL源码剖析》《Effective C++》 算法：《数据结构与算法（严蔚敏或者李春葆》《算法导论》 面试算法：《编程珠玑》《编程之美》《剑指offer》 计算机网络：《计算机网络》 谢希仁《TCP/IP详解卷1：协议》《计算
2013-10-29 11:03:04
1081
原创 养生
经常走神说明大脑太多时间处于无任务性思维状态，而这是由于脑动力不足导致的。专家说，衰老，并非始自脸上的第一道皱纹，而是从我们的大脑开始的。实际上，脑力衰退从16岁就已经开始了，只不过，我们通常要到四十岁左右才会感觉到。专家说，脑动力不足会让我们记忆力下降、分析复杂问题的能力降低、不分场合地走神儿等。如果脑动力不足发生在驾驶等需要集中注意力的关键时刻，我们的生命安全将会受到威胁。 走神一刻，我
2013-10-28 22:30:06
534
转载 算法导论 第22章 图的基本算法 22.1 图的表示
目录(?)[+]一、综述图的表示方法通常有两种，即邻接表表示法和邻接矩阵表示法。这两种方法都可以表示有向图和无向图1.邻接表表示法（1）用邻接表表示无向图（2）用邻接表表示有向图（3）邻接表的优点及适用场合使用邻接表表示稀疏图比较紧凑2.邻接矩阵表示法（1）用邻接矩阵表示无向图（2）用邻接矩阵表示有向图（3）邻接矩阵的优点与适用场
2013-10-28 10:16:04
643
转载 算法导论-22.4-5-用队列实现拓扑排序
题目：在一个有向无回路图G=(V,E)上，执行拓扑排序的另一种方法是重复地寻找一个入度为0的顶点，将该点输出，并将该顶点及其所有的出边从图中删除。解释如何来实现这一想法，才能使得它的运行时间为O(V+E)。如果G中包含回路的话，这个算法在运行时会发生什么？ 思考：初始时，所有入度为0的顶点入队列while队列不为空，作以下处理： 取队列头结点，并出队列
2013-10-28 10:15:00
768
转载 2014阿里巴巴面试题哈尔滨
20141. 单选题1. 假设把整数关键码K散列到N个槽列表，以下哪些散列函数是好的散列函数A: h(K)=K/N;B: h(K)=1;C: h(K)=K mod N;D: h(K)=(K+rand(N)) mod N, rand(N)返回0到N-1的整数答案：C,选项D不能保证Hash表在O(1)的时间内寻址2. 下面排序算法中，初始数据集的排列顺序对算法的性能无
2013-09-29 19:59:19
851
转载 Hadoop分布式集群配置
硬件环境：安装一个Hadoop集群时，需要专门指定一个服务器作为主节点。三台虚拟机搭建的集群：（搭建集群时主机名不能一样，主机名在/etc/hostname修改）master机器：集群的主节点，驻留NameNode和JobTracker守护进程） dbrg1 192.168.0.102slaves机器：（集群的从节点，驻留DataNode和Task
2013-09-09 09:15:31
631
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人