- 博客(12)
- 收藏
- 关注
RSS订阅转载 Hadoop 调优 性能参数
主要设置参数：mapred.task.profile 是否对任务进行profiling，调用java内置的profile功能，打出相关性能信息mapred.task.profile.{maps|reduces} 对几个map或reduce进行profiling。非常影响速度，建议在小数据量上尝试mapred.job.reuse.jvm.num.tasks 1...
2015-12-04 15:12:00
107
转载 Hadoop 常见问题 常见错误
启用Heap DumpIn each script, there is an export for *_OPTS, which contains the options passed to the JVM. For example, in the hadoop-env.sh script, the line that begins with export HADOOP...
2015-11-21 15:23:00
124
转载 Windows ssh ubuntu / Linux
1.ssh的安装gavin@ubuntu:~$ sudo apt-get install ssh2.生成密钥[html]view plaincopyprint?gavin@ubuntu:~$ssh-keygen[plain]view plaincopyprint?Generatingpublic/priv...
2015-11-03 11:04:00
121
转载 Hadoop Sequencefile using Hadoop 2 Apis
public class SequenceFilesTest { @Test public void testSeqFileReadWrite() throws IOException { Configuration conf = new Configuration(); FileSystem fs = FileSystem.getLocal(conf...
2015-10-21 18:19:00
77
转载 Hadoop io 文件读写
前言在本文档中，你将了解到如何用Java接口读写Hadoop分布式系统中的文件，以及编码的转换等问题。其中有些细节，在你不知道的时候，是非常容易出错的。这边读写文件分以下三种情况：1. 在非Map Reduce过程中读写分布式文件系统中的文件比如说，你想自己遍历一个文件，想截断一个文件，都属于这种方式。一般该过程发生在run函数中，程序员处理Map Reduce产生的中间文件...
2015-10-19 15:49:00
86
转载 Windows 抗锯齿 曲线
GDI MoveTo和LineTo等函数无法实现抗锯齿。可以通过算法设置像素实现平滑样式。CodeProject上搜索GDI平滑的例子。使用GDI+。主要API：SetSmoothingMode，DrawLine等。参考：http://bbs.csdn.net/topics/390688409http://wenku.baidu.com/link?url=lq6Bt...
2015-10-10 12:57:00
266
转载 Windows GDI GDI+ DC
GDI GDI+GDI在全称是Graphics Device Interface，即图形设备接口。是图形显示与实际物理设备之间的桥梁。GDI接口是基于函数，虽然使程序员省力不少，但是编程方式依然显得麻烦。例如显示一张位图，我们需要进行“创建位图，读取位图文件信息，启用场景设备，调色板变化“等一系列操作。然而有了GDI+，繁琐的步骤再次被简化。顾名思义，GDI+就是GDI的增强...
2015-10-10 12:51:00
231
转载 Ubuntu和windows文件传输共享
一、使用飞鸽传书实现功能目前在linux下使用飞鸽传书的比较流行的软件有iptux和ipmsg。1.1iptuxiptux是ubuntu中一个可以和windows下大家熟悉的飞鸽传书互传文件的软件，在ubuntu软件中心中可以找安装。个人体验还不错，传输速度15M/s左右，（在ubuntu中互传速度能更好）兼容windows下的各种飞鸽传书版本。安装iptux比较...
2015-10-06 15:50:00
484
转载 C++ 文件逐行读入 并按空格分割
#include <iostream>#include <fstream>#include <sstream>using namespace std;int main(){ ifstream in("in.txt"); string line; while (getline(in, line)) { stringstream ss(lin...
2015-06-21 17:01:00
2526
转载 Ubuntu Nvidia显卡 OpenGL开发
1. 安装Nvidia显卡的驱动 http://www.cnblogs.com/chinesedream/articles/4591921.html2. 安装Nvidia显卡的开发包 nvidia-＊-dev3. 安装其他OpenGL的开发包 http://www.cnblogs.com/chinesedream/articles/4592095.html...
2015-06-21 16:48:00
315
转载 Debugging Segmentation Fault
We are going to use gdb to figure out why the following program causes a segmentation fault. The program is meant to read in a line of text from the user and print it. However, we will see that i...
2015-01-22 13:12:00
82
转载 Linux Shell Color Solution
Editor ~/.bash_profilealias ls="ls -G"# for colorexport CLICOLOR=1# \h:\W \u\$export PS1='\[\033[01;33m\]\u@\h\[\033[01;31m\] \W\$\[\033[00m\] '注：如果没有生效: $source .bash_profile...
2015-01-07 18:23:00
101
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人