- 博客(91)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 gitlab rpm安装
安装依赖组件sudo yum install openssh-serversudo yum install postfixsudo yum install croniesudo service postfix startsudo chkconfig postfix onsudo lokkit -s http -s ssh下载安装gitlab rpm包curl -O https://down
2015-04-14 12:21:32
3055
原创 mount.md
linux 挂在命令挂载ISO镜像#mount -o loop ISO文件名 目的目录#-t 挂载类型$ mount -o loop -t iso9660 /** /mydisk.iso /mnt/vcdrom 如：#mount -o loop -t iso9660 /usr/local/tooldisk/mydisk3.iso /mnt/vcdrom
2015-04-14 09:35:41
387
转载 欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2015-04-13 09:59:05
379
原创 mapreduce性能调优
mapreduce性能调优mapreduce参数配置优化map端：map执行输出时首先是保存在缓存中，这个缓存的默认大小是100MB，由参数io.sort.mb来控制。当缓存达到一定比例时，缓存中数据将写入磁盘中，这个比例由io.sort.spill.percent来控制。在缓存写入磁盘之前，可以看到还有一个分割、排序和合并的过程。缓存中的数据在每次输出到磁盘时都会生成一个
2014-05-05 13:20:49
984
原创 mapreduce任务执行的单步跟踪
本文仅作为bmapreduce程序调试除了在代码中添加日志来判断分析问题外，hadoop还提供了IsolationRunner工具，但是需要eclipse的远程调试功能。集群下实现mapreduce任务的单步跟踪：1、保存失败任务的临时数据和目录。设置keep.failed.task.files为true设置此参数后hadoop会保留此任务的临时数据和目录。如：运行时的job.
2014-05-05 10:35:03
891
原创 mapreduce任务出错最大尝试次数
一个任务出现失败时，tasktracker会将此任务的失败信息报告给jobtracker，jobtracker会分配新的节点执行此任务。这种情况下不会影响整个作业的完整执行。但是如果容易任务出现多次失败，且失败次数超出失败的最大指定次数，那么作业会在未完成的情况下被终止。mapred-site.xml:hadoop1.x: mapred.max.map.attempts
2014-05-03 14:25:48
1525
原创 hadoop2.2.0本地库替换--centos6.4-64位
环境：centos6.4 64位；Hadoop2.2.0用编译好的Hadoop2.2.0中的$hadoop2.2.0/lib/native文件夹 替换现有集群上每个节点的$hadoop2.2.0/lib/native文件夹
2014-05-03 14:25:46
447
原创 hadoop2.2.0编译--centos6.4-64位
环境centos6.4 64位软件下载地址:http://pan.baidu.com/s/1jGFnrJw参考资料：http://ju.outofmemory.cn/entry/64668参考资料：http://f.dataguru.cn/thread-189176-1-1.htmlHadoop2.2.01、安装jdk本次使用版本：jdk-6u31-linux-amd64.rp
2014-05-03 14:25:44
443
原创 hadoop2.2.0编译--错误解决办法
环境:centos 6.4 64位完整编译过程：http://www.cnblogs.com/orangeann/p/3695373.html1、[INFO] ------------------------------------------------------------------------[ERROR] Failed to execute goal org.apa
2014-05-03 14:25:42
764
原创 《java核心技术--卷一》equals方法
java语言规范要求equals的特性：1）自反性：对于任何非空引用x，x.equals(x）应返还true。2）对称性：对于任何x,y，x.equals(y)与y.equals(x) 返回值相同。3）传递性：对于任何引用x,y,z，若x.equals(y)，y.equals(z)则x.equals(z)4）一致性：如果x和y引用的对象没有发生变化，则反复调用x.equals(y)
2014-05-03 14:25:40
528
原创 Zookeeper 集群搭建
参考资料：http://zookeeper.apache.org/doc/r3.4.6/zookeeperAdmin.html 系统要求：http://zookeeper.apache.org/doc/r3.4.6/zookeeperAdmin.html#sc_systemReq 安装参考：http://zookeeper.apache.org/doc/r3.4.6/zookeeperAdmin.
2014-05-03 14:25:38
429
原创 linux nfs安装、配置
参考资料：http://blog.chinaunix.net/uid-26284318-id-3111651.html环境：centos 6.4nfs服务端：ip=server_ip1、centos nfs安装 yum -y install nfs-utils rpcbind2、创建同步文件夹 mkdir /usr/local/nfs_syn_dir3、配置/et
2014-05-03 14:25:34
419
原创 linux jdk安装
环境：centos 6.41、下载jdk http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase6-419409.html#jdk-6u3-oth-JPR2、给下载的jdk添加执行权限 chmod +x jdkxxx3、jdk为bin文件，则执行安装 .
2014-05-03 14:25:32
403
原创 hadoop 2.2完全分布式搭建 --准备
环境：centos6.4 64位1、禁用selinux（所有节点)、关闭防火墙（所有节点必须做） 禁用selinux：$vim /etc/sysconfig/selinux将其中属性SELINUX修改为：SELINUX=disabled 关闭防火墙：$service iptables stop #暂时关闭防火墙，重启后失效$chkconfig ipta
2014-05-03 14:25:29
402
原创 本地yum源搭建
环境centos6.41、搭建可以匿名访问的ftp2、将系统镜像提取到ftp ftp://192.168.20.100/CentOS_6.4_Final3、备份repo mkdir /etc/yum.repos.d/bak mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/bak/4、在/etc/yum.repos.d下创建
2014-05-03 14:25:27
444
原创 简易vsftp搭建
环境：centos6.4参考资料：http://blog.csdn.net/wildin/article/details/5878186http://wiki.ubuntu.org.cn/Vsftpd#.2Fetc.2Fvsftpd.conf1、保证yum源可用，运行命令： yum -y install vsftpd2、(无需配置)配置，编辑vsftpd的配置文件
2014-05-03 14:25:25
443
原创 mac os下Python模块安装错误
原文地址：http://blog.csdn.net/xanxus46/article/details/22325253环境：mac os x 10.9.2python版本：2.7.5easy_install对于Python相当于apt之于Ubuntu，安装其他库十分方便，但是最近安装PIL(Python Imaging Library)，这个强大的图形库时竟然出错了，十分抓狂。错误信息
2014-05-03 14:25:21
719
原创 hadoop2.2.0 maprd-site.xml--jobhistory properties
property> name>mapreduce.jobhistory.addressname> value>0.0.0.0:10020value> description>MapReduce JobHistory Server IPC host:portdescription>property>注释：历史作业ipc的ip端口。property> nam
2014-05-03 14:25:19
424
原创 hadoop2.2.0 mapred-site.xml--Job Notification Configuration
property> name>mapreduce.job.end-notification.urlname> http://localhost:8080/jobstatus.php?jobId=$jobId&jobStatus=$jobStatus--> description>Indicates url which will be called on completion o
2014-05-03 14:25:17
659
原创 hadoop2.2.0 mapred-site.xml--end of node health script variables
property> name>mapreduce.job.counters.limitname> value>120value> description>Limit on the number of user counters allowed per job. description>property>注释：property> name>mapred
2014-05-03 14:25:15
346
原创 hadoop2.2.0 maprd-site.xml--Node health script variables
property> name>mapreduce.tasktracker.healthchecker.script.pathname> value>value> description>Absolute path to the script which is periodicallyrun by the node health monitoring service to d
2014-05-03 14:25:13
553
原创 hadoop2.2.0 maprd-site.xml--Proxy Configuration
property> name>mapreduce.jobtracker.taskcache.levelsname> value>2value> description> This is the max level of the task cache. For example, if the level is 2, the tasks cached are at the
2014-05-03 14:25:11
579
原创 hadoop2.2.0 mapred-site.xml--i/o properties
property> name>mapreduce.task.io.sort.factorname> value>10value> description>The number of streams to merge at once while sorting files. This determines the number of open file handles.de
2014-05-03 14:25:08
630
原创 hadoop2.2.0 mapred-site.xml
property> name>mapreduce.jobtracker.jobhistory.locationname> value>value> description> If job tracker is static the history files are stored in this single well known place. If No value i
2014-05-03 14:25:06
418
原创 hadoop2.2.0 yarn-site.xml--WebAppProxy Configuration
property> description>The kerberos principal for the proxy, if the proxy is not running as part of the RM.description> name>yarn.web-proxy.principalname> value/> property>注释
2014-05-03 14:25:04
1321
原创 hadoop2.2.0 yarn-site.xml--Map Reduce configuration
property> name>yarn.nodemanager.aux-services.mapreduce.shuffle.classname> value>org.apache.hadoop.mapred.ShuffleHandlervalue> property>注释： property> name>mapreduce.job.jarnam
2014-05-03 14:25:02
379
原创 hadoop2.2.0 yarn-site.xml--Node Manager Configs
property> description>address of node manager IPC.description> name>yarn.nodemanager.addressname> value>0.0.0.0:0value> property>注释： property> description>Environment v
2014-05-03 14:25:00
1705
原创 hadoop2.2.0 yarn-site.xml--Resource Manager Configs
property> description>The address of the applications manager interface in the RM.description> name>yarn.resourcemanager.addressname> value>0.0.0.0:8032value> property>注释： p
2014-05-03 14:24:58
790
原创 hadoop2.2.0 yarn-site.xml--IPC Configs
property> description>Factory to create client IPC classes.description> name>yarn.ipc.client.factory.classname> property>注释： property> description>Type of serialization to u
2014-05-03 14:24:56
405
原创 hadoop2.2.0 hdfs-site.xml
property> name>hadoop.hdfs.configuration.versionname> value>1value> description>version of this configuration filedescription>property>注释： property> name>dfs.namenode.logging.l
2014-05-03 14:24:54
542
原创 hadoop2.2.0 core-site.xml--HTTP web-consoles Authentication
property> name>hadoop.http.authentication.typename> value>simplevalue> description> Defines authentication used for Oozie HTTP endpoint. Supported values are: simple | kerberos | #A
2014-05-03 14:24:51
523
原创 hadoop2.2.0 core-site.xml--Tfile
property> name>tfile.io.chunk.sizename> value>1048576value> description> Value chunk size in bytes. Default to 1MB. Values of the length less than the chunk size is guaranteed
2014-05-03 14:24:49
391
原创 hadoop2.2.0 core-site.xml--FTP file system
property> name>ftp.stream-buffer-sizename> value>4096value> description>The size of buffer to stream files. The size of this buffer should probably be a multiple of hardware page size (
2014-05-03 14:24:47
396
原创 hadoop2.2.0 core-site.xml--Kosmos File System
property> name>kfs.stream-buffer-sizename> value>4096value> description>The size of buffer to stream files. The size of this buffer should probably be a multiple of hardware page size (
2014-05-03 14:24:45
427
原创 hadoop2.2.0 core-site.xml--s3native File System
property> name>s3native.stream-buffer-sizename> value>4096value> description>The size of buffer to stream files. The size of this buffer should probably be a multiple of hardware page s
2014-05-03 14:24:43
529
原创 hadoop2.2.0 core-site.xml--s3 File System
property> name>s3.stream-buffer-sizename> value>4096value> description>The size of buffer to stream files. The size of this buffer should probably be a multiple of hardware page size (4
2014-05-03 14:24:41
414
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人