关闭

Hadoop集群优化-关闭THP

操作系统重启导致Transparent Hugepages(THP,页面内存透明化)开启 为提升hadoop性能,hadoop环境上要求关闭Transparent Hugepages(THP,页面内存透明化), 但是操作系统重启后会自动开启Transparent Hugepages(THP,页面内存透明化)。 在Suse系统,解决方法:  /etc/init.d 下的几个档案  ...
阅读(672) 评论(0)

Hadoop压缩类型

压缩类型 工具 算法 文件名后缀 可分割 DEFLAT 无 DEFLAT .deflat 不 gzip gzip DEFLAT .gz 不 bzip2 bzip2 bzip2 .bz2...
阅读(310) 评论(0)

BookKeeper

BookeKeeper具有副本的功能,目的是提供可靠地日志记录。...
阅读(295) 评论(0)

Hadoop2.2.0 HA高可用分布式集群搭建(hbase,hive,sqoop,spark)

1 需要软件 Hadoop-2.2.0 Hbase-0.96.2(这里就用这个版本,跟Hadoop-2.2.0是配套的,不用覆盖jar包什么的) Hive-0.13.1 Zookeepr-3.4.6(建议使用Zookeepr-3.4.5,这样就不用替换storm和hive里面的zookeepr-3.4.5.jar了) Sqoop1.4.5 Scala-2.10.4 Spark-1.0...
阅读(1443) 评论(0)

取每个月最后一天的日期

下面脚本为取出上个月最后一天的日期: #/bin/bash                                                                 day_num=`date +%-d`                                                                              --取出当前日...
阅读(399) 评论(0)

storm解除twitter4jar包依赖的方法

在进行storm构建时,经常性遇到twitter4j-core和twitter4j-stream组件报错,并且下载的时候根本不动,主要原因twitter这些关键字被和谐过滤了。 找到网上说更改version的方法,更改完也一直不成功,然后就干脆自己直接下载jar包,自己安装了。 安装方法如下: 1.下载twitter4j.zip,地址为: http://pan.baidu.com/s/1...
阅读(448) 评论(0)

storm和spark的比较

对Spark、Storm以及Spark Streaming引擎的简明扼要、深入浅出的比较,原文发表于踏得网。 Spark基于这样的理念,当数据庞大时,把计算过程传递给数据要比把数据传递给计算过程要更富效率。每个节点存储(或缓存)它的数据集,然后任务被提交给节点。 所以这是把过程传递给数据。这和Hadoop map/reduce非常相似,除了积极使用内存来避免I/O操作,以使...
阅读(777) 评论(0)

好用的linux命令

1. 查看cpu more/proc/cpuinfo | grep name | cut -f2 -d: | uniq -c 2. 查看...
阅读(305) 评论(0)

用scp后台传输文件,用rsync进行断点续传

用nohup命令 $nohup scpfile_to_copy user@server:/path/to/copy/the/file > nohup.out 2>&1    这时候还不是在后台运行,你需要输入密码, 接着按ctr+z去暂停命令,   然后用bg命令   Shell代码  bg   这个时候, 即使你关闭PUTTY, SCP还是在后台运行, 直到...
阅读(720) 评论(0)

记录hadoop几个好用的命令行操作

1. distp...
阅读(517) 评论(0)

栈和堆的区别

栈是有编程器在程序运行时分配的空间,有操作系统维护。堆是由函数分配的内存块(如c中的malloc()),内存的管理有程序员手动控制。 区别: 1.管理方式不同: 程序员在运行时栈由操作系统自动管理,无须程序员手工控制;而堆空间的申请、释放工作由程序员控制,容易产生内存泄露。 2.空间大小不同 栈是向低地址扩展,是一快连续的内存区域。即栈顶的地址和栈的最大容量是系统预先规定好的,当申请的空...
阅读(408) 评论(0)

栈和堆的区别

栈是有编程器在程序运行时分配的空间,有操作系统维护。堆是由函数分配的内存块(如c中的malloc()),内存的管理有程序员手动控制。 区别: 1.管理方式不同: 程序员在运行时栈由操作系统自动管理,无须程序员手工控制;而堆空间的申请、释放工作由程序员控制,容易产生内存泄露。 2.空间大小不同 栈是向低地址扩展,是一快连续的内存区域。即栈顶的地址和栈的最大容量是系统预先规定好的,当申请的空...
阅读(502) 评论(0)

最佳路由选择原则

1.有效的下一跳IP地址:路由进程收到更新和其他信息后,路由器首先检查路由的下一跳IP地址是否有效 2.度量值:如果下一跳有效,路由协议将按度量值最小的原则来选择到给定目的地的最佳路径。然后,路由协议将选择的路径加入到路由表中 3.管理距离:接下来需要考虑的是管理距离。如果从不同路由获悉了多条前往同一个网络的路由(前缀相同),路由器将根据路由来源的管理距离来决定哪条路由加入到路由表中。管理距离...
阅读(560) 评论(0)

忘记root密码,修改的方法

1.      假若忘记用户密码,可以通过在root上passwd改变密码 2.      如果忘记了root密码,系统都进步了要怎么办呢? a)      此时只能进入当用户模式进入系统,因为在进入单用户模式时,是不用密码的,且不启动任何服务。 b)     进入单用户模式:在启动系统,进入倒数的界面时,按上下键进入引导界面。 按“e”课进入编辑界面 进入ker...
阅读(343) 评论(0)

删除找不到指定文件夹的方法

1、用文件编辑器,键入以下列命令: DEL /F /A /Q \\?\%1 RD /S /Q \\?\%1 并保存为. xxx.bat的批处理文件. 2 再把要删除的文件或者目录直接拖放到这个bat文件图标上就可以删除了....
阅读(333) 评论(0)
    个人资料
    • 访问:8122次
    • 积分:206
    • 等级:
    • 排名:千里之外
    • 原创:11篇
    • 转载:3篇
    • 译文:1篇
    • 评论:0条
    文章分类