2015年07月_撸依天

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 redis的安装部署（单机）

1 . 首先安装c的编译环境： yum -y install cpp yum -y install binutils yum -y install glibc yum -y install glibc-kernheaders yum -y install glibc-common yum -y install glibc-devel yum -y

2015-07-30 11:17:51 320

原创 Spark 1.X 大数据平台V2(第四周作业)

1 . 假如数据源来自网络，数据默认会在几个node的内存中缓存住。• A. 1• B. 2• C. 3选B 当数据源来自于网络时（例如通过Kafka、Flume、sockets等等），默认的持久化策略是将数据保存在两台机器上，这也是为了容错性而设计的。2 . Spark Streaming默认持久化的级别是什么？• A. 内存+序列化• B. 内存+非序列化

2015-07-29 14:18:07 464

原创 kill掉yarn正在运行的job/app

启动一个spark streaming，一直在跑，看着烦人，直接杀掉cd /usr/lib/hadoop-yarn/bin ./yarn application -kill application_1436784252938_0013查看状态： ./yarn application -status application_1436784252938_0013

2015-07-29 12:19:29 5677

原创 Hadoop Web UI Queues参数解析

hadoop是通过队列管理集群资源，翻开集群Web UI，找到Schedule查看Queue State : queue 的状态 Used Capacity : 0.0% 已使用资源占队列配置值的百分比Absolute Used Capacity : 0.0% 已使用资源占集群的百分比Absolute Capacity : queue 至少可以使用系统资源占集群的百分比 Absol

2015-07-28 14:46:04 1219

原创 hadoop-CDH5.3 集群搭建（详细）

一. 准备工作规划： 1 . CDH5的YUM源设置：安装httpd作为http的yum源服务[root@JXQ-23-27-48 ~]# yum install httpd配置yum源（需要开通网络80端口）[root@JXQ-23-27-38 ~]# cat /etc/yum.repos.d/cloudera-cdh5.repo [cloudera-cdh5]# Package

2015-07-16 11:36:00 3791

原创 Failed to start Hadoop datanode. Return value: 1

启动某data节点失败：service hadoop-hdfs-datanode startstarting datanode, logging to /var/log/hadoop-hdfs/xxxx.outFailed to start Hadoop datanode. Return value: 1 [FAILED]vim /var/log/hadoop-hdfs/xxx

2015-07-14 11:00:08 2236

原创 hadoop Unhealthy Nodes

http://xxxxxxx:8088/cluster/nodes/unhealthy下查看：有三个节点nodemanager挂掉。 Healthy-report:2/2 local-dirs are bad: /export/hdfs/2/yarn/local,/export/hdfs/1/yarn/local; 2/2 log-dirs are bad: /export/hdfs/2

2015-07-13 18:22:46 2125

原创 hadoop Failed to load class "org.slf4j.impl.StaticLoggerBinder"

[root@JXQ-23-27-40 ~]# hadoop fs -ls /SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".SLF4J: Defaulting to no-operation (NOP) logger implementationSLF4J: See http://www.slf4j.org/code

2015-07-06 17:05:13 1509

转载 Hadoop-CDH4各个脚本文件的作用

1、sbin目录下的 1、distribute-exclude.sh 这个脚本用来将exclude文件分发到各个Namenode上。 2、hadoop-setup-conf.sh 1、这个脚本用来从模板xml配置文件中生成到etc目录下的配置文件。 2、针对特定的配置文件增加配置项 3、

2015-07-01 13:55:34 569

hadoop distcp

distcp一般用于在两个HDFS集群中传输数据,如果集群在hadoop的同一版本上运行，就适合使用hdfs方案： % hadoop distcp hdfs://namenode1/foo hdfs://namenode2/bar

2015-02-05

nagios监控（脚本，插件，操作文档）

包含nagios的server代码，nrpe插件全代码，还有所需全部软件包，安装使用操作文档，截图说明等。

2014-11-10

双机热备（定时，实时同步数据）

rsync的一个插件，用于实现俩台机器间的实时数据同步，另包含俩份文档，一份定时同步操作步骤，一份实时同步操作步骤

2014-11-05

网站上传工具

经典FTP工具稳定，在网站建设时，上传代码到空间服务器或试用的虚拟空间，比较方便。

2013-12-16

windowsFTP

搭建俩台windows机器ftp功能：把下载包里的FTP工具上传到windows服务器安装好之后，并注册个用户，如admin,密码admin 启动ftp服务在本地用一些ftp客户端工具，如xftp，WinSCP等... 跟服务器建立连接，密码用户就用admin OK

2013-09-17

破解方法：下载 PowerDesigner12.5 后有一个 license.lic 和 pdflm12.dll 两个文件，license.lic 是用于破解序号的，pdflm12.dll 是用于替换原来安装后的文件，破解首先用 pdflm12.dll 替换安装要目录的 pdflm12.dll 文件. 然后启动PD，菜单中找到 Tools ==>> License Parameters ==>> 选第一个，然后先load找到下载的 license.lic 文件，重启即破解完成。备注：（如果用的是试用期到期，首先替换pdfml2.dll文件，启动PD后进入注册中心，选第一个下一步，点load加载license.lic文件，下一步，在下拉列表中找到勾选中文，同意注册完成）

2013-09-13

QuickEasyFTPServer4.0.0服务端

需要FTP客户端的请链接：http://download.csdn.net/detail/funk4/5545977

2013-06-08

FlashFXPE_xp510破解版

FlashFXP是一款功能强大的FXP/FTP软件，集成了其它优秀的FTP软件的优点，如CuteFTP的目录比较，支持彩色文字显示；如BpFTP支持多目录选择文件，暂存目录；又如LeapFTP的界面设计。支持目录（和子目录）的文件传输，删除；支持上传，下载，以及第三方文件续传；可以跳过指定的文件类型，只传送需要的本件；可自定义不同文件类型的显示颜色；暂存远程目录列表，支持FTP代理及Socks 3&4；有避免闲置断线功能，防止被FTP平台踢出；可显示或隐藏具有“隐藏”属性的文档和目录；支持每个平台使用被动模式等。

2013-06-08

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人