- 博客(11)
- 资源 (131)
- 收藏
- 关注
原创 Hadoop之——机架感知配置
1.背景 Hadoop在设计时考虑到数据的安全与高效,数据文件默认在HDFS上存放三份,存储策略为本地一份,同机架内其它某一节点上一份,不同机架的某一节点上一份。这样如果本地数据损坏,节点可以从同一机架内的相邻节点拿到数据,速度肯定比从跨机架节点上拿数据要快;同时,如果整个机架的网络出现异常,也能保证在其它机架的节点上找到数据。为了降低整体的带宽消耗和读取延时,HDFS会尽量让读取程
2016-07-17 22:46:28 14997 1
原创 hadoop之——datanode节点超时时间设置
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/51935131datanode进程死亡或者网络故障造成datanode无法与namenode通信,namenode不会立即把该节点判定为死亡,要经过一段时间,这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout,则超时时长的计算公式为...
2016-07-17 22:35:21 2031
原创 Hadoop之——HDFS冗余数据块的自动删除
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/51935091在日常维护hadoop集群的过程中发现这样一种情况:某个节点由于网络故障或者DataNode进程死亡,被NameNode判定为死亡,HDFS马上自动开始数据块的容错拷贝;当该节点重新添加到集群中时,由于该节点上的数据其实并没有损坏,所以造成了HDFS上某些blo...
2016-07-17 22:30:52 3807
原创 Storm之——配置项详解
配置项配置说明storm.zookeeper.serversZooKeeper服务器列表storm.zookeeper.portZooKeeper连接端口storm.local.dirstorm使用的本地文件系统目录(必须存在并且storm进程可读写)storm.clus
2016-07-16 14:23:34 12721
原创 Redis之——CentOS 6.5安装配置redis
1、安装需要的支持环境在安装Redis之前首要先做的是安装Unix的Tcl工具,如果不安装的话后期将无法对Redis进行测试。在后期执行make test的时候返回如下错误信息:You need tcl 8.xuyao de5 or newer in order to run the Redis test,具体的流程为:cd /usr/local/srcwget http://downl
2016-07-13 13:00:13 3942
原创 VMware之——You have configured this virtual machine to use a 64-bit guest operating system. However,
本机安装的是WIN 7 ,详细版本是:Windows 7 Ultimate, 64-bit 6.1.7601, Service Pack 1 。虚拟机版本:VMware9.在虚拟机上安装centos 6.5 64位版本时,报如下错误:You have configured this virtual machine to use a 64-bit guest operating system
2016-07-11 20:22:10 1930
原创 MySQL之——mysql 1449 : The user specified as a definer ('root'@'%') does not exist 解决方法
权限问题,授权 给 root 所有sql 权限mysql> grant all privileges on *.* to root@"%" identified by ".";Query OK, 0 rows affected (0.00 sec)mysql> flush privileges;Query OK, 0 rows affected (0.00 sec)
2016-07-11 14:37:57 6753
原创 Redis之——配置文件详解
不多说,直接上解析daemonize yes #是否以后台进程运行,默认为no pidfile /var/run/redis.pid #如以后台进程运行,则需指定一个pid,默认为/var/run/redis.pid bind 127.0.0.1 #绑定主机IP,默认值为127.0.0.1(注释) port 6379 #监听端口,默认为6379 timeout 300 #超时时间,默认
2016-07-09 22:51:01 9876 1
原创 Hadoop之——MapReduce Job的几种启动方式(杂记)
1、在eclipse中开发好mr程序(windows或linux下都可以),然后打成jar包(wc.jar),上传到服务器 执行命令 hadoop jar wc.jar cn.itheima.hadoop.MainClassRunner 这种方式会将这个job提交到yarn集群上去运行 2、在Linux的eclipse中直接启动Runner类的
2016-07-07 23:26:45 5333 1
原创 Maven之——eclipse加载maven工程提示pom.xml无法解析org.apache.maven.plugins:maven-resources-plugin:2.4.3解决方案
在别的机子上创建一个maven工程,复制到本机上导入,出现pom.xml文件错误,提示错误如下Multiple annotations found at this line:- Execution default-testResources of goal org.apache.maven.plugins:maven-resources- plugin:2.4.3:test
2016-07-05 10:15:42 41364 3
原创 SQL Server之——安装MSSQL 提示操作系统不符合最低要求
安装SQL server2012 时,提示操作系统不符合最低要求,遇见这种情况,是因为安装的系统版本不是SP1版的,下面说一下解决办法。系统配置为:win 7 操作系统SQL server2012sp1 补丁包安装SQL server时提示如图所示的错误:解决方案一(推荐)在windows的 官网(链接为https://www.microsoft.com/zh-cn
2016-07-03 11:49:13 22267
Navicat for Premium.rar
2020-07-30
Flume采集Nginx日志到新版Hive.rar
2019-09-20
Flume采集Nginx日志到Hive.rar
2019-08-01
Apache标准Log,Hive测试使用
2019-03-17
glibc-2.14 Hadoop专属glib
2019-03-12
avro-1.8.1
2019-02-28
freefloatftpserver1.0 漏洞重现
2019-02-14
VulnServer
2019-01-16
Easy File Sharing Web Server 7.2
2019-01-15
ImmunityDebugger
2019-01-15
sqoop1.46和1.47
2018-09-12
基于java开发的功能强大、配置灵活的数据库之间的同步工具
2018-05-16
《Spring IOC核心技术》- 冰河原创电子书
2023-01-28
冰河的渗透实战笔记-冰河.pdf
2021-05-18
Docker+K8S+GitLab/SVN+Jenkins+Harbor持续集成yaml安装文件
2021-05-12
深入理解高并发编程(冰河原创电子书)
2021-04-28
FastDFS6.06完整安装包
2021-04-13
MySQL8.0.19安装包
2021-04-10
流程引擎(Flowable+Activiti)
2020-07-28
nexus-2.11.2-03-bundle.rar
2020-06-15
Navicat For MongoDB 15.0.6
2020-06-13
linux库:compat-libstdc++-33-3.2.3-61
2020-04-20
MySQL各版本my.cnf配置文件.rar
2020-01-12
MySQL 8.0.18源码安装包.rar
2019-11-23
升级gcc与cmake所需的安装文件.rar
2019-11-23
CentOS6.8 64位安装镜像.rar
2019-11-16
性能测试工具(postman+ab+jmeter).rar
2019-10-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人