- 博客(19)
- 资源 (16)
- 收藏
- 关注
原创 centos 配置网卡
完整参数如下,好了,网络配通了。明天继续其它功能测试。[root@centos1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-enp2s0HWADDR=00:E0:69:01:6A:96TYPE=Ethernet#BOOTPROTO=dhcpDEFROUTE=yesPEERDNS=yesPEERROUTES=esIP
2016-07-29 22:08:49 501 3
原创 hadoop 处理文件的过程
注意: 1、如果一个文件的大小小于这个机器上获取的文件的1.1倍时,则会默认为这个文件为一个文件进行处理 2、文件的大小越小对像处理的时间要求就越大 3、一个切片就会交给一个mapTask,也真是消耗时间的原因 4、默认的切片的大小是默认的块的大,即使:splisize = blocksize 5、修改块的大小文件为:hd
2016-07-24 22:10:09 593
原创 hive 的安装
1、下载 wget http://apache.fayea.com/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz2、附权限 chmod a+x apache-hive-2.1.0-bin.tar.gz 3、解压 tar -zxvf apache-hive-2.1.0-bin.tar.gz
2016-07-24 12:35:53 910
原创 JAVA 中 Arrays.sort 中的排序的方法
1、定义 Arrays.sort()方法根据传出参数的长度的大小来判断用哪种排序方法,如果数组的长度小于7用冒泡排序,如果数组长度大于7,将数组分为两部分,前半部分和后半部分分别进行冒泡排序,最后再执行一次总的排序2、源码 static void sort(Object[] a, int lo, int
2016-07-22 22:12:55 8051
原创 hadoop 使用内部RPC技术实现通信
package com.day08.rpc.click;import java.io.IOException;import org.apache.hadoop.HadoopIllegalArgumentException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.ipc.RPC;impor
2016-07-21 23:11:51 585
原创 常见错误
1、hadoop 做scoker 是错误 2016-07-21 23:05:16,303 INFO [main] ipc.CallQueueManager (CallQueueManager.java:(53)) - Using callQueue class java.util.concurrent.LinkedBlockingQueue 2016-07-2
2016-07-21 23:10:01 411
原创 hadoop 总结1
1、hadoop 的核心部件 A. HDFS(分布式文件系统)B. YARN(运算资源调度系统)C. MAPREDUCE(分布式运算编程框架)2、重点组件HDFS:分布式文件系统MAPREDUCE:分布式运算程序开发框架HIVE:基于大数据技术(文件系统+运算框架)的SQL数据仓库工具HBASE:基于HADOOP的分布式海量
2016-07-20 22:52:09 386
原创 hadoop 手机流统计
package com.Example;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.Writable;public class DataWriter implements Writable {// upd
2016-07-20 21:10:40 617
原创 同步到网络时间服务器
第一种方式:同步到网络时间服务器 # ntpdate time.windows.com将硬件时间设置为当前系统时间。 #hwclock –w 加入crontab: 30 8 * * * root /usr/sbin/ntpdate 192.168.0.1; /sbin/hwclock -w 每天的8:30将进行一次时间同步。重启crond服务:servic
2016-07-20 15:58:38 521
原创 namenode正处于safemode状态,怎么处理?
解释:safemode是namenode的一种状态(active/standby/safemode安全模式)namenode进入安全模式的原理: a、namenode发现集群中的block丢失率达到一定比例时(0.01%),namenode就会进入安全模式,在安全模式下,客户端不能对任何数据进行操作,只能查看元数据信息(比如ls/mkdir) b、如何退出安全模式?找到问题
2016-07-20 15:40:16 7059
原创 HDFS 冗余数据块的自动删除
在日常维护hadoop集群的过程中发现这样一种情况:某个节点由于网络故障或者DataNode进程死亡,被NameNode判定为死亡,HDFS马上自动开始数据块的容错拷贝;当该节点重新添加到集群中时,由于该节点上的数据其实并没有损坏,所以造成了HDFS上某些block的备份数超过了设定的备份数。通过观察发现,这些多余的数据块经过很长的一段时间才会被完全删除掉,那么这个时间取决于什么呢?
2016-07-20 15:31:08 1473
原创 hadoop datanode 节点超时时间设置
定义:datenode 与namenode 之间的通信是通过心跳的机制,当超过一定的时间则默认为datanode 为死亡,默认的死亡的事件为:10分钟+30秒 ,可同一下配置文件配置:datanode进程死亡或者网络故障造成datanode无法与namenode通信,namenode不会立即把该节点判定为死亡, 要经过一段时间,这段时间暂称作超时时长。H
2016-07-20 15:28:35 2707
转载 hadopp 的机架感知
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/519351691.背景 Hadoop在设计时考虑到数据的安全与高效,数据文件默认在HDFS上存放三份,存储策略为本地一份,同机架内其它某一节点上一份,不同机架的某一节点上一份。这样如果本地数据损坏,节点可以从同一机架内的相邻节点拿到数据,速度肯定比从跨机架节
2016-07-20 15:13:30 439
原创 linux 软件常见问题以及解决方案
问题:Loaded plugins: fastestmirror, langpacks Existing lock /var/run/yum.pid: another copy is running as pid 14095. Another app is currently holding the yum lock; waiting for it
2016-07-15 21:20:49 440
原创 hadoop WordCount源码
前提为:TokenizerMapper、IntSumReducer、IntSumReducer、Text、IntWritable 类在同一个目录下package org.apache.hadoop.examples;import java.io.PrintStream;import org.apache.hadoop.conf.Configuration
2016-07-13 17:20:10 439
原创 centos 下 redis 下载与安装
1、官网 http://redis.io/2、下载 wget http://download.redis.io/releases/redis-3.2.1.tar.gz3、 解压 tar -zxvf redis-3.2.1.tar.gz4、 进入目录 cd redis-3
2016-07-12 13:43:06 581
转载 hadoop 图例
1、以下是Hadoop的图文详解 1)、当hadoop运行时,HDFS的DATENODE 与mapreduce 的联系是通过细条的形式联系的,没三秒通信一次当十分钟没有韩慧结果是,hdfs则会认为datanode 是坏的,在nameNode 重点的元数据也会。 2、Secondary namenod
2016-07-06 11:33:33 677
原创 hadoop wordcount 实例
1、wordcount的统计 [root@hadoop1 bin]# jps 6147 NameNode 6911 NodeManager 14451 Jps6810 ResourceManager6576 SecondaryNameNode6311 DataNode2、启动命令 cd /usr/local/hadoop/had
2016-07-06 11:23:02 1758
greenplum-db-7.1.0-el8-x86-64和greenplum-db-7.2.0-el9-x86-64下载
2024-07-24
Greenplum不同集群之间同步数据方法及性能.pdf
2019-06-14
Greenplum数据库巡检报告.pdf
2019-06-14
Greenplum数据库使用总结
2019-01-02
Greenplum释放AO表SHELL脚本
2018-10-17
小徐的《BigData总结》
2018-08-13
cronhub调度器需要的数据库
2018-04-18
Myeclipse10破解工具
2017-04-10
spark HTML查看文档
2017-02-26
CDH安装word
2017-02-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人