- 博客(3)
- 资源 (4)
- 收藏
- 关注
转载 HDFS数据存储和删除
HDFS中的数据都是分块存储的,默认块大小为64M,这个值可以从hdfs配置文件中更改dfs.blocksize。这样分快处理的好处是可以增加读取数据的吞吐量,因为可以同时从读取文件的不同分块。 一、数据写入 在客户端想HDFS写数据的过程中,主要分为下面几个过程: 客户端将数据缓存到本地的一个临时文件中;当这个本地的临时文件到达HDFS中的块大小限制时,客户端访问Namenod
2016-11-10 17:17:10 7217
原创 org.apache.hadoop.ipc.RemoteException(java.io.IOException)
[hadoop@master sbin]$ hdfs dfs -mkdir -p /user/oracle/input 16/11/08 09:53:10 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where app
2016-11-08 16:45:34 8223 2
原创 CentOS7集群相互免登录
1、每台机器上执行 ssh-keygen 2、每台机器 ssh-copy-id -i ~/.ssh/id_rsa.pub root@(集群中所有机器ip或host) 3、service sshd restart 4、测试
2016-11-01 19:46:19 898
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人