- 博客(3)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 HDFS数据存储和删除
HDFS中的数据都是分块存储的，默认块大小为64M，这个值可以从hdfs配置文件中更改dfs.blocksize。这样分快处理的好处是可以增加读取数据的吞吐量，因为可以同时从读取文件的不同分块。一、数据写入在客户端想HDFS写数据的过程中，主要分为下面几个过程：客户端将数据缓存到本地的一个临时文件中；当这个本地的临时文件到达HDFS中的块大小限制时，客户端访问Namenod
2016-11-10 17:17:10
7212
原创 org.apache.hadoop.ipc.RemoteException(java.io.IOException)
[hadoop@master sbin]$ hdfs dfs -mkdir -p /user/oracle/input16/11/08 09:53:10 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where app
2016-11-08 16:45:34
8223
2
原创 CentOS7集群相互免登录
1、每台机器上执行ssh-keygen2、每台机器ssh-copy-id -i ~/.ssh/id_rsa.pub root@(集群中所有机器ip或host)3、service sshd restart4、测试
2016-11-01 19:46:19
897
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人