![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
chao_ggggg
这个作者很懒,什么都没留下…
展开
-
关于部署大数据开发环境的几个笔记
大数据spark开发环境搭建原创 2016-09-09 10:03:17 · 2332 阅读 · 0 评论 -
java客户端操作hdfs权限问题初探
java客户端操作hdfs权限问题初探学习hadoop hdfs时,用java client操作hdfs,想熟悉filesystem的javaapi,但是在上传文件时报错:org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission d原创 2017-02-15 15:50:01 · 1266 阅读 · 0 评论 -
windows平台下用eclipes链接hadoop 2.7.3 操作hdfs遇到的问题和解决(一)
第一步eclipse新建maven项目,pom.xml中添加hadoop依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.3</version> </dependency>新建测试代码,为了解hdfs java api大概(有原创 2017-02-16 10:56:33 · 1692 阅读 · 0 评论 -
Hadoop权威指南-笔记1
Hadoop 和关系型数据库的比较问题:为什么不用基于很多磁盘的数据库来做大型数据存储和数据分析?在有关系型数据库存在的前提下,hadoop存在的意义是什么?一个事实 磁盘设备的发展趋势,seek的速度没有 transfer的速度提升的快,seek对应着磁盘操作的时延,transfer对应着磁盘带宽这就是说,如果seek的是对于数据集的小部分数据,基于B-Tree的关系型数据库可以work w原创 2017-03-13 15:15:13 · 276 阅读 · 0 评论 -
centos部署HBase
1,三台机器安装zookeeper参考: Hbase安装配置(含分布式ZooKeeper) 部署与管理ZooKeeper(转)1.下载:wget http://apache.stu.edu.tw/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz2.解压到/usr/local/zookeeperchown -R hadoop:hadoop /usr/原创 2017-03-16 15:51:25 · 706 阅读 · 0 评论 -
hbase1.2.5配置
hbase1.2.5配置dfs.journalnode.rpc-address 0.0.0.0:8485 hdfs-default.xmlio.storefile.bloom.block.size 131072 hbase-default.xmlyarn.ipc.rpc.class org.apache.hadoop.yarn.ipc.HadoopYarnProtoRPC yarn-de原创 2017-08-18 11:22:46 · 985 阅读 · 0 评论