- 博客(7)
- 资源 (4)
- 收藏
- 关注
转载 最全的数据结构解析与归纳
最全的数据结构解析与归纳 [复制链接] 断天涯大虾电梯直达楼主 发表于 2016-8-10 10:52:39 | 只看该作者 |只看大图 本帖最后由 断天涯大虾 于 2016-11-28 10:55 编
2016-11-28 18:32:34 593
转载 查看修复HDFS中丢失的块
查看修复HDFS中丢失的块检测缺失块1 hdfs fsck -list-corruptfileblocks1 hdfs fsck / | egrep -v '^\.+$' | grep -v eplica查看上面某一个文件的情况1 hdfs fsck /path/to/corrupt/file -locations -blocks -fi
2016-11-24 16:28:40 10545
转载 安装ubuntu14.04.2集群环境下的cloudera5.4.7+CDH5
一,虚拟机1,vSphere安装在服务器上裸装vSphere6.0.0,在本机windows安装vSphere Client2,ubuntu14.04单节点安装在vSphere上新建1台虚拟机。之后安装ubuntu14.04完成后,注意将光驱配置修改为“客户端”配置,之后按enter继续完成ubuntu的安装。进入系统后,修改/etc/network/inter
2016-11-24 11:27:16 613
转载 An introduction to JSON support in Spark SQL
An introduction to JSON support in Spark SQLby Yin Huai Posted in ENGINEERING BLOGFebruary 2, 2015Note: Starting Spark 1.3, SchemaRDD will be renamed to DataFrame.In this blog post,
2016-11-22 08:49:59 464
转载 hbase 6000 端口问题处理
单台master的配置hbase.mastermaster:60000这是我们通常配置的,这样就定义了master是的ip和端口。但是当我们需要配置多台master进行,我们只需要提供端口,因为选择真正的master的事情会又zookeeper去处理。多台master的配置 hbase.master.port
2016-11-21 16:48:52 4428
转载 实现CDH支持Spark SQL功能
实现CDH支持Spark SQL功能标签: sparkclouderasqlCDHthirft server2016-08-11 13:47 384人阅读 评论(0) 收藏 举报 分类:spark(2) 版权声明:本文为博主原创文章,未经博主允许不得转载。CDH内嵌Spark版本不支持spark-sql,可能是因为cloude
2016-11-16 13:48:52 4406
转载 数据倾斜是多么痛?spark作业调优秘籍
数据倾斜是多么痛?spark作业调优秘籍不鸡道叫啥2016/11/09 有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证Spark作业的性能。数据倾斜是多么痛?!!!数据倾斜如果能够解决的话,代表对spar
2016-11-10 18:11:27 2393
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人