- 博客(7)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 最全的数据结构解析与归纳
最全的数据结构解析与归纳 [复制链接] 断天涯大虾电梯直达楼主 发表于 2016-8-10 10:52:39 | 只看该作者 |只看大图 本帖最后由 断天涯大虾 于 2016-11-28 10:55 编
2016-11-28 18:32:34
583
转载 查看修复HDFS中丢失的块
查看修复HDFS中丢失的块检测缺失块1 hdfs fsck -list-corruptfileblocks1 hdfs fsck / | egrep -v '^\.+$' | grep -v eplica查看上面某一个文件的情况1 hdfs fsck /path/to/corrupt/file -locations -blocks -fi
2016-11-24 16:28:40
10539
转载 安装ubuntu14.04.2集群环境下的cloudera5.4.7+CDH5
一，虚拟机1，vSphere安装在服务器上裸装vSphere6.0.0，在本机windows安装vSphere Client2，ubuntu14.04单节点安装在vSphere上新建1台虚拟机。之后安装ubuntu14.04完成后，注意将光驱配置修改为“客户端”配置，之后按enter继续完成ubuntu的安装。进入系统后，修改/etc/network/inter
2016-11-24 11:27:16
600
转载 An introduction to JSON support in Spark SQL
An introduction to JSON support in Spark SQLby Yin Huai Posted in ENGINEERING BLOGFebruary 2, 2015Note: Starting Spark 1.3, SchemaRDD will be renamed to DataFrame.In this blog post,
2016-11-22 08:49:59
453
转载 hbase 6000 端口问题处理
单台master的配置hbase.mastermaster:60000这是我们通常配置的，这样就定义了master是的ip和端口。但是当我们需要配置多台master进行，我们只需要提供端口，因为选择真正的master的事情会又zookeeper去处理。多台master的配置 hbase.master.port
2016-11-21 16:48:52
4401
转载 实现CDH支持Spark SQL功能
实现CDH支持Spark SQL功能标签： sparkclouderasqlCDHthirft server2016-08-11 13:47 384人阅读 评论(0) 收藏 举报 分类：spark（2） 版权声明：本文为博主原创文章，未经博主允许不得转载。CDH内嵌Spark版本不支持spark-sql,可能是因为cloude
2016-11-16 13:48:52
4397
转载 数据倾斜是多么痛？spark作业调优秘籍
数据倾斜是多么痛？spark作业调优秘籍不鸡道叫啥2016/11/09 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。数据倾斜是多么痛？！！！数据倾斜如果能够解决的话，代表对spar
2016-11-10 18:11:27
2382
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人