distribute by、 clustered by 、 order by 、 sort by 的区别 distribute by, order by, sort by, cluster by 的区别
scrapy 安装踩过的坑 安装Scrapy的时候，先是去的scrapy官网，里面推荐用conda安装。说，pip install方式需要依赖很多的包。然后用conda安装的时候，简直是神坑。（官网地址）想着一键安装scrapy，真是挺美好啊，然后。。。报错：看第一句HTTP 000 CONNECTION FAILED，似乎是什么http访问请求的repo的时候错误。百度了下相关问题，基本都是提出来说切换镜像源...
hive使用beeline连接遇到的问题 hiveserver2未启动如果hiveserver2未启动就直接使用beeline连接，会出现如下错误：Error: Could not open client transport with JDBC Uri: jdbc:hive2://master:10000/default: java.net.ConnectException: Connection refused (Connectio...
SparkStreaming滑动计算窗口reduceByKeyAndWindow图解说明 对于reduceByKeyAndWindow(_ + _, _ - _,Second(45), Second(5))这种算法不太明白的同学可以参考下，下图是通过个人理解所画，希望对大家理解这个函数有所帮助：首先，说一下需求，就是每隔5秒，计算过去45秒内的X数量。第一个窗口（第一个45s内,时间点1）里面的X数量是17个，然后时间往后移动了5秒，变成了时间点2。图中，在时间滑动后，新增了5个...
spark streaming编程模型【更新中】 spark streaming是准实时的一种流处理手段，其中核心在于较短时间间隔内持续运行。其中主要包含以下几个模块，streaming context数据接收器(Reciever)DStreamTransform数据转换处理模块应用启动start下面详细说明其中每一项...
Hive中数据倾斜解决实例 Hive中数据倾斜的表面原因可能各种各样，但是底层都是一个Reducer的节点计算压力过大，造成某一个节点一直在运算造成的。今天运行SQL的时候，遇到了一次，分享下（由于数据使用公司数据，表名都重新换过，数据量保持不变）表名信息如下，假设有两张表:tmp_user，数据量：267772tmp_user_log,数据量：5,617,310,131初始SQL如下： SELECT /*...
Spark SQL Dataset 常用API 二 TransformationUntyped API前面一篇写了SELECT这个API的一些主要用法，本文打算通过一个SQL示例来展开讲述下Dataset其他常用的Untyped API，比如filter(类似于where),join,groupby 等等。首先，描述下大概的需求：表一，描述了一家五口人，有名字，年龄和性别，先在mysql中建表，并且插入数据create table if ...
解决hadoop 安装could only be replicated to 0 nodes, instead of 1 老夫初学Hadoop，安装之后从上传数据就开始出幺蛾子开始安装的时候，什么问题都没有，检查连接端口http://master:50070以及http://master:8088都好好的啊，那么开始从本地开始往hdfs上面传数据呗上面这个错误，百度了好久，大概解决办法都比较统一删除数据存储文件夹，一般网上放到的是/tmp/dfs下面反正我放的是用户名所在文件下面的bigdat...
关注
