- 博客(3)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 macbook pro下安装wget命令
macbook pro下安装wget命令 1、 ftp://ftp.gnu.org/gnu/wget/下载源码包。wget-1.9.tar.gz版本 2、解压：tar -zxvf wget-1.9.tar.gz 3、进入安装目录，执行 ./configure 4、执行 make ，会有一长串的执行操作，这个不用管他 5、执行 make install 可能会报错，没有权限...
2016-10-27 11:19:48
942
原创 linux 64位下的 mongodb 安装
linux 64位下的 mongodb 安装 http://jingyan.baidu.com/article/363872ecef62466e4ba16f08.html 将beowulf.json 插入到mongodb 库名：beowulf 表名：input mongoimport -d beowulf -c input beowulf.json 使用'use beo...
2016-10-20 15:36:59
77
原创 spark结合hive数据倾斜的几种解决方案
数据倾斜表现： 有的task执行很快，有的很慢或者内存溢出 定位数据倾斜的位置： 用client模式提交，观察log 解决方案 1、在hive etl时进行数据聚合，把key相同的数据聚合成一条数据，这样就可能不用shuffle了，从而解决数据倾斜。 当没办法对key进行聚合时也可以选择其它粒度聚合，比如数据中包含了几个城市，几个职业，可以选择合适的粒度聚合。 2...
2016-10-05 20:37:51
1262
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人