- 博客(6)
- 资源 (6)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Linux 快速同步北京时间命令
[hadoop@hadoop01 ~]$ tzselect# 这部分直接按照要求选择 5 -> 9 -> 1 -> 1 即可配置成中国北京的时间
2018-12-25 09:46:06
3916
4
原创 hive on spark 利用maven重新编译spark
缘由：使用hive on spark 进行hivesql操作的时候报以下错误：Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)' FAILED: Execution Error, retur...
2018-12-21 14:54:41
1550
转载 Linux 下 find（文件查找）命令的用法总结
[转自：http://blog.chinaunix.net/uid-24648486-id-2998767]Linux下查找文件的命令有两个:locate 和 find首先说下locate，locate这个命令是对其生成的数据库进行遍历（生成数据库的命令：updatedb）,这一特性决定了用locate查找文件速度很快，但是locate命令只能对文件进行模糊匹配，在精确度上来说差了点，简单...
2018-12-18 14:47:10
5962
转载 Linux top命令的用法详细详解
[转自：http://www.cnblogs.com/zhoug2020/p/6336453.html] 首先介绍top中一些字段的含义：VIRT：virtual memory usage 虚拟内存1、进程“需要的”虚拟内存大小，包括进程使用的库、代码、数据等2、假如进程申请100m的内存，但实际只使用了10m，那么它会增长100m，而不是实际的使用量RES：resident ...
2018-12-18 09:09:07
365
原创 Spark 协同过滤（CF）如何将一直为Long类型的user转换为Rating中要求的int类型 （测试通过）
/*** 问题：* 在对数据进行训练时，Rating要求的是int,int,double，但是现有的数据是long,string,double类 型，使用toInt进行转换时依然会报错，这是因为long类型转换成int类型已经超出了int的最大值。* * 解决思路：* 创建两张映射表，将long类型的字段映射成int类型(使用row_number()...
2018-12-17 17:49:18
950
转载 IDEA 的debug断点调试技巧与总结详解篇
详细参考：https://blog.csdn.net/qq_27093465/article/details/64124330
2018-12-10 15:48:27
2467
json paser 属于idea插件 用于解析json
2022-04-22
适合hadoop2.9.* 以及 hadoop2.7.* 的winutils.exe_hadoop.dll 配置文件
2019-04-17
《Spark大数据商业实战三部曲：内核解密 商业案例 性能调优》2018.02出版
2019-04-16
spark无法启动，日志无报错信息，具体如图片
2019-01-04
TA创建的收藏夹 TA关注的收藏夹
TA关注的人