- 博客(3)
- 收藏
- 关注
RSS订阅原创 scala Hbase scan起止范围补充
Hbase对rowKey进行scan时需要设置scan的范围，即startRowKey与endRowKey。例如scan：xxxaaa ~ xxxzzz 这段范围内的数据可以这样设置：val startRowKey: Array[Byte] = Bytes.add(Bytes.toBytes("xxx"), Bytes.toBytes("aaa"))val stopRowKey: Ar...
2018-08-22 15:18:30
3863
原创 HDP2.5.0 + Spark1.6.2 通过IDEA(Win64)远程提交spark jobs On YARN
更新日：2018-08-17本文利用Apache Ambari搭建了一个HDP2.5.0的集群，安装了HDP下最新的Spark1.6.2，通过spark-submit提交任务模式local、standalone、yarn-client均可。但编程环境往往在Win下，standalone模式需要独立启动Spark集群(占用资源是不可避免的)，yarn-client模式提交问题繁多，且修改代码...
2016-12-12 11:39:24
1895
4
原创 CentOS7.0离线安装RHadoop
近期，由于工作需要，在原有的Hadoop2.6.0环境上安装了RHadoop，主要借鉴了——RHadoop实践系列文章和RHadoop安装，区别之处在于离线安装较新版本的R-3.2.3、rhdfs_1.0.8和rmr2_3.3.1，并解决参考链接安装过程中的一些疑问。
2016-06-06 15:43:05
1066
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人