- 博客(4)
- 收藏
- 关注
RSS订阅原创 CDH集群添加服务器或客户端
CDH集群添加客户端背景：原集群已经存在，向原集群添加hbase，spark，hdfs，hive等客户端坑点：1）不能直接访问IP，IP进行了映射 解决：将原IP和映射后IP都存于/etc/hosts中，具体内容如下10.160.241.223 hwhdp0111.csvw.com 10.160.241.22 hwhdp0151.csvw.com 10.160.241.101 hwhdp0161.csvw.com ...
2021-05-27 15:30:15
437
原创 scala 偏函数和柯里化存在的合理性
scala 偏函数和柯里化存在的合理性偏函数存在的合理性Java中的函数编写时写总结然后再进行具体的细化，倘如我们对一个函数的功能不能够完全的总结我们可以使用“演绎法”去解决为什么要用偏函数呢?我觉得还是一个重用粒度的问题。函数式的编程思想是以一种“演绎法”而非“归纳法”去寻求解决空间。也就是说，它并不是要去归纳问题然后分解问题并解决问题，而是看透问题本质，定义最原初的操作和组合规则，面对问题时，可以通过组合各种函数去解决问题，这也正是“组合子(combinator)”的含义。偏函数则更进一步，
2021-02-26 14:53:23
188
原创 有kerberos认证hbase在spark环境下的使用
hadoop中计算框架MapReduce中存储到有kerberos的hdfs，由于其内部yarn进行了认证故不需要进行相关的操作，可直接进行读写操作。spark使用有kerberos认证的hbase是一个既麻烦又简单的问题，麻烦的方面是：中文的网站相关的文章很少并且分布只是分散的知识点。官网中给的信息也不够完整，倘若要是使用还是会出现自己采坑的想象。简单的方面是：代码量很少，理解起来也不是很难。本...
2018-04-19 10:51:13
6910
1
原创 spark core内存oom问题初探
spark处理数据时，oom出现的概率很大，一般的离线RDD处理oom要了解spark执行过程中的内存模型。spark的内存分为计算内存和存储内存，两者的比例通过spark.storage.memoryFraction（默认为0.6）进行调节计算内存和存储内存的比例，在spark1.6版本后spark会自动进行调节两者比例，以适应计算的任务spark.shuffle.memoryFraction ...
2018-02-11 16:28:53
339
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人