2016年12月_javartisan

12月 11月 10月 09月 08月

原创 Hive基础概念之Metadata和MetaStore

服务端配置：客户端配置：

2016-12-27 11:08:00 3722

原创本地jar包安装到本地仓库

使用场景：例如IKAnalyzer是一个分词工具包，但是maven中央仓库没有此jar包。此时我们可以两种方式解决此问题： 1：build path 添加jar 2：将该jar安装到本地maven仓库 mvn install:install-file -Dfile=jarIKAnalyzer包的局对路径 -DgroupId=IKAnalyzer -DartifactId

2016-12-25 10:14:21 1984

转载 Scala学习---包和引入

转至：http://www.cnblogs.com/sunddenly/p/4436897.html 包和引入摘要: 在本篇中，你将会了解到Scala中的包和引入语句是如何工作的。相比Java不论是包还是引入都更加符合常规，也更灵活一些。本篇的要点包括： 1. 包也可以像内部类那样嵌套 2. 包路径

2016-12-23 11:05:14 588

转载 Spark性能相关参数配置

Spark性能相关参数配置随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 在Spark的官方文档http://spark.apache.org/docs/latest/configuration.html 中提供了这些可配置参数中相当大一部分的说明. 但是文档的更新总是落后于代码的开发的, 还有一些配置参数没有来得及被添加到这个文档中, 最重要的是在

2016-12-02 10:02:59 733 1

原创 Spark 重分区函数：coalesce和repartition区别与实现，可以优化Spark程序性能

源码包路径： org.apache.spark.rdd.RDD coalesce函数：方法注释： Return a new RDDthat is reduced into numPartitions partitions. This results in a narrowdependency, e.g. if you go from 1000 p

2016-12-02 09:15:09 27250

原创 Spark Streaming Kafka CreateDirectDStreaming 遇见的问题

问题1： spark-submit 提交任务报错如下：分析：起初我的spark 集群是部署在yarn上，所以在spark-env和spark-default下配置了hadoop相关参数。最后我想使用spark standalone模式跑程序，就把spark-env和spark-default下的hadoop相关参数注释掉了。之后提交程序提示： Exception in thread "

2016-12-01 19:41:55 3745 1

天津大学周伟状态压缩论文

信息学发展势头迅猛，信息学奥赛的题目来源遍及各行各业，经常有一些在实际应用中很有价值的问题被引入信息学并得到有效解决。然而有一些问题却被认为很可能不存在有效的(多项式级的)算法，本文以对几个例题的剖析，简述状态压缩思想及其应用。

2018-09-14

java网络编程第四版源码

2017-04-04

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人