- 博客(5)
- 收藏
- 关注
RSS订阅转载 hbase 预分期表
create'ssxtest',{NAME=>'info',COMPRESSION=>'snappy'},{NUMREGIONS=>9,SPLITALGO=>'HexStringSplit'} 是建表是预分为9个region create'ssxtest1',{NAME=>'f',VERSIONS=&g...
2015-06-25 19:39:00
141
转载 spark 写入 redis 和 org.apache.spark.SparkException: Task not serializable
spark将数据写入redis时调用以下代码会报 org.apache.spark.SparkException: Task not serializable import com.redis.RedisClient val r = new RedisClient("192.168.1.101", 6379) val perhit = rdd.map(x => { ...
2015-06-23 14:30:00
237
转载 spark 数据写入到 hbase
1）spark把数据写入到hbase需要用到：PairRddFunctions的saveAsHadoopDataset方法，这里用到了implicit conversion，需要我们引入 import org.apache.spark.SparkContext._ 2）spark写入hbase，实质是借用了org.apache.hadoop.hbase.mapreduce.Tabl...
2015-06-23 13:30:00
114
转载 sparksql 提交到yarn出现 java.lang.NoClassDefFoundError: Lorg/apache/hadoop/hive/ql/plan/TableDesc...
出现这个问题，是因为spark的excutor执行的时候，缺少hive的依赖包，添加依赖包的参数是： --conf "spark.executor.extraClassPath=/opt/cloudera/parcels/CDH-5.3.1-1.cdh5.3.1.p0.5/lib/hive/lib/*" 下面是是一个例子： spark-submit --class com.simp...
2015-06-23 12:12:00
932
转载 cdh5.3中配置sparksql
在cdh5.3中的spark，已经包含了sparksql，只需要做以下几步配置，就可以在使用该功能 1）确保hive的cli和jdbc都可以正常工作 2）把hive-site.xml 复制到 SPARK_HOME/conf目录下 3）将hive的类库添加到spark classpath中：编辑SPARK_HOME/bin/compute-classpath.sh文件 在文件...
2015-06-19 00:03:00
220
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人