spark
tsf_1993
自然语言处理,数据挖掘,机器学习
展开
-
spark hbase
HBase 的 CRUD 操作新版 API 中加入了 Connection,HAdmin成了Admin,HTable成了Table,而Admin和Table只能通过Connection获得。Connection的创建是个重量级的操作,由于Connection是线程安全的,所以推荐使用单例,其工厂方法需要一个HBaseConfiguration。val conf = HBaseConfiguratio转载 2016-12-02 10:24:08 · 444 阅读 · 0 评论 -
spark file streams
For reading data from files on any file system compatible with the HDFS API (that is, HDFS, S3, NFS, etc.), a DStream can be created as:streamingContext.fileStream[KeyClass, ValueClass, InputFormatClas原创 2016-12-06 11:38:07 · 368 阅读 · 0 评论