- 博客(7)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 spark 学习笔记
最近使用spark简单的处理一些实际中的场景，感觉简单实用，就记录下来了。场景运用部门用户业绩表（1000w测试数据）用户、部门、业绩 数据加载：val conf = new SparkConf().setAppName("spark函数").setMaster("local")val context = new SparkContext(conf)var data = context.tex
2016-03-18 09:39:47
407
原创 sparkstream接收kafka信息
spark接收kafka发送的消息，本来很简单的，由于不熟的原因，被卡了几个小时。 知道是什么问题的时候简单到哭。Error:scalac: bad symbolic reference. A signature in KafkaUtils.class refers to term serializerin package kafka which is not available.It may
2016-03-02 16:07:07
2201
3
原创 spark机器学习点击量推荐
通过用户对音乐点击推荐相应的产品 使用分析方法:ROC分析法 ROC分析是从医疗分析领域引入了一种新的分类模型performance评判方法。 算法：AUC AUC是一种用来度量分类模型好坏的一个标准。 AUC的值就是处于ROC curve下方的那部分面积的大小。通常，AUC的值介于0.5到1.0之间，较大的AUC代表了较好的performance。用户产品点击列表 产品信息
2016-03-01 16:59:23
1460
转载 spark操作mysql
spark提供了好几种方法对mysql数据进行操作，这里只记录个人比较常用的几种。 spark查询mysql表数据： 1.取zhi_lian_zhao_pian表中前50行的数据valconf=new SparkConf().setAppName("connectmysql").setMaster("local")val sc=new SparkContext(conf)val sqlCon
2016-03-01 15:17:51
1588
翻译 spark机器学习电影推荐
最近公司在弄推荐系统，抽时间学习了下。感觉这东西很强大。一般公司还真用不着，对数据的要求比较高（至少20W以上，否则不太准）。 下面是我对spark自带的电影推荐系统例子进行个人理解： 使用算法：ALS交替最小二乘法 电影数据列表（电影ID和电影名称、演片类型） 用户评分列表（用户ID,电影ID，评分，评分时间） 需推荐的测试数据 step1:加载Logger.getLogger
2016-02-26 15:07:01
2676
2
转载 Spark 读取HDFS存入 HBase（1.0.0 新 API）
Spark 读取HDFS存入 HBase（1.0.0 新 API）HBase经过七年发展，终于在今年2月底，发布了 1.0.0 版本。这个版本提供了一些让人激动的功能，并且，在不牺牲稳定性的前提下，引入了新的API。虽然 1.0.0 兼容旧版本的 API，不过还是应该尽早地来熟悉下新版API。并且了解下如何与当下正红的 Spark 结合，进行数据的写入与读取。鉴于国内外有关 HBase 1.0.0
2016-02-22 11:24:50
981
原创 python2.7爬虫实战（房地产信息抓取）
好久没有写文章了，本人文笔不是很好，写的东西想到那写到那。刚学习python爬虫不久，学习资料参考《python爬虫学习系列教程》http://www.cnblogs.com/xin-xin/p/4297852.html下面是自己学习的一些总结：一、程序背景1.需求：抓取网站中房子出售信息，主要信息包含：地址、发布时间、联系人、价格以及房子的一些信息2.环境：pytho
2016-02-18 13:52:51
9995
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人