原创 Spark技术栈

参考urlhttp://www.infoq.com/cn/news/2016/01/spark-streaming-what-is-it-and-w

原创 ElasticSearch--AdMaster使用案例

原创 大数据时代，信息革命

原创 数据仓库-更新

一、需求转换ods：MySQL源数据导出到Hive在HDFS上的路径下（Hive建立外部表）删除超过30天的数据ods层，每个日分区保存的是源数据库MySQL中的截止到当前日期的全量数据mid:保存明细数据(最后保存的是全量数据)重复数据问题(Oracle merge(INSERT、UPDATE))没有更新的保留，有更新的取更新后的数据(

原创 交互式分析系统

原创 大数据技术栈

原创 R-R绘图-热力图，保存结果到pdf文件

一、code#1 保存结果图到pdfpdf("hot_map_20160220.pdf",width =4,height = 4 )#2 准备数据set.seed(123)Year <- rep(2006:2015, each = 4)Quater <- rep(c('Q1','Q2','Q3','Q4'), times = 10)Counts <- round(runif(40

原创 R-12-线形回归模型summary

一、线形回归模型1.1、codeattach(iris)lm.sol<-lm(Sepal.Length~.,iris)summary(lm.sol)1.2、运行结果

原创 R-11-记录

一、线形回归1.1、codeattach(women)plot(weight~height)fit<-lm(weight~height)abline(fit,col='red') #增加逼近当前点的直线1.2、运行效果

原创 Shiny shinyapps部署自己的Shiny项目

一、聚类可视化1.1、访问urlhttps://yujianxin.shinyapps.io/050-kmeans-example/1.2、展示结果二、交互分析2.1、访问urlhttps://yujianxin.shinyapps.io/051-movie-explorer/2.2、展示结果

原创 Palo：百度面向分析的大规模数据库系统-马如悦（阅读记录）

原创 Python-一张图

原创 大数据挖掘-中国知网 papers

1、流式数据的并行分类算法研究http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=16&CurRec=18&recid=&filename=1015427070.nh&dbname=CMFDTEMP&dbcode=CMFD&pr=&urlid=&yx=&v=MTc0MjFYMUx1eFlTN0RoMVQzcVRyV00xRnJDVVJMeWZ