- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 spark-shell 测试demo_for_SQL
本demo使用hsdf+spark的模式分析数据。1.导入数据 使用hdfs 命令导入文件到hdfs上。2.分析数据进入spark目录执行 spark-shell示例1//创建sqlContext实例scala>val sqlContext = new org.apache.spark.sql.SQLContext(sc)//加载需要分析的文件(数据源可以是json，可以是hdfs，可以是数据
2017-07-28 15:38:43
920
原创 基于hadoop搭建spark 测试demo
参考自 ： http://www.jianshu.com/p/aa6f3a366727 http://www.powerxing.com/install-hadoop/我利用两台机器搭建测试。为了解决hdfs地址绑定127.0.0.1，修改和hostname。分别修改/etc/sysconfig/network；/etc/hosts;hostname testdata;重新登录，搞定。te
2017-07-27 17:38:48
1037
原创 Logstash安装使用
下载安装参考官网，这里主要记录一下Logstash与kafka结合的配置。需求：将log日志包含api: 的内容放入kafka。2017-07-13 18:01:31.619 INFO 15096 — [nio-9001-exec-1] c.z.a.t.a.s.impl.XXXServiceImpl : EventReportService_hasLog_api: {“uid”:123，”sta
2017-07-17 20:43:54
547
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人