- 博客(4)
- 收藏
- 关注
原创 flume+kafka消费数据【纯个人笔记】
1.数据生产 使用java代码往一个文件中写入数据 package com.mobile; import java.io.*; import java.text.DecimalFormat; import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.*; /** * @author kaiya * @Desc 数据生产 * @date 2020/5/6 20:33 */ public
2020-05-11 16:52:34
892
原创 spark之创建DataFrame、DataSet的方法及使用DataFrame创建视图进行SQL操作
创建DataFrame 通过case class创建DataFrame # 创建case class scala> case class emp(empno:Int, ename:String, job:String, mgr:Int, hiredate:String, sal:Int, comm:String, deptno:Int) defined class emp # 获取数据 sc...
2020-03-29 17:18:16
658
原创 centos7部署spark伪分布式和完全分布式
一、伪分布式 下载安装压缩包spark官网 准备3台虚拟机,我这里的虚拟机主机名分别为 bigdata111、bigdata112、bigdata113 上传安装压缩包到虚机bigdata111的/opt/software【自己创建的目录】目录 将spark压缩包解压到指定目录 [root@bigdata111 scala]# cd /opt/software/ [root@bigdata11...
2020-03-29 17:14:26
498
原创 记录第一次创建基于vue.js的前端项目
安装npm淘宝镜像代替npm\ npm安装依赖使用的是国外的镜像,没有翻墙会很慢或者安装依赖失败,所以用淘宝的镜像代替 npm install -g cnpm --registry=https://registry.npm.taobao.org 安装vue-cli cnpm install -g vue-cli 初始化一个项目 vue init webpack vuelearn 安装依...
2020-03-26 22:02:35
93
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人