#大数据应用
_薄荷苏打
我的梦想,值得我本人去争取
展开
-
Ubuntu安装组件
Ubuntu 安装java 解压 为文件夹赋权sudo chown -R hadoop:hadoop /bigdata 移动解压后的文件mv jdk1.8.0_201 /bigdata/,在移动之前应该先建文件夹bigdata,否则会出现只移动文件的情况 进入到bigdata目录,echo export JAVA_HOME=/bigdata/jdk1.8.0_201 >&g...原创 2019-03-05 03:08:45 · 895 阅读 · 0 评论 -
数据采集
数据采集 flume在大数据中的应用 Flume应用案例:采集网络数据 vi example1.conf # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = netcat a1....原创 2019-03-27 16:37:40 · 172 阅读 · 0 评论 -
数据处理
数据处理 IntelliJ IDEA 创建 scala 项目 打包 jar包,上传服务器 Project Structure----Artifacts 3. :删除除了项目输出以外的所有包 4. 检查是否创建成功 有MANIFEST.MF则说明创建成功 5. 生成jar包 Build – build artifacts—Build 6. 查看生成的jar包 7. 启动spark 8...原创 2019-03-27 11:32:06 · 112 阅读 · 0 评论 -
数据可视化
数据可视化 Echarts的本地使用 (1)首先在官网上下载 echart.js (2)将本地echart.js的路径引入 html文件 (3)构建容器 (4)绘制图表 Djando 安装Django pip install django 创建一个项目 django-admin.py startproject ui 创建一个应用 hadoop@master:~/ui$ ls manag...原创 2019-03-27 22:13:23 · 192 阅读 · 0 评论 -
Spark--聚类应用
大数据之聚类应用 Spark ML库 Spark 机器学习库提供了包括聚类,分类,回归,协同过滤, 维度约简等。使用 Spark 机器学习库来做机器学习工作,可 以说是非常的简单,通常只需要在对原始数据进行处理后, 然后直接调用相应的 API 就可以实现。 Spark ML 提供了一个基于 DataFrame 的机器学习工作流式 API 套件,使用 ML Pipeline API,我们可以很方便的...原创 2019-04-03 17:32:11 · 497 阅读 · 0 评论