关注
分享
文章平均质量分 92
一、本系列课是一套只需要复制粘贴就能玩起大数据的教程，甚至不需要思考就能独立完成项目。
二、教程采用迭代式开发模式，一步一步从简单到复杂，一步一步优化迭代。
三、技术新颖，采用传统与前沿技术相辅相成开发，如有传统的环境部署与基于Docker环境的部署。
四、遵循测试与开发环境。
邵奈一
全栈工程师、市场洞察者、微信:shaonaiyi888
展开
-
IntelliJ IDEA开发Spark案例之WordCount
教程目录0x00 教程内容0x01 新建Maven项目1. 新建Maven项目2. 项目配置3. 引入项目的依赖0x02 编写WordCount代码1. 新建包2. 编写scala代码0x03 校验结果1. 统计文件准备2. 统计结果0xFF 总结0x00 教程内容新建Maven项目编写WordCount代码校验结果实验前提：a. 安装好了windows本地的scalab. 安装...原创 2019-03-28 15:37:41 · 4534 阅读 · 4 评论 -
查看YARN上应用的日志之JobHistory
教程目录0x00 教程内容0x01 JobHistory介绍1. 作用0x02 背景演示1. 执行MapReduce作业2. YARN界面查看3. 查看YARN作业的日志0x03 实验步骤1. 配置JobHistory2. 启动JobHistory3. 校验JobHistory0xFF 总结0x00 教程内容JobHistory介绍背景演示实验步骤0x01 JobHistory介绍...原创 2019-03-25 18:12:26 · 6243 阅读 · 1 评论 -
YARN与MapReduce的配置与使用
教程目录0x00 教程内容0x01 YARN的初始化配置1. 配置 yarn-site.xml1. 配置 yarn-site.xml 到slave1、slave2节点0x02 使用YARN跑第一个例子1. 配置YARN2. 配置MapReduce2. 同步配置文件与目录到slave1、slave2节点1. 验证MapReduce是否配置成功：0xFF 总结0x00 教程内容0x01 Y...原创 2019-04-18 10:09:02 · 1398 阅读 · 0 评论 -
分布式集群环境之JDK8的安装与配置（Centos7）
教程目录0x00 教程内容0x01 JDK8的获取1. 官网下载2. 添加微信：shaonaiyi8883. 关注公众号：邵奈一0x02 上传JDK安装包到集群1. 上传安装包到虚拟机0x03 安装与配置JDK1. 解压JDK包2. 同步到slave1、slave23. 配置三台服务器的环境变量4. 额外小技能0xFF 总结原创 2019-03-29 17:58:36 · 1426 阅读 · 0 评论 -
分布式集群环境之域名映射与免密码登录
教程目录0x00 教程内容0x01 环境说明及目标1. 当前分布式集群说明2. 当前目标说明0x02 集1.0xFF 总结0x00 教程内容0x01 环境说明及目标1. 当前分布式集群说明a. 目前已经克隆好了三台主机，除了hostname与ip，其他均一致b. 全部均已经新建好hadoop-sny用户，密码是shaonaiyic. 全部俊已经配置好了NAT网络环境，ip分别为...原创 2019-03-28 10:40:32 · 2093 阅读 · 0 评论 -
D012 复制粘贴玩大数据之Dockerfile安装Kafka集群
0x00 教程内容0x01 Dockerfile文件的编写1. 编写Dockerfile文件2. 编写Dockerfile文件的关键点3. 完整的Dockerfile文件参考0x02 校验Kafka前准备工作1. 环境及资源准备0x03 校验Kafka是否安装成功1. 修改生成容器脚本2. 生成镜像3. 生成容器4. 启动Kafka0xFF 总结原创 2019-03-12 16:32:27 · 806 阅读 · 0 评论 -
D011 复制粘贴玩大数据之安装与配置Kafka集群
0x00 教程内容0x01 Kafka的获取1. 官网下载2. 添加微信：shaonaiyi8883. 关注公众号：邵奈一0x02 上传安装包到集群1. 上传安装包到虚拟机2. 复制安装包到master节点0x03 安装Kafka集群1. 解压Kafka2. 配置Kafka3. 在同步Kafka到slave1、slave20x04 Kafka集群校验1. 确保ZK集群已经启动2. 启动Kafka集群0xFF 总结原创 2019-03-12 10:33:34 · 714 阅读 · 0 评论 -
D010 复制粘贴玩大数据之Dockerfile安装Flume集群
0x00 教程内容0x01 Dockerfile文件的编写1. 编写Dockerfile文件2. 编写Dockerfile文件的关键点3. 完整的Dockerfile文件参考0x02 校验Flume前准备工作1. 环境及资源准备0x03 校验是否Flume安装成功1. 修改生成容器脚本2. 生成镜像3. 生成容器4. 启动Flume0xFF 总结原创 2019-03-11 18:20:35 · 660 阅读 · 0 评论 -
D009 复制粘贴玩大数据之安装与配置Flume集群
0x00 教程内容0x01 Flume的获取1. 官网下载2. 添加微信：shaonaiyi8883. 关注公众号：邵奈一0x02 上传安装包到集群1. 上传安装包到虚拟机2. 复制安装包到master节点0x03 安装Flume集群1. 解压Flume2. 配置Flume3. 在同步Flume到slave1、slave20x04 Flume集群校验1. 查看Flume版本号0xFF 总结原创 2019-03-11 17:16:16 · 457 阅读 · 0 评论 -
D008 复制粘贴玩大数据之Dockerfile安装Hive集群
0x00 教程内容0x01 Dockerfile文件的编写1. 编写Dockerfile文件2. 编写Dockerfile文件的关键点3. 完整的Dockerfile文件参考0x02 校验Hive前准备工作1. 环境及资源准备0x03 校验是否Hive安装成功1. 修改生成容器脚本2. 生成镜像3. 生成容器4. 启动Hive0xFF 总结原创 2019-03-11 14:33:09 · 713 阅读 · 0 评论 -
D007 复制粘贴玩大数据之安装与配置Hive
0x00 教程内容0x01 Hive的获取1. 官网下载2. 添加微信：shaonaiyi8883. 关注公众号：邵奈一0x02 上传安装包到集群1. 上传安装包到虚拟机2. 复制安装包到master节点0x03 安装Hive1. 解压Hive2. 配置Hive0x04 Hive校验1. 启动Hadoop集群2. 启动Hive0xFF 总结原创 2019-03-01 17:54:19 · 765 阅读 · 0 评论 -
D006 复制粘贴玩大数据之Dockerfile安装HBase集群
教程目录0x00 教程内容0x01 Dockerfile文件的编写1. 编写Dockerfile文件2. 编写Dockerfile文件的关键点3. 完整的Dockerfile文件参考0x02 校验HBase集群前准备工作1. 环境及资源准备0x03 校验是否HBase安装成功1. 修改生成容器脚本2. 生成镜像2. 生成容器3. 启动集群并查看进程0xFF 总结0x00 教程内容Docker...原创 2019-02-13 15:45:34 · 730 阅读 · 0 评论 -
D005 复制粘贴玩大数据之安装与配置HBase集群
# 0x00 教程内容1. HBase的获取2. 上传安装包到集群3. 安装HBase集群4. HBase集群校验原创 2019-01-30 11:14:19 · 672 阅读 · 0 评论 -
D004.1 Dockerfile例子详解及常用指令
# 0x00 教程内容1. 构建Hadoop集群例子详解2. Dockerfile额外指令说明原创 2019-01-29 10:06:12 · 551 阅读 · 0 评论 -
D004 复制粘贴玩大数据之Dockerfile安装Zookeeper集群
0x00 教程内容0x01 Dockerfile文件的编写1. 编写Dockerfile文件2. 编写Dockerfile文件的关键点3. 完整的Dockerfile文件参考0x02 校验zk集群前准备工作1. 环境及资源准备2. 添加zk配置文件及启动zk指令信息0x03 校验是否zk安装成功1. 生成镜像2. 生成容器并初始化zk集群3. 启动集群并查看进程0xFF 总结原创 2019-01-29 10:03:41 · 1181 阅读 · 0 评论 -
D003 复制粘贴玩大数据之安装与配置Zookeeper集群
# 0x00 教程内容1. Zookeeper的获取2. 上传安装包到集群3. 安装Zookeeper集群4. Zookeeper集群校验原创 2019-01-25 19:59:44 · 790 阅读 · 0 评论 -
D002 复制粘贴玩大数据之便捷配置
教程目录0x00 教程内容0x01 进入容器脚本配置1. 生成进入hadoop-master容器脚本2. 启动脚本进入容器3. 配置hadoop-slave1、hadoop-slave20x02 Web UI界面查看配置1. Windows配置域名映射2. 校验域名映射0xFF 总结0x00 教程内容进入容器脚本配置Web UI界面查看配置0x01 进入容器脚本配置1. 生成...原创 2019-01-25 16:17:19 · 659 阅读 · 1 评论 -
D001.8 Docker搭建Spark集群（实践篇）
教程目录0x00 教程内容0x01 环境及资源准备1. 安装Docker2. 准备资源0x02 生成容器1. 生成样本镜像2. 创建bigdata-spark网络3. 启动容器0x03 检验Hadoop与Spark1. 启动Hadoop与Spark2. Web UI界面查看2. 停止并删除容器指令0xFF 总结0x00 教程内容环境及资源准备生成容器检验Hadoop0x01 环境及资...原创 2019-01-25 11:29:37 · 540 阅读 · 3 评论 -
D001.7 Docker搭建Hadoop集群（实践篇）
教程目录0x00 教程内容0x01 环境及资源准备1. 安装Docker2. 准备资源0x02 生产镜像1. 生成样本镜像2. 创建bigdata网络3. 启动容器0x03 检验Hadoop1. 启动Hadoop2. Web UI界面查看0xFF 总结0x00 教程内容环境及资源准备生产镜像检验Hadoop0x01 环境及资源准备1. 安装Docker请参考：D001...原创 2019-01-14 11:17:54 · 644 阅读 · 1 评论 -
D001.6 Docker搭建Hadoop集群（资源篇）
# 0x00 教程内容1. Dockerfile的编写2. Hadoop相关配置文件3. 构建脚本4. 启动脚本**作者简介**：邵奈一**大学大数据讲师、大学市场洞察者、专栏编辑**公众号、微博、CSDN：邵奈一本系列课均为本人：邵奈一 原创，如转载请标明出处...原创 2018-12-11 17:51:48 · 759 阅读 · 4 评论 -
D001.5 Docker入门（超级详细基础篇）
教程目录0x00 教程内容0x01 Docker的安装1.2.3.0x02 Docker的简单操作1.2.3.0x03 Docker数据卷1.2.3.0x04 Docker网络配置1.2.3.0x05 Docker镜像的打包与解压0xFF 总结0x00 教程内容0x01 Docker的安装1.2.3.0x02 Docker的简单操作1.2.3...原创 2018-11-08 09:05:16 · 1107 阅读 · 2 评论 -
D001.4 Centos7创建有root权限的用户、修改主机名与添加ip映射
教程目录0x00 教程内容0x01 创建具有root权限的用户1. 用XShell登录虚拟机shaonaiyi（root用户）2. 创建shaonaiyi用户0x02 修改主机名hostname0x03 添加主机名与ip的映射0xFF 总结1. 常用vi用法（重中之重）0x00 教程内容创建具有root权限的用户修改主机名hostname添加主机名与ip的映射0x01 创建具有roo...原创 2018-11-06 12:47:25 · 1383 阅读 · 0 评论 -
D001.3 下载XShell教程与简单使用
教程目录0x00 教程内容0x01 安装XShell1.获取XShell2.解压安装即可0x02 XShell的配置1.XShell的配置0x03 使用XShell连上虚拟机0xFF 总结0x00 教程内容安装XShellXShell的设置0x01 安装XShell1.获取XShell官网下载（参考指南文章：https://jingyan.baidu.com/articl......原创 2018-11-01 20:33:32 · 1161 阅读 · 0 评论 -
D001.2Centos7虚拟机NAT网络的配置（windows）
教程目录0x00 教程内容0x01 NAT网络的配置1.2.3.0x02 NAT网络的校验0xFF 总结0x00 教程内容NAT网络的配置NAT网络的校验0x01 NAT网络的配置1.2.3.0x02 NAT网络的校验原因有：1.2.0xFF 总结本文作者简介：邵奈一大学大数据讲师、大学市场洞察者、专栏编辑公众号、微博、CSDN：邵奈一...原创 2019-07-08 16:55:05 · 3482 阅读 · 0 评论 -
D001.1 Window7系统上Centos7的安装
教程目录0x00 教程内容0x01 安装虚拟机1.获取虚拟机（Centos7）2.安装虚拟机3.配置单机虚拟机0x02 NAT网络配置0x03 虚拟机的校验0xFF 总结0x00 教程内容安装虚拟机NAT网络配置0x01 安装虚拟机1.获取虚拟机（Centos7）官网下载（）关注公众号：邵奈一（待补充链接），回复：Centos7。自动获取百度云盘下载链接添加微信：shaona...原创 2018-10-29 16:51:19 · 3223 阅读 · 0 评论 -
D001 复制粘贴玩大数据之集群环境的获取及教程指导
教程目录0x00 教程内容0x01 集群环境的获取1.2.3.0x02 集群环境的配置0x03 集群环境的校验0xFF 总结0x00 教程内容集群环境的获取集群环境的配置0x01 集群环境的获取1.2.3.0x02 集群环境的配置原因有：1.2.0x03 集群环境的校验待0xFF 总结本文本系列课均为本人：邵奈一 原创，如转载请标明...原创 2018-10-29 16:35:00 · 518 阅读 · 0 评论 -
DE01.1复制粘贴玩大数据系列教程之详细说明
文章目录0x00 文章内容0x01 标题说明1.D001复制粘贴玩大数据之数据可视化2.D001.x复制粘贴玩大数据之DataV的使用3.D001.e复制粘贴玩大数据之数据可视化4.D001.m复制粘贴玩大数据之数据可视化5.DE01复制粘贴玩大数据系列教程说明6.D001_复制粘贴玩大数据系列之打通五大开发流程0x02 教程指导操作流程直接复制粘贴，请不要自己敲0x03 待补充0xFF 未来与展...原创 2018-10-29 09:20:30 · 669 阅读 · 0 评论 -
DE01 复制粘贴玩大数据系列教程说明
文章目录0x00 教程简介0x01 教程初衷1.让小伙伴们学习到更多2.做自己想做的事情3.使自己得到成长0x02 教程指导0x03 教程说明0xFF 未来与展望0x00 教程简介本系列课是一套只需要复制粘贴就能玩起大数据的教程，甚至不需要思考就能独立完成项目。0x01 教程初衷1.让小伙伴们学习到更多小白都可以通过复制粘贴出成品， 让你成就感爆棚指导有基础的人， 通过系列课的思路，...原创 2018-10-28 12:46:39 · 1050 阅读 · 0 评论