- 博客(5)
- 收藏
- 关注
RSS订阅原创 大数据学习之路--搭建hadoop集群一键免密登录，以及分发部署脚本
关于hadoop集群搭建的内容比较多，这里主要介绍三个与集群搭建相关的三个shell脚本。1. 一键生成免密登录脚本① vi sshpass.sh#!/bin/bash# Name : sshpass.sh# Time : 17/03/2018# Author : zsd# Purpose : For fast and easy setup of the ...
2018-08-08 00:39:24
1269
原创 hadoop学习之路hadoop---大数据两类典型的开发流程
hadoop是一个各种软件库组成的框架，每个软件库负责Hadoop一部分功能。一开始就学习这些组件的理论知识，是相当乏味的。先以两个典型的开发流程来描述各个组件的所处的位置以及实现的功能。 大数据离线计算典型流程一： 如图典型的大数据开发流程：数据采集→数据清洗（存储）→数据分析→数据展示 数据来源是多样的，最常见的是服务器日志，爬虫爬取数据，js埋点获取数据，存在关系书库的数...
2018-08-07 23:29:34
723
原创 hadoop学习之路，虚拟机 xshell 使用技巧
1 虚拟机①虚拟机里装的centos系统是可以移动的，也就是别人搭建好的hadoop环境是可以直接拷贝你电脑使用。不过在启动时一定要选择我已经移动了该虚拟机，不能选复制该虚拟机。 ②快照确实很有必要，恢复也很方便。但是会让系统文件臃肿。还是建议定期复制一份干净的系统做备份。其他设置修改参数想必大家都有使用就不做介绍。2 xshell使用技巧①粘贴和复制。习惯了windows c...
2018-08-07 18:01:30
813
原创 hadoop学习之路第二部centos虚拟机安装问题总结1
centos7 在安装过程是可以开启网卡设置， centos6需要 在安装后开启网卡设置，才能ping通外网。 克隆虚拟机后不能上外网 centos6原因克隆后还保留了原有的MAC地址，导致网卡不能被识别。 解决办法：①删除/etc/udev/rules.d/70-persistent-net.rules，待重启机器后会生成新的文件 ② 将 /etc/udev/rules.d/70-...
2018-08-05 18:58:58
138
原创 hadoop学习之路--工欲善其事,必先利其器
大数据学习工具总结： 1 网站相关 浏览器：谷歌浏览器 网址：maven官网 http://mavenrepository.com/如果突然想找一个jar包，可以到这里搜。 阿里云中央仓库 http://maven.aliyun.com/nexus/content/groups/public/可以配置到maven项目内 ...
2018-08-05 18:13:04
327
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人