大数据
牛板筋不筋
温故而知新
展开
-
2018/12/01 文件夹可视化工具Treeviz介绍
下载地址: 链接:https://pan.baidu.com/s/1VnXjeDFJoB9C38OQex7Bsg 提取码:j1b0 以下目录打开Treeviz 介绍 file:我们只能选择file下面的 open directory,因为这个软件的目的主要是文件夹的可视化 view下面有很多可以生成的图形,翻译过来帮大家理解 eg:我选择的是这次学...原创 2018-12-01 23:39:30 · 1552 阅读 · 0 评论 -
(一)HDFS集群搭建--服务器--网络配置准备
最终效果: 流程:分别对每一台虚拟机进行1网卡配置 2IP配置 3主机配置 4重启 下面以改变hdp-02为例进行修改: 1网卡配置——如下命令 vi /etc/udev/rules.d/70-persistent-net.rules 原理:删除eth0,并将eth1改为eth0 结果如下: 2 IP设置——如下命令 vi /etc/sysconf...原创 2019-01-26 18:36:47 · 708 阅读 · 0 评论 -
(二)JDK安装和基础环境配置--环境变量--域名映射
1下载一个远程连接工具secureCRT 由于安装顺序不对,这里花费了我不少的时间,下面是完整版——含有安装包以及安装方法: 链接:https://pan.baidu.com/s/1Y73Z_db4md5LcbaH4r3DUA 提取码:tkbk 2上传安装包 jdk-8u141-linux-x64.tar(注意最好不要中文的文件路径) alt + p 得到如下命...原创 2019-01-26 21:26:35 · 311 阅读 · 0 评论 -
(三)HDFS集群部署启动
总共11步 1上传解压 解压zip 文件: unzip hadoop-2.8.1-windows.zip -d apps/ 解压tar.gz文件: tar -zxvf hadoop-2.8.1.tar.gz -C apps/ 2修改hadoop-env.sh cd apps/had...原创 2019-01-29 14:38:22 · 186 阅读 · 0 评论 -
(四)一次性搭建好HDFS集群
所有资料均在百度云:(除了centos6.5的,因为4G左右,需要会员才能上传到百度云) 链接:https://pan.baidu.com/s/1B2rckRf5e2YIokE-kJyWug 提取码:ae9t vmware11安装centos6-minimal 参考文档——vmware11安装centos6-minimal 主要就是两步: 1新建虚拟机 ...原创 2019-01-29 19:13:35 · 240 阅读 · 0 评论 -
HDFS的命令行客户端基本操作--DATANODE存储文件块的观察
1使配置文件生效 scp /etc/profile hdp-02:/etc/ source /etc/profile 2从本地上传到hdfs中 hadoop fs -put .jdk-8u141-linux-x64.tar.gz / 3结果 我这里出现问题的原因是因为:datanode并未出现在网页中 理解 1上传到hdfs中的文件,会被分块存储,并且每个节点都会备份 2...原创 2019-02-21 16:26:56 · 391 阅读 · 0 评论 -
HDFS的命令行客户端常用命令
1 查看hdfs中的目录信息 hadoop fs -ls /hdfs路径 2 上传文件到hdfs中 hadoop fs -put /本地文件 /aaa hadoop fs -copyFromLocal /本地文件 /hdfs路径 ## copyFromLocal等价于 put hadoop fs -moveFromLocal /本地文件 /hdfs路径 ## 跟copyF...原创 2019-02-22 15:10:40 · 208 阅读 · 0 评论 -
业务系统中日志生成机制和代码展示
流程如图: 解释: 1客户通过我们的web服务器登录网站:http://jd.com 2我们通过web服务器收集日志,第一步与第二步之间通过nginx 反向代理来连接 3将日志通过代码写入HDFS进行分析 ...原创 2019-02-22 18:13:33 · 279 阅读 · 0 评论