- 博客(6)
- 收藏
- 关注
RSS订阅原创 HDFS、Zookeeper知识总结
1、传统数据与大数据的对比数据量：传统数据的单位是从GB到TB，大数据的单位是从TB到PB以上。增长速度：传统数据的数据量稳定，增长速度缓慢； 大数据是持续实时生产 数据。多样化：传统数据主要是结构化数据， 大数据是半结构化和非结构化数据。价值：传统数据体现在统计和报表， 大数据是数据挖掘、预测分析等。2、大数据服务器安装规范系统硬盘两块硬盘做一个RAID1引导分区 200M交换分区 可以不设置或设置的很小，因为在大数据中需要将其关闭根分区 /（
2020-11-25 10:30:28
944
原创 安装Hadoop集群
由于CDH的所有安装包版本都给出了对应的软件版本，一般情况下是不需要自己进行编译的，所以我这里直接从上传压缩包开始。先在一台服务器上安装好再复制到其他服务器。Hadoop集群安装的准备1、服务器主机名和IP配置（每台）2、修改每个主机的/etc/hosts文件，添加IP和主机名的对应关系（每台）3、管理节点到从节点配置无密码登录4、配置jdk 1.8（每台）5、关闭防火墙（每台）6、关闭selinux（每台）vi /etc/selinux/configSELINUX=enforci
2020-10-30 20:31:57
110
原创 Linux常用命令
Linux常用命令查看当前所在位置 pwd切换文件夹 cd 目录名帮助信息 command --help软连接（快捷键） ln -s 目标文件绝对路径 快捷方式路径清屏 clear重启 reboot 关机 halt查看内存 free –h查看某一目录所占空间大小 du -h可以在最近的两次目录之间切换 cd -创建文件夹的命令mkdir 目录名mkd
2020-10-19 20:09:38
123
原创 在节点配置网络资源库
例如：在dashuju002节点配置网络资源库1）、进入/etc/yum.repos.d2）、创建old文件夹，把后缀为.repo的文件移动进old3）、复制CentOS-Media.repo 到当前文件4）、编辑CentOS-Media.repo，红箭头为修改后的，绿箭头的位置要删除5）、安装httpd6）、开启httpd7）、关闭防火墙8）、在/etc/hosts配置节点IP和对应的主机名9）、修改CentOS-Media.repo红箭头位置10）、创建软连接1
2020-10-14 20:05:14
141
原创 硬盘实现开机自动挂载
例如：要在dashuju001节点添加20G硬盘，平均划分为两个区，实现开机自动挂载，挂载路径为/data11(10G) /data22(10G)1、在虚拟机添加新硬盘2、查看硬盘是否存在3、硬盘分区绿箭头表示默认，可以直接回车4、查看分区5、硬盘格式化6、查看硬盘格式化（红箭头位置有内容，表示格式化成功）7、创建挂载硬盘的文件8、配置硬盘开机自动挂载9、重启或mount -a后，df -h查看...
2020-10-12 19:41:15
1154
1
原创 无密码登录其他节点的两种方法
这里写自定义目录标题方法一：1、通过hosts文件配置节点IP与对应的主机名2、添加你要无密码跳转的节点IP和主机名，如图3、生成公钥和私钥 ssh-keygen + 按四下回车公钥和私钥所在的位置 /root/.ssh4、将公钥内的内容写入到目标服务器（免密码登录的节点）内/root/.ssh/authorized_keys文件内（没有authorized_keys自己创建）authorized_keys用户存储可以登录本节点的所有公钥将上面node的公钥复制到node
2020-10-10 13:27:27
861
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人