2020年03月_「已注销」

原创关于rm: cannot remove ‘authorized_keys’: Operation not permitted解决办法

**chattr -i authorized_keys **

2020-03-30 09:47:37 2885 1

原创【大数据毕设环境配置九】-在集群上搭建flume

安装简单说明上传到云服务器将flume,解压并配置环境变量进入./flume/conf目录下，对flume-env.sh文件进行添加JAVA_HOME简单例子来自(https://blog.csdn.net/tototuzuoquan/article/details/73194903) #定义这个agent中各组件的名字##表示agent中的source组件a1.sources =...

2020-03-28 21:15:57 211

原创【大数据毕设环境配置八】-搭建完全分布式Kafka集群

安装说明确保笔者前几个配置已经完全搭建完毕能够在服务器上正确显示安装过程scp 上传解压并且配置环境变量tar -xvf kafka_2.11-0.10.2.0.tgz -C /usr/local/mv kafka_2.11-0.10.2.0 kafkavim /etc/profile#kafkaexport KAFKA_HOME=/usr/local/kafka...

2020-03-28 19:21:04 212

原创【大数据毕设环境配置七】-搭建基于hadoop2.7.1+的HBase完全分布式集群

安装说明必须先安装好zookeeper，参考【大数据毕设环境配置五】必须安装好hadoop（HA）集群参考【大数据毕设环境配置六】开放master 的16010端口（到安全组）查看hbase和hadoop的对应关系参考:点击这里查看安装过程scp 上传hbase1.2.6的版本解压并且配置环境变量配置文件我已经传到自己的网盘，对应自己的主机名字进行自行修改。点击这里:b...

2020-03-28 18:15:42 286

原创【大数据毕设环境配置六】-搭建基于hadoop2.7的高可用（HA）完全分布式集群

效果展示:一台50070主节点:查看:点击这里8088端口查看:点击这里高可用说明至少两个主节点，一个挂掉之后，另外一个仍能够继续工作将yarn 资源管理权交给一个从节点基本情况如下:安装重要说明:环境变量（略）配置五个重要的文件（注意对应你的主机名字,直接分享出来，就不贴代码了，网上很多，需要的直接用SCP上传即可）密码: wbvm...

2020-03-27 01:12:00 344

原创【大数据毕设环境配置五】- 在centos7里面搭建完全分布式zookeeper

情况说明:需要对三台云服务器进行基本的配置，详细看【大数据毕设环境配置二】zookeeper完全分布式集群需要奇数个节点（最少三个）根据2n+1法则，最多挂掉n个，我搭建时（挂掉一个节点,但是集群仍能正常维护）我不懂的地方（也就是那个挂掉的节点,（希望会的同学留言一下），说明一下）在进行ip地址映射的时候，由于我之前第二步进行免密钥SSH登陆在/etc/hosts 文件下，当前主...

2020-03-27 00:41:13 189

原创【大数据毕设环境配置四】-在centos7里面安装并且配置VNC

安装说明 # 在master里面进行安装 # 在root情况下运行 yum groupinstall -y "X Window System" yum groupinstall -y "GNOME Desktop" "Graphical Administration Tools" yum update grub2-common ln -sf /lib/systemd/system/ru...

2020-03-25 20:45:11 178

原创【大数据毕设环境配置三】-在centos7里面安装并且配置java

jdk安装包上传到master #本地上传 scp xx.jdk.tar.gz hadoop@172.x.x.x:/home/hadoop #登陆主节点 ssh hadoop@172.x.x.x cd /home/hadoop sudo su #切换root tar -zxvf xx.jdk.tar.gz -C /usr/local cd /usr/local mv java-1...

2020-03-25 19:19:12 152

原创【大数据毕设环境配置二】-修改主机名字并且配置SSH

修改主机名字hostname hostname master #主节点 hostname node1 #从节点1 hostname node2 #从节点2添加主机ip映射 vim /etc/hosts 172.X.X.X master 10.X.X.X node1 26.X.X.X node2 #如果是本机节点，需要加上内网地址 #如果是其它节点，需要添加外网地址配置SS...

2020-03-25 12:24:45 264

问题说明:这是自己最近几天本科毕设的相关内容，分别是大数据环境的搭建、大数据Spark实时分析、web页面展示三大部分。由于自己曾经那个机械硬盘已经坏了，放系统的固态硬盘又不足以搭建一个完全分布式的大数据环境。自己想起了曾经被自己荒废的两台服务器，分别是笔者大二/大三买的阿里云和腾讯云的服务器，但是安装zookeeper最好需要奇数个节点，所以今天笔者在滴滴云上买了三个月的云服务器，于是，笔者开...

2020-03-24 23:43:36 250

原创 appImage文件打开以及mongodb可视化工具dbkoad安装

tools :dbkoda下载网址https://www.dbkoda.com/安装需要授权sudo chmod u+x dbkoda-latest.AppImage ./dbkoda-latest.AppImage

2020-03-14 16:40:09 308

叙话代码