大数据学习记录
Pofifotosajkor
这个作者很懒,什么都没留下…
展开
-
6.1Centos7安装ZeroMQ和JZMQ
一、安装ZeroMQ1、下载wget方式下载安装包,这里我安装到了conf文件夹里,我是想下到/下载里,后来移动到/下载了2、解压3、移动到/usr/local/,并重命名4、./configurecd /usr/local/zeromq./configure这时候报了一个错误:no acceptable C compiler found in $PATH解决:然后重新./configure,这时又出现一个错误:Unable to find a working C++ comp原创 2020-07-08 16:24:58 · 353 阅读 · 0 评论 -
5.3Storm分布式安装与启动(Centos7上Storm2.1.0)
下载解压加载安装包,解压到/usr/local/storm/修改环境变量修改storm配置文件将/usr/local/storm文件分发到各从节点启动主节点:从节点:每个从节点都一样原创 2020-05-21 16:29:49 · 243 阅读 · 0 评论 -
5.2HBase完全分布式安装与启动(Centos7下HBase2.2.4)
下载解压将下载好的安装包解压到/usr/local重命名为hbase配置环境变量/etc/profile中添加关于hbase的环境变量hbase version检验是否安装成功修改配置文件hbase-site.xmlhbase-env.shregionservers将/usr/local/hbase分发到各节点启动启动顺序:hadoop—zookeeper—hbase,关闭顺序:hbase—zookeeper—hadoophabse启动:jps查看进程:主节点:原创 2020-05-20 15:29:03 · 676 阅读 · 0 评论 -
5.1Zookeeper完全分布式安装与启动(Centos7上Zookeeper3.6.1)
官网下载并解压将下载好的文件压缩到/usr/local并重命名为zookeeper配置环境变量修改conf中的zoo.cfg①tickTime:心跳时间,毫秒为单位。②initLimit:这个配置项是用来配置 Zookeeper 接受客户端(这里所说的客户端不是用户连接 Zookeeper服务器的客户端,而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器)初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 10 个心跳的时间(也就是 tickT原创 2020-05-20 13:49:40 · 395 阅读 · 0 评论 -
4.3Eclipse安装与使用(Centos7安装eclipse luna并为调试hdfs java程序做准备)
下载并解压https://www.eclipse.org/downloads/packages/release/Luna/SR2.下载安装包,将安装包解压到/usr/lib创建桌面启动器在桌面创建eclipse.desktop,并编辑内容编辑保存后,双击图标,桌面启动器就创建好了eclipse中创建新项目在项目工程中添加hadoop配置文件为项目添加需要的JAR包创建类,编写代码...原创 2020-05-19 17:11:50 · 292 阅读 · 0 评论 -
4.2Mysql安装与启动(Centos7上MySql8.0.20)
下载安装1.检查系统中是否已存在mysql、mariadb,如果存在就删除2.将下载好的压缩包解压到/usr/local/mysql3.安装安装完毕检验:4.初始化及相关配置5.查看初始密码6.进入mysql7.修改密码8.使用...原创 2020-05-18 18:50:57 · 130 阅读 · 0 评论 -
4.1Spark安装与启动(Centos7上Spark2.4.4)
下载解压,授予权限修改spark-env.sh添加一行:运行一个小例子启动Spark-shell环境退出原创 2020-01-09 19:32:15 · 148 阅读 · 0 评论 -
3.1Flume-Flume安装(Centos7上Flume1.9.0)
flume下载1.官网下载Flume下载官网2.解压到/usr/local3.重命名为flume配置环境变量gedit /etc/profile添加以下信息:source /etc/profile检验安装,配置成功...原创 2020-01-08 18:24:13 · 237 阅读 · 0 评论 -
3.2Flume-配置Flume(Flume传输Windows日志文件到Linux中HDFS)
目的:把windows里iis日志,通过flume实时传输到linux流程:1.windows、linux中安装好flume2.配置信息windows中配置信息:配置信息放在flume\conf里,命名为_ -.conf _linux中配置文件:位置:3.启动windows先启动:linux后启动:...原创 2020-01-08 18:42:13 · 804 阅读 · 0 评论 -
2.4安装Hadoop-分布式集群配置(Centos7上Hadoop3.2.1)
安装Hadoop:2.1 配置虚拟机网络:静态ip地址、hostname、hosts (已更新)2.2 ssh无密码登录各节点 (跟centos8操作一致)2.3 安装java环境 (已更新)2.4 hadoop3.2.1集群配置 (待填充)...原创 2020-01-08 12:20:53 · 379 阅读 · 0 评论 -
2.3安装Hadoop-安装java环境(CentOS7上安装下载jdk1.8.0_231)
安装Hadoop:2.1 配置虚拟机网络:静态ip地址、hostname、hosts (已更新)2.2 ssh无密码登录各节点 (跟centos8操作一致)2.3 安装java环境 (跟centos8操作一致)2.4 hadoop3.2.1集群配置 (待填充)...原创 2020-01-07 20:10:10 · 326 阅读 · 0 评论 -
2.1安装Hadoop-配置虚拟机网络、修改主机名、修改hosts
设置虚拟机静态ip地址修改/etc/sysconfig/network-scripts/ifcfg-ens33修改主机名主机名在安装系统配置时有设置,如果没有可以修改/etc/hostname修改hosts在/etc/hosts中,将各节点的映射关系写好可能主机名或者ip地址不能马上发生改变,可以重启一下,重启完各节点之间互相ping以下...原创 2020-01-07 20:02:16 · 1588 阅读 · 0 评论 -
1.虚拟机(VMware Workstation 15.5 pro)中安装linux系统(CentOS 7)
因为一开始学习hadoop用的都是最新的工具和系统,linux用的centos8,后期操作的时候有很多时候感觉还是不是很方便,所以后来干脆重装了centos7,学习过程中很多操作也根据情况自己做了一些改变,所以决定以centos7为基础,开始一个新的学习记录吧1.安装虚拟机,下载linux镜像文件虚拟机下载:VMware WorkStation 下载网站linux镜像文件下载:CentOS官...原创 2020-01-07 17:55:45 · 3399 阅读 · 1 评论