weixin_65644655的博客

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。创建工作路径/usr/flume，下载flume安装包到/opt/software中，然后解压至工作路径。若出现版本号代表 flume 部署成功！

HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。mysql依赖包下载链接：https://pan.baidu.com/s/1bjQPoaMab3CMiS1-5ojGgw。Sqoop下载链接：https://pan.baidu.com/s/1hshFBW5Wkj9MnNMTYN_gGA。创建工作路径/usr/sqoop，下载hadoop安装包到/opt/software中，然后解压至工作路径。

hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。MySQL 软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择 MySQL 作为网站数据库。成功就会跳到hive的输入界面。

Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。配置文件spark-env.sh，进入spark配置文件夹conf，将spark-env.sh.template文件拷贝一份命名为spark-env.sh，spark在启动时会找这个文件作为默认配置文件。如果出现版本号，表示scala安装成功。

在hbase-site.xml配置zookeeper，当Hbase管理zookeeper的时候，你可以通过修改zoo.cfg来配置zookeeper，对于zookeepr的配置，你至少要在 hbase-site.xml中列出zookeepr的ensemble servers，具体的字段是 hbase.zookeeper.quorum.在这里列出Zookeeper集群的地址列表，用逗号分割。hbase.zookeeper.property.dataDir：ZooKeeper的zoo.conf中的配置。

这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。master的broker.id为0，slave1的broker.id为1，slave2的broker.id为2（确保三台服务器的broke.id不同）

设置myid，在我们配置的dataDir指定的目录下面，创建一个myid文件，里面内容为一个数字，用来标识当前主机，conf/zoo.cfg文件中配置的server.X中X为什么数字，则myid文件中就输入这个数字。（集群中设置master为1号服务器，slave1为2号服务器，slave2为3号服务器）配置文件zoo.cfg，进入zookeeper配置文件夹conf，将zoo_sample.cfg文件拷贝一份命名为zoo.cfg，Zookeeper 在启动时会找这个文件作为默认配置文件。

Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。dfs.replication：因为hadoop是具有可靠性的，它会备份多个文本，这里value就是指备份的数量（小于等于从节点的数量）。创建工作路径//usr/hadoop，下载hadoop安装包到/opt/software中，然后解压至工作路径。hadoop的各个组件的都是使用XML进行配置，这些文件存放在hadoop的etc/hadoop目录下。

JDK下载链接：https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html。因此只需要下载安装JDK即可中。java是当前比较流行的一种编程语言，当我们开始学习java的时候肯定会先要安装jdk，然后进行环境变量控制。JRE(Java Runtime Environment ) Java运行环境，用来运行JAVA程序的。JDK 是整个Java的核心，包括了Java运行环境，Java工具和Java基础的类库。

严格的来讲，Linux 不算是一个操作系统，只是一个 Linux 系统中的内核，即计算机软件与硬件通讯之间的平台；Linux的全称是GNU/Linux，这才算是一个真正意义上的Linux系统。GNU是Richard Stallman组织的一个项目，世界各地的程序员可以变形GNU程序，同时遵循GPL协议，允许任何人任意改动。但是，修改后的程序必须遵循GPL协议。Linux 是一个多用户多任务的操作系统，也是一款自由软件，完全兼容POSIX标准，拥有良好的用户界面，支持多种处理器架构，移植方便。

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。说白了就是实现一个任务可以在多个电脑上计算的过程。

1，在配置ssh免密登陆之前，将master克隆3份slaves出来，然后验证其ip是否和上面所述一致，并使用Xshell连接，这样我们可以得到额外的三台机器，且都安装好Java的。4，要使master和3台slave免密登陆，需先在本地机器使用ssh-keygen一个公私钥对。使用ifconfig查看ip地址后，如下，下面将按照这个ip地址进行配置。3，使用以下命令，分别更改4台机器的主机名，以master节点为例。6，在master节点上，将所有的公钥文件写入。： 如果文件权限不正确，你可以使用。

Linux基础环境搭建（CentOS7）- 安装Scala和Spark。

官网下载：https://www.charlesproxy.com/latest-release/download.do中文链接： https://pan.baidu.com/s/1H8bPGzdNUVPyE5aTkdg3TQ?pwd=etak提取码: etak。

下载到 /usr/local安装好之后的界面： php.ini-development 适合开发测试，如本地测试环境， php.ini-production拥有较高的安全性设定，适合服务器上线运营当产品。一般修改php.ini-production为php.ini创建php-fpm.conf文件创建www.conf文件设置开机自动启动加入开机自动启动：关闭开机自动启动：常见错误解决：

1.安装jdk1.8。2.修改/etc/profile中的JAVA_HOME为新的jdk路径，并执行source /etc/profile。3.执行 java -version，这个时候显示jdk还是1.7版本。4.执行： which java which javac 将以上两条指令执行结果中的java、javac文件删除。5.执行： ln -s $JAVA_HOME/bin/java /usr/bin/java ln -s $JAVA_HOME/bin/javac /usr/bin/javac。

一般使用在安装目录下的nginx.conf。

由于CentOS7默认的yum源是国外的，导致我们使用yum下载软件的下载速度不是很理想，这时候我们就需要将yum源更换成国内的源。这条命令用于将文件重命名为。在Linux系统中，mv命令用于移动文件或重命名文件。在这个命令中，是要移动或重命名的原始文件路径，是目标文件路径。执行该命令后，文件将被重命名为，并放置在相同的目录中。这样做可以为文件创建一个备份，以免不小心修改或删除该文件时丢失重要的配置。

完成之后点击。

3.配置网关文件输入命令 ：vi /etc/sysconfig/network-scripts/ifcfg-ens33（注意是root权限哦）IPADDR 对应 NAT设置中的IP地址，前三位一样，第四位随意但最好不要和子网掩码一样。1.网络适配器：NAT模式点击设置-网络适配器-网络连接 （选择NAT模式）-点击确定。2.查看网关相关配置点击 编辑-虚拟网络编辑器-选择VMnet8-点击更改设置。PS：若IP和修改的不一样，尝试输入以下两条命令。点击NAT设置-查看配置信息-后面全部点击确定。

安装成功后，convmv -f gbk -t utf-8 -r --notest /root/ 命令是对root文件夹下所有的中文文件名的文件进行转码。.txt是对root文件夹下的某一乱码中文文件名的文件进行转码。即使将 Linux的 locale.conf 设置了 LANG=en_US.UTF-8，同时将本地的Shell客户端编码也设置成 UTF-8 ，但是结果显示文件名称依然是乱码。

运行完第二歩，表示添加端口已成功，可以用查看端口开放状态命令，查到是否开启成功。运行命令后，返回yes表示已打开，返回no表示未打开。若防火墙没打开，先打开防火墙。

在LinuxCentOS7环境下，安装MySQL8.0.26的时候解压。安装完后，再输入以下命令。询问是否继续，输入y。

服务器规划调试优化对系统进行日常监控故障处理对数据的备份和处理日志的分析linux 是一个开源、免费的操作系统，其稳定性、安全性、处理多并发已经得到业界的认可，目前很多企业级的项目(c/c++/php/python/java/go)都会部署到 Linux/unix 系统上。

区别是在软件选择中使用默认安装，即最小化安装。与安装图像化界面系统步骤基本一致，

安装vmtools3.10.1介绍1) vmtools安装后，可以让我们在windows下更好的管理vm虚拟机2)可以设置windows和centos的共享文件夹3)示意图有的会是灰色显示，这个时候就先关机，然后再启动，启动同时再重新安装就🆗了1)进入centos2)点击vm菜单的3) centos会出现一个vm的安装包4)拷贝到/optopt在点击计算机5)使用解压命令tar,得到一个安装文件cd /opt [进入到opt。

你想回到原先的某一个状态，也就是说你担心可能有些误操作造成系。创建一个文件夹，再保存一个快照。统异常，需要回到原先某个正常运行的状态，也提供了这样的功能，就叫快照管理。安装好系统以后，先做一个快照。试试看，是否还能再次回到快照。如果你在使用虚拟机系统的时候。回到系统刚刚安装好的状态。

操作系统，你还想再更多的，老韩提示大家：没有必要再重新安装，你只需要克隆就可。的克隆操作，注意， 克隆时，需要先关闭。，直接拷贝一份安装好的虚拟机文件。如果你已经安装了一台。

分别下载以上两个文件，第一个是centos7的DVD版，包含了可视化的UI界面，第二个是mini版，不包含可视化界面。在VMware的安装过程中两个都需要进行安装，所以需要两个文件都下载下来。需要一个环境，我们需要创建一个虚拟机，然后在虚拟机上安装一个。里修改设置开启虚拟化设备支持（