Linux
文章平均质量分 81
Linux操作系统框架
托马斯-酷涛
知不足而奋进,望远山而前行
展开
-
一零五九、Windows系统(amd)通过VMware安装黑苹果
Windows系统(amd)通过VMware安装黑苹果原创 2023-06-04 14:50:31 · 3278 阅读 · 3 评论 -
三十八、hbase集群的搭建(HBase Shell)
环境准备:Hadoop集群正常运行zookeeper正常运行案例实施:原创 2021-10-16 15:08:32 · 774 阅读 · 0 评论 -
五十一、Kafka组件部署(MINI版)
前景连接:Hadoop HA部署(MINI版)https://blog.csdn.net/m0_54925305/article/details/121566611?spm=1001.2014.3001.5501Spark组件部署(MINI版)https://blog.csdn.net/m0_54925305/article/details/121615781?spm=1001.2014.3001.5501环境准备:编号 主机名 类型 用户 密码 1 maste原创 2021-12-01 16:49:13 · 5543 阅读 · 0 评论 -
九、Hadoop伪分布式的搭建详情
伪分布式:并不是真正的分布式,是将多台机器的任务放到一台机器上运行而已 一.安装前的准备工作(1)安装JDK右键单击centos桌面,在弹出的快捷菜单中选择“open in Terminal”命令,打开终端,切换路径到安装包所在路径,进入软件包所在文件夹,并通过“ls”命令查看文件夹中的所有软件,如图1-25所示。图1-25查看文件夹中的所有软件...原创 2021-07-11 10:01:36 · 1381 阅读 · 0 评论 -
四十二、 ERROR org.apache.pig.Main - ERROR 2998: Unhandled internal error. Found class jline.Terminal
问题描述:启动pig命令:pig -x local发现:解决: cd $HADOOP_HOME/share/hadoop/yarn/librm -rf jline-0.9.94.jar效果:原创 2021-11-05 11:36:03 · 1581 阅读 · 0 评论 -
五十二、 Storm 组件安装部署(MINI版)
前景连接:Hadoop HA部署(MINI版)https://blog.csdn.net/m0_54925305/article/details/121566611?spm=1001.2014.3001.5501Spark组件部署(MINI版)https://blog.csdn.net/m0_54925305/article/details/121615781?spm=1001.2014.3001.5501Kafka组件部署(MINI版)https://blog.csdn.net/m0_54925305原创 2021-12-01 19:27:39 · 5877 阅读 · 2 评论 -
二十四、MapReduce工作机制
MapReduce概述:1 、MapReduce定义Mapredude是一个分布式运算程序的编程框架,是用户开发" 基于Hadoop 的数据分析应用" 的核心框架。MapReduce的核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个Hadoop集群上。2、 MapReduce优缺点优点:(1)MapReduce易于编程它简单的实现一些接口,就可以完成一个分布式程序,这个分布式程序可以分布到大量廉价的PC机器上运...原创 2021-08-29 19:38:18 · 442 阅读 · 0 评论 -
三十一、 master: ssh: connect to host master port 22: No route to host
问题描述:近日将进行MapReduce集群开发,进入虚拟机启动节点时突然发现:master: ssh: connect to host master port 22: No route to hostslave1: ssh: connect to host slave1 port 22: No route to hostslave2: ssh: connect to host slave2 port 22: No route to host问题分析:...原创 2021-09-15 19:14:34 · 10685 阅读 · 6 评论 -
三十二、基于Hadoop伪分布式运行Hadoop自带wordcount案例
环境背景:Hadoop伪分布式已经搭建完成Hadoop2.6.0Hadoop伪分布搭建见:Hadoop伪分布式的搭建详情https://blog.csdn.net/m0_54925305/article/details/118650350?spm=1001.2014.3001.5502案例实施:1.启动集群:2.进入虚拟机浏览器地址栏localhost:50070和localhost:8088查看集群状态: 注:Wordcount是MapRe...原创 2021-09-16 17:50:29 · 3801 阅读 · 9 评论 -
六十二、Spark-Standlone独立集群(上传HDFS进行测试)
Spark官网:(https://spark.apache.org/)Spark是一个大数据领域统一的数据分析/计算/处理引擎目录环境配置一、解压更名二、配置环境变量三、配置Spark参数四、环境测试五、提交任务六、结果查看七、查看spark任务web-ui八、停止集群standalone模式下的模块架构环境配置主机名 master slave1 slave2 类型 master slav..原创 2022-01-23 09:00:00 · 846 阅读 · 10 评论 -
四十九、Hadoop HA部署(MINI版)
环境准备:编号 主机名 类型 用户 密码 1 master1-1 主节点 root passwd 2 slave1-1 从节点 root passwd 3 slave1-2 从节点 root passwd CentOS 7.4 MINI镜像文件hadoop-2.7.1.tar.gzjdk1.8.0_221.tar.gzzookeeper-3.4.8.tar.gz原创 2021-11-28 18:44:23 · 26358 阅读 · 23 评论 -
六十三、Spark-读取数据并写入数据库
需求说明:使用Spark流式计算 将数据写入MySQL,并读取数据库信息进行打印原创 2022-01-26 11:45:26 · 5880 阅读 · 7 评论 -
十三、Zookeeper集群的搭建(单机、伪分布式、集群)
ZooKeeper是一个典型的分布式数据一致性的解决方案,分布式应用程序可以基于它实现诸如数据发布、数据订阅、负载均衡、命名服务、分布式协调、分布式通知、集群管理、master选举、分布式锁和分布式队列等功能。zookeeper共有单机、伪集群、集群三种部署方式。下面对其进行搭建。一、Zookeeper单机安装(1)为方便后续操作,切换为超级用户进行。(2)解压缩包到home目录下。(3)为后续方便重命名zookeeper包 。(4)在主目录下创建data...原创 2021-07-24 17:46:08 · 942 阅读 · 0 评论 -
四十、centos安装sqoop(使用Sqoop完成MySQL和HDFS之间的数据互导)
环境准备:centos 7centos 可以上网hadoop正常运行,hive正常运行参考:Hadoop伪分布式的搭建详情https://blog.csdn.net/m0_54925305/article/details/118650350?spm=1001.2014.3001.5502Hadoop完全分布式的搭建详情https://blog.csdn.net/m0_54925305/article/details/118851554?spm=1001.2014.3001.5502cen原创 2021-11-01 16:56:59 · 1351 阅读 · 1 评论 -
二十一、HadoopHA工作机制(高可用)
HadoopHA概述1)所谓HA(High Available),即高可用(7*24小时不中断服务)。2)实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制:HDFS的HA和YARN的HA。3)Hadoop2.0之前,在HDFS集群中NameNode存在单点故障(SPOF)。4)NameNode主要在以下两个方面影响HDFS集群 NameNode机器发生意外,如宕机,集群将无法使用,直到管理员重启 NameNode机器需要升级,包...原创 2021-08-21 13:12:38 · 827 阅读 · 0 评论 -
二十三、HadoopHA环境搭建(保姆篇,手把手搭建)
环境准备:1. 将各个机器修改为静态IP,见主页第十四篇文章:Linux设置静态IP及Ping通百度2. 修改主机名及主机名和IP地址的映射,见主页第十一篇文章:修改主机名,IP映射3. 关闭防火墙,见主页第九篇文章:永久关闭防火墙4. ssh免密登录,见主页第九篇文章:同上5. 安装JDK,配置环境变量等,见主页第九篇文章:同上规划集群: hadoopha101 hadoopha102 hadoopha103 ...原创 2021-08-27 14:16:25 · 1932 阅读 · 7 评论 -
一零零九、Docker搭建 全集群 环境配置
Docker搭建 全集群 环境配置原创 2022-06-12 15:40:40 · 4720 阅读 · 56 评论 -
五十、Spark组件部署(MINI版)
前景连接:Hadoop HA部署(MINI版)https://blog.csdn.net/m0_54925305/article/details/121566611?spm=1001.2014.3001.5501环境准备:编号 主机名 类型 用户 密码 1 master1-1 主节点 root passwd 2 slave1-1 从节点 root passwd 3 slave1-2 从节点原创 2021-11-30 10:07:47 · 7487 阅读 · 3 评论 -
七、GitHub下载慢,解决GitHub下载慢的问题,用此方法下载速度直接原地起飞
(2021.10.42)亲测有效!!!下方链接:https://tefuirnever.blog.csdn.net/article/details/99110367原创 2021-07-01 10:48:13 · 527 阅读 · 0 评论 -
六十四、Spark-分别统计各个单词个数及特殊字符总个数
广播变量(Broadcast Variables):广播变量用来把变量在所有节点的内存之间进行共享,在每个机器上缓存一个只读的变量,而不是为机器上的每个任务都生成一个副本,简单理解:减少内存,减小计算压力;原创 2022-01-26 17:38:44 · 4917 阅读 · 2 评论 -
一零零、机房收费系统研究报告(Sql Server)
基于 Sql Server数据库 机房收费系统研究报告原创 2022-04-28 08:28:54 · 1728 阅读 · 17 评论 -
六十七、Spark-两种运行方式(本地运行,提交集群运行)
本地运行:在IDEA中直接运行控制台输出结果即可集群运行:在本地将程序打包为 jar,提交至集群运行其程序(将结果上传至hdfs)原创 2022-02-17 12:38:14 · 7211 阅读 · 14 评论 -
七十八、Hive数据仓库实际操作(操作测试)
Hive数据仓库的操作原创 2022-03-11 08:24:52 · 3102 阅读 · 42 评论 -
六十五、Spark-综合案例(搜狗搜索日志分析)
业务逻辑:针对SougoQ用户查询日志数据中不同字段,使用SparkContext读取日志数据,封装到RDD数据集中,调用Transformation函数和Action函数进行处理不同业务统计分析...原创 2022-01-27 16:00:00 · 7033 阅读 · 9 评论 -
四十一、centos安装pig(Pig的应用)
环境准备:环境搭建:原创 2021-11-06 08:00:00 · 670 阅读 · 0 评论 -
三十七、The authenticity of host ‘slave1 (192.168.231.106)‘ can‘t be established.
问题描述:今日使用scp命令,发现警告: 译文为:无法确定主机“slave1 (192.168.231.106)”的真实性。ECDSA 密钥指纹是 SHA256:uem/yiYnLXdrBWUdm378y3SQFQwDPiaHYNNLOBp/HPU。ECDSA 密钥指纹为 MD5:8c:f6:6c:a4:f7:f5:26:f6:38:bb:29:20:cb:e6:da:34。您确定要继续连接吗(是/否)?问题分析:长时间...原创 2021-10-15 17:33:46 · 1002 阅读 · 1 评论 -
一零零七、Docker快速入门
Docker的主要目标是“Build,Ship and Run Any App,Anywhere”,也就是通过对应用组件的封装、分发、部署、运行等生命周期的管理,使用户的APP(可以是一个WEB应用或数据库应用等等)及 其运行环境能够做到“一次镜像,处处运行”。将应用打包成镜像,通过镜像成为运行在Docker容器上面的实例,而 Docker容器在任何操作系统 上都是一致的,这就实现了跨平台、跨服务器。只需要一次配置好环境,换到别的机子上就可以一键部署好,大大简化了操作。...原创 2022-06-04 15:34:35 · 2884 阅读 · 57 评论 -
二十、安装包(个人版)
以下为个人使用的安装包,方便随时取用,只有安装包,不附带安装教程,这里的压缩包大多是软件管家的,有安装步骤不明确的可以去公众号“软件管家”查看,再进行安装。以下安装包会持续更新。尚硅谷大数据全套资料Xshell7Xftp7.0迅雷WinRAR微信电脑版Visual Studio2019(64bit)typora腾讯视频火绒安全软件搜狗输入法snipaste截图软件QQ音乐QQ浏览器Python3.7PycharmPr视频剪辑...原创 2021-08-19 10:08:04 · 876 阅读 · 1 评论 -
十、Zookeeper (leader)选举机制
zookeeper选举第一次启动:一、选举一般分为两种情况:第一种:初始化集群时进行leader选举。第二种:原来选出的leader挂掉,出现障碍,需要重新选举时。二、zookeeper节点的4种状态: (1)LEADING:说明此节点已经是leader节点,处于领导者地位的状态,差不多就是一般集群中的master。但在zookeeper中,只有leader才有写的权限,其他节点(FOLLOWING)是没有写权限的,只可以读。(2)LOOKING:选举中,正在寻找leader,即将.原创 2021-07-12 10:54:30 · 815 阅读 · 0 评论 -
一零一四、Cannot lock /home/hadoop/.flume/file-channel/data. The directory is already locked. [channel=fi
flumeCannotlock/home/hadoop/.flume/file-channel/data.ThedirectoryisalreadyCannotlock/home/hadoop/.flume/file-channel/data.Thedirectoryisalreadylocked.[channel=file-channel-1]原创 2022-07-14 10:10:51 · 675 阅读 · 2 评论 -
五十八、Ubuntu搭建hadoopHA高可用(从零开始)
环境准备编号 主机名 类型 用户 IP 1 master 主节点 root 192.168.231.247 2 slave1 从节点 root 192.168.231.248 3 slave2 从节点 root 192.168.231.249 环境搭建一、基础配置 1、安装VMware tools将其复制到桌面...原创 2022-01-02 13:11:04 · 4153 阅读 · 35 评论 -
五十七、centos创建hadoop用户(修改hadoop用户密码,目录赋予hadoop用户权限等......)
1、创建一个名为hadoops的组groupadd hadoops查看所有组,新增组默认排在最后cat /etc/group2、创建一个名为hadoop的用户,并归到hadoops的组下useradd -g hadoops hadoop查看所有用户,新增用户默认排在最后cat /etc/passwd3、切换用户su hadoop4、修改hadoop目录的归属用户为hadoop用户chown -R hadoop:hadoop...原创 2021-12-27 06:30:00 · 4950 阅读 · 4 评论 -
四十五、centos安装flume(集群模式)
环境准备:hadoop集群正常运行zookeeper正常运行环境搭建:一、下载安装 1、下载flume-1.8.0: wget https://mirrors.huaweicloud.com/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz 2、解压:tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /home3、重命名: m...原创 2021-11-10 10:05:11 · 3314 阅读 · 1 评论 -
四十三、centos安装storm(集群模式)
环境准备:centoszookeeper正常运行storm环境搭建: 一、下载安装: 1、storm官方下载地址:Apache Downloadshttps://www.apache.org/dyn/closer.lua/storm/apache-storm-1.2.4/apache-storm-1.2.4.tar.gz 2、解压:tar -zxvf apache-storm-1.2.4.tar....原创 2021-11-08 08:00:00 · 798 阅读 · 0 评论 -
四十四、nimbus,supervisor进程自动停止(Read a frame size of ..., which is bigger than the maximum allowable...)
问题描述:nimbus,supervisor,ui,logviewer刚启动进程,没一会进程接连停止问题解决:查看logs文件发现: 翻译为:读取帧大小为 1195725856,大于所有连接的最大允许缓冲区大小。 分析可知这应该是内存溢出了,磁盘分配大小不够,想到之前的storm.yaml文件配置有一个是分配磁盘的目录,我之前直接是/home/storm,果断更改路径/home/storm/data...原创 2021-11-07 16:05:48 · 1064 阅读 · 0 评论 -
四十二、centos安装kafka,集群模式(生产者消费者部署测试)
环境准备:centos 7zookeeper正常运行kafka_2.11-1.0.0.tgz环境搭建:一、安装: 1、免费下载:kafka_2.11-1.0.0.tgz.zip-Linux文档类资源-CSDN下载kafka_2.11-1.0.0.tgz.zip提示:先解压再使用,最外层是zip压缩文件更多下载资源、学习资料请访问CSDN下载频道.https://download.csdn.net/download/m0_54925305/37705799 ...原创 2021-11-07 08:00:00 · 553 阅读 · 0 评论 -
三十六、centos安装hive3.1.2(精讲篇)
环境准备:centos 7centos可以上网Hadoop正常运行 详情见:Hadoop完全分布式MySQL正常运行 详情见:Centos安装MySQL案例目标:安装Hive 3.1.2版 搭建Hive环境 配置MySQL jar包驱动 5.1.39版 关联MySQL 和 Hive案例实施:一、下载 由于用wget命令下载直接会下载到此目录,且我的安装全部都在 /opt/software目录下,所以先...原创 2021-10-01 08:21:33 · 2191 阅读 · 0 评论 -
三十五、Centos安装mysql(rpm终结版)
环境准备:Centos 7Centos可以上网wegt已安装完毕 详情见:二十二、Centos安装yum,wegt(完全配置篇)_托马斯-酷涛的博客-CSDN博客背景: Centos下不可避免要下载各种包,所以安装yum,及其wegt组件,在看完社区的博文后,心存疑惑,没有yum,如何使用wegt命令,难道wegt除了用yum安装还有其他安装方式吗,我又在社区找了半天,发现并没有用除yum外其他方式安装wegt,(反正我没有发现。。)并且步骤不是很完整具体,这篇文章将进行从零配置安...原创 2021-09-27 08:30:06 · 1121 阅读 · 2 评论 -
二十二、Centos安装yum,wegt(完全配置篇)
背景: Centos下不可避免要下载各种包,所以安装yum,及其wegt组件,在看完社区的博文后,心存疑惑,没有yum,如何使用wegt命令,难道wegt除了用yum安装还有其他安装方式吗,我又在社区找了半天,发现并没有用除yum外其他方式安装wegt,(反正我没有发现。。)并且步骤不是很完整具体,这篇文章将进行从零配置安装yum,及其wegt组件,看完安装不好你揍我。环境准备:Centos 7Centos可以上网案例实施:安装yum一、查看...原创 2021-09-25 11:02:46 · 5321 阅读 · 8 评论 -
十四、Linux下安装操作系统,虚拟机联网,如何ping通baidu.com网址,以及如何设置静态IP精讲,这一篇足够了。(手把手小白教程)
准备:笔者以3台新建的虚拟机(Spark101,Spark102,Spark103)为例,进行精讲示范。在刚开始新建虚拟机的时候最好有一个规划,不要随便乱放,养成一种整洁明了的习惯。在建新的虚拟机之前先建好对应的文件夹,直接放进去对应的文件夹就好,省的以后不好找。这是笔者的路径以及存放虚拟机的文件夹,方便以后寻找更改等。一路默认下一步(连接方式为NAT模式):一个新的虚拟机就建好了,但是需要进行一些改动才可正常使用,见如下图:编辑虚拟机设置 ...原创 2021-08-06 13:45:03 · 9994 阅读 · 11 评论