大学学习笔记
记录大学学习过程中的相关知识和遇到的情况
码农阿益
愿意为代码搬砖,做一个小小的码农!
展开
-
Flume的安装与使用方法
一:安装flumeflume下载地址: [flume下载官网]通过SSH工具将flume文件从window系统发送到Ubuntu中,如下图。1.解压安装包 cd ~ cd 下载 sudo tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/local # 将apache-flume-1.9.0-bin.tar.gz解压到/usr/local目录下,这里一定要加上-C否则会出现归档找不到的错误 cd /usr/local sudo mv ./apa原创 2020-11-15 12:42:31 · 43158 阅读 · 1 评论 -
Hadoop2.6.0安装教程_单机/伪分布式配置
创建hadoop用户如果你安装 Ubuntu 的时候不是用的 “hadoop” 用户,那么需要增加一个名为 hadoop 的用户。输入如下命令创建新用户 :sudo useradd -m hadoop -s /bin/bash接着使用如下命令设置密码,可简单设置为 hadoop,按提示输入两次密码:sudo passwd hadoop可为 hadoop 用户增加管理员权限,方便部署,避免一些对新手来说比较棘手的权限问题:sudo adduser hadoop sudo登陆刚创建的 ha原创 2020-11-14 20:38:45 · 56117 阅读 · 1 评论 -
Ubuntu中Kafka的安装
这里是安装kafka_2.10-0.10.1.0.tgz版本,可以到官网下载。官网地址:https://kafka.apache.org/downloadscd ~/下载sudo tar -zxf kafka_2.10-0.10.1.0.tgz -C /usr/localcd /usr/localsudo mv kafka_2.10-0.10.1.0/ ./kafkasudo chown -R hadoop ./kafka测试简单实例接下来在Ubuntu系统环境下测试简单的实例。# 进入原创 2020-11-14 17:09:41 · 21820 阅读 · 1 评论 -
spark streaming运行kafka数据源
一、Kafka的安装和准备工作Kafka的安装,请看另外一文,一定要选择和自己电脑上已经安装的scala版本号一致才可以,本教程安装的Spark版本号是1.6.2,scala版本号是2.10,所以,一定要选择Kafka版本号是2.10开头的。比如,到Kafka官网中,可以下载安装文件Kafka_2.10-0.10.1.0,前面的2.10就是支持的scala版本号,后面的0.10.1.0是Kafka自身的版本号。下面,我们启动Kafka。请登录Linux系统(本教程统一使用hadoop用户登录),打开一原创 2020-11-14 21:57:29 · 52885 阅读 · 1 评论 -
Ubuntu中Spark1.6.2安装和使用
一、安装Hadoop如果你的计算机上已经安装了Hadoop,本步骤可以略过。这里假设没有安装。如果没有安装Hadoop,请访问Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04,依照教程学习安装即可。注意,在这个Hadoop安装教程中,就包含了Java的安装,所以,按照这个教程,就可以完成JDK和Hadoop这二者的安装。二、安装 Spark下载地址:1、Spark官网:http://spark.apache.org/downloads.html2、历史版本:原创 2020-11-14 16:16:35 · 22652 阅读 · 2 评论 -
java生成文件并上传本地文件至hdfs
项目整体结构说明:1.创建一个maven项目,导入jar包(将下面代码放入pom.xml文件中,然后导入相应的jar包)<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="ht原创 2020-11-17 15:06:41 · 25283 阅读 · 1 评论 -
另一个程序已锁定文件的一部分,进程无法访问 打不开磁盘“E:\Ubuntu-yun-lianxi\yun2 64 位.vmdk”或它所依赖的某个快照磁盘。 模块“Disk”启动失败。 未能启动虚拟机。
报错信息引起原因虚拟机在运行时,为防止数据被篡改,会将所运行的文件保护起来。当虚拟机突然崩溃或者强制结束导致异常退出,会导致虚拟机来不及解锁保护文件。解决方案进入虚拟机安装目录,删除其保护文件。文件以 .lck为后缀的文件...原创 2020-12-20 15:45:58 · 20965 阅读 · 2 评论 -
解决win10开启虚拟机异常提示:VMware Workstation 与 Device/Credential Guard 不兼容的问题
报错信息VMware Player 与 Device/Credential Guard 不兼容。在禁用 Device/Credential Guard 后,可以运行 VMware Player。引起原因自己在电脑设置上面启动了【Hyper-V】,导致上面面的报错信息。解决方案1、关闭内存完整性进入安全中心,关闭内存完整性开关,默认情况下,是关闭的。2、关闭Hyper-V1、打开控制面板-程序和功能-启用或关闭windows功能。2、找到下图中的Hyper-V取消勾选,保存即可!3、原创 2020-12-20 15:37:26 · 29890 阅读 · 7 评论 -
Java上传文件到hdfs报错:Permission denied: user=17215, access=WRITE, inode=“/“:hadoop:supergroup:drwxr-xr-x
问题:原因解决方案第一种:(亲测可以)hdfs-site.xml中添加下面的配置文件后,重启hadoop文件系统<property> <name>dfs.permissions</name> <value>false</value> </property>第二种:在程序的main方法里面,最上面一行加入System.setProperty("HADOOP_USER_NAME","user");注明:原创 2020-12-06 20:56:13 · 29836 阅读 · 0 评论 -
Linux学习笔记(四) --Hbase集群部署
一、部署准备1、安装所需包官网下载地址百度云下载地址 ——提取码:mnay附:jdk与HBase版本、Hadoopk与HBase版本对应关系。如果版本不对应。可能会产生各种各样的问题。2、服务器规划IP地址主机名版本备注192.168.43.14yun1hbase-2.1.0-bin.tar.gz主节点192.168.43.254yun2hbase-2.1.0-bin.tar.gz数据节点192.168.43.180yun3hbase-2.1.原创 2020-12-02 00:12:50 · 38925 阅读 · 3 评论 -
HBase报错ERROR: KeeperErrorCode = NoNode for /hbase/master
错误情况搭建完集群之后,在hbase shell中查看表或者查看状态时,出现error: KeeperErrorCode = NoNode for /hbase/master如图所示:错误原因在我们查看日志文件时发现hbase启动成功后,过几秒钟就自动停止了。这是因为hbase和zookeeper对应路径没有配置好导致的。注:查看日志文件路径:hbase安装目录下的logs文件中。日志文件:hbase-hadoop-master-yun1.log解决方案第一步将htrace-core-3原创 2020-12-01 23:06:09 · 83408 阅读 · 13 评论 -
Linux学习笔记(三) --Zookeeper分布式协调服务部署
一、部署准备1、安装所需包百度云下载地址 ——提取码:mnay2、服务器规划IP地址主机名版本备注192.168.43.14yun1zookeeper-3.4.14-bin.tar.gz主节点192.168.43.254yun2zookeeper-3.4.14-bin.tar.gz数据节点192.168.43.180yun3zookeeper-3.4.14-bin.tar.gz数据节点二、部署步骤1、上传zookeeper包(yun1节原创 2020-11-30 23:38:35 · 45723 阅读 · 1 评论 -
Linux学习笔记(二) --Hadoop 3.1.3集群分布式配置
一、部署规划1、部署环境主机名IP地址版本备注yun1192.168.43.14Hadoop 3.1.3主节点yun2192.168.43.254Hadoop 3.1.3数据节点yun3192.168.43.180Hadoop 3.1.3数据节点2、创建hadoop用户三台主机节点都新增一个Hadoop用户创建新用户:sudo useradd -m hadoop -s /bin/bash设置密码:sudo passwd hadoop原创 2020-11-29 23:17:51 · 19037 阅读 · 1 评论 -
Linux学习笔记(一)--在虚拟机中安装ubuntu-server-20.04.1版本
一、安装环境操作系统:Windows 10 x64虚拟机版本:VMware-15.5.6Ubuntu版本:ubuntu-20.04.1(服务器版本)二、安装步骤2.1、启动VMware2.2、创建新的虚拟机2.2、选择自定义(高级)(c),然后点击下一步2.3、在选择虚拟机硬件兼容性这里直接选择选择系统默认的兼容(什么也不用操作),直接下一步。2.4、选择【稍后安装操作系统(S)】,然后点击下一步。2.5、客户机操作系统选择【Linux(L)】,版本(V)选择【Ubuntu 64原创 2020-11-29 00:09:35 · 23772 阅读 · 3 评论