- 博客(25)
- 收藏
- 关注
RSS订阅原创 IDEA存在maven导入的依赖包但是运行项目一直报java.lang.NoClassDefFoundError的问题
File->Project Settings->Libraries：全选所有的依赖包->点击+ New Project Library->然后一直选择ok再重新运行
2020-07-23 18:10:56
1446
1
原创 win10+IDEA+maven安装与配置
1.下载maven官网下载安装包，解压2.设置环境变量3.验证4.修改配置文件，使用阿里云仓库5.创建设置中的localRepository文件夹放置文件6.IDEA中配置maven
2020-07-22 18:09:32
355
原创 6.1Centos7安装ZeroMQ和JZMQ
一、安装ZeroMQ1、下载wget方式下载安装包，这里我安装到了conf文件夹里，我是想下到/下载里，后来移动到/下载了2、解压3、移动到/usr/local/，并重命名4、./configurecd /usr/local/zeromq./configure这时候报了一个错误：no acceptable C compiler found in $PATH解决：然后重新./configure，这时又出现一个错误：Unable to find a working C++ comp
2020-07-08 16:24:58
365
原创 运行django-admin.py startproject 工程名，后不出现指定的工程
使用python和Django框架时运行django-admin.py startproject 工程名 这个命令，要么提示“××不是内部命令××”,或者就是提示让你选择打开django-admin.py所用的工具**第一种解决办法：**有配置环境变量，Django安装之后，要配置环境变量才能用命令**第二种解决办法 ：**如果仅仅是第一步做了之后，运行上面的命令之后还是无法在对应的目录下生成对应的工程，那么，这个问题可能就是，你打开。py后缀的文件的默认工具不是python.exe，如果不是的话，那
2020-05-29 10:35:30
395
原创 flume报错：ERROR [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventS
flume传输文件到hdfs时报错：ERROR [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventSink.process:459) - process failedjava.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/
2020-05-26 15:26:54
5096
4
原创 5.3Storm分布式安装与启动（Centos7上Storm2.1.0）
下载解压加载安装包，解压到/usr/local/storm/修改环境变量修改storm配置文件将/usr/local/storm文件分发到各从节点启动主节点：从节点：每个从节点都一样
2020-05-21 16:29:49
247
原创 5.2HBase完全分布式安装与启动（Centos7下HBase2.2.4）
下载解压将下载好的安装包解压到/usr/local重命名为hbase配置环境变量/etc/profile中添加关于hbase的环境变量hbase version检验是否安装成功修改配置文件hbase-site.xmlhbase-env.shregionservers将/usr/local/hbase分发到各节点启动启动顺序：hadoop—zookeeper—hbase，关闭顺序：hbase—zookeeper—hadoophabse启动：jps查看进程：主节点：
2020-05-20 15:29:03
680
原创 5.1Zookeeper完全分布式安装与启动（Centos7上Zookeeper3.6.1）
官网下载并解压将下载好的文件压缩到/usr/local并重命名为zookeeper配置环境变量修改conf中的zoo.cfg①tickTime：心跳时间，毫秒为单位。②initLimit：这个配置项是用来配置 Zookeeper 接受客户端（这里所说的客户端不是用户连接 Zookeeper服务器的客户端，而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 10 个心跳的时间（也就是 tickT
2020-05-20 13:49:40
401
原创 4.3Eclipse安装与使用（Centos7安装eclipse luna并为调试hdfs java程序做准备）
下载并解压https://www.eclipse.org/downloads/packages/release/Luna/SR2.下载安装包，将安装包解压到/usr/lib创建桌面启动器在桌面创建eclipse.desktop，并编辑内容编辑保存后，双击图标，桌面启动器就创建好了eclipse中创建新项目在项目工程中添加hadoop配置文件为项目添加需要的JAR包创建类，编写代码...
2020-05-19 17:11:50
300
原创 4.2Mysql安装与启动（Centos7上MySql8.0.20）
下载安装1.检查系统中是否已存在mysql、mariadb，如果存在就删除2.将下载好的压缩包解压到/usr/local/mysql3.安装安装完毕检验：4.初始化及相关配置5.查看初始密码6.进入mysql7.修改密码8.使用...
2020-05-18 18:50:57
132
原创 4.1Spark安装与启动（Centos7上Spark2.4.4）
下载解压，授予权限修改spark-env.sh添加一行：运行一个小例子启动Spark-shell环境退出
2020-01-09 19:32:15
149
原创 3.2Flume-配置Flume（Flume传输Windows日志文件到Linux中HDFS）
目的：把windows里iis日志，通过flume实时传输到linux流程：1.windows、linux中安装好flume2.配置信息windows中配置信息：配置信息放在flume\conf里，命名为_ -.conf _linux中配置文件：位置：3.启动windows先启动：linux后启动：...
2020-01-08 18:42:13
835
原创 3.1Flume-Flume安装(Centos7上Flume1.9.0)
flume下载1.官网下载Flume下载官网2.解压到/usr/local3.重命名为flume配置环境变量gedit /etc/profile添加以下信息：source /etc/profile检验安装，配置成功...
2020-01-08 18:24:13
243
原创 2.4安装Hadoop-分布式集群配置（Centos7上Hadoop3.2.1）
安装Hadoop:2.1 配置虚拟机网络：静态ip地址、hostname、hosts （已更新）2.2 ssh无密码登录各节点 （跟centos8操作一致）2.3 安装java环境 （已更新）2.4 hadoop3.2.1集群配置 （待填充）...
2020-01-08 12:20:53
382
原创 2.3安装Hadoop-安装java环境（CentOS7上安装下载jdk1.8.0_231）
安装Hadoop:2.1 配置虚拟机网络：静态ip地址、hostname、hosts （已更新）2.2 ssh无密码登录各节点 （跟centos8操作一致）2.3 安装java环境 （跟centos8操作一致）2.4 hadoop3.2.1集群配置 （待填充）...
2020-01-07 20:10:10
328
原创 2.1安装Hadoop-配置虚拟机网络、修改主机名、修改hosts
设置虚拟机静态ip地址修改/etc/sysconfig/network-scripts/ifcfg-ens33修改主机名主机名在安装系统配置时有设置，如果没有可以修改/etc/hostname修改hosts在/etc/hosts中，将各节点的映射关系写好可能主机名或者ip地址不能马上发生改变，可以重启一下，重启完各节点之间互相ping以下...
2020-01-07 20:02:16
1613
原创 1.虚拟机（VMware Workstation 15.5 pro）中安装linux系统（CentOS 7）
因为一开始学习hadoop用的都是最新的工具和系统，linux用的centos8，后期操作的时候有很多时候感觉还是不是很方便，所以后来干脆重装了centos7，学习过程中很多操作也根据情况自己做了一些改变，所以决定以centos7为基础，开始一个新的学习记录吧1.安装虚拟机，下载linux镜像文件虚拟机下载：VMware WorkStation 下载网站linux镜像文件下载：CentOS官...
2020-01-07 17:55:45
3414
1
原创 第三章 安装hadoop- 第5节 hadoop3.2.1集群安装配置
第5节 hadoop3.2.1集群安装配置下载hadoop修改配置文件workerscore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xmlhadoop-env.sh配置好以后，将hadoopmaster上的/usr/local/hadoop分发到各个节点在slave上执行：启动将hadoop配置到系统环境变量中首次启动需要先在 hadoopas...
2019-12-11 19:04:40
315
原创 第三章 安装hadoop- 第4节 安装java环境
第4节 安装java环境在虚拟机中下载JDK将下载的JDK压缩包解压到/usr/lib/jvm修改~/.bashrc在虚拟机中下载JDK我下载的是jdk-13.0.1_linux-x64_bin.tar.gz下载到了 ~/下载将下载的JDK压缩包解压到/usr/lib/jvm到/usr/lib/jvm中检验是否解压好了修改~/.bashrc在~/.bashrc文档最开始添加下图...
2019-12-03 16:42:38
93
原创 第三章 安装hadoop-第2节 配置虚拟机网络、静态ip地址
第2节 配置网络、ip地址修改主机名修改host文件配置静态ip地址修改主机名为了便于区分，修改主机名修改host文件为了让安装hadoop的节点之间能够使用主机名进行互相访问，需要修改hosts文件，在hosts文件中添加下图三行*** 修改完之后重启一下，可以看到主机名变化 ***配置好后需要在各个节点上执行如下命令，测试是否相互 ping 得通，如果 ping 不通，后面...
2019-12-02 19:37:23
252
原创 第三章 安装hadoop-第3节 安装配置ssh，使其无密码登录
安装配置ssh，使其无密码登录安装ssh配置ssh，使其无密码登录安装ssh首先验证是否安装了ssh，一般centos系统会自带ssh终端输入 rpm -qa | grep ssh如果出现下图文字，就已经安装了如果没有安装，终端yum安装安装好以后，验证ssh是否能够使用输入 ssh localhost出现下图内容，就可以使用了配置ssh，使其无密码登录现在这样每次使用s...
2019-11-28 20:39:14
173
原创 Linux（CentOS 8）中文输入法设置
在CentOS 8中安装中文输入法安装中文输入法设置中添加新安装的输入法安装中文输入法sudo yum install ibus-libpinyin.x86_64 -y设置中添加新安装的输入法添加以后，新安装的中文输入法就可以使用了输入法切换：...
2019-11-28 14:51:40
9150
4
原创 第三章 安装hadoop-第1节 linux中创建用户
创建新用户创建新用户设置所添加用户的root权限创建新用户如果安装时没有创建hadoopmaster用户（slave一样），需要新增一个名为hadoopmaster的用户shell命令里：sudo useradd –m hadoopmaster –s /bin/bash 创建hadoopmastersudo passwd hadoop 设置密码如果安...
2019-11-27 20:16:39
392
原创 第一章 安装VMware WorkStation，下载CentOS镜像文件
安装VMware WorkStationVMware WorkStation 下载网站VMware WorkStation 中文下载网站CentOS官方网站CentOS 镜像文件下载网站
2019-11-27 17:03:37
324
原创 第二章 VMware虚拟机中安装Linux系统（CentOS 8）
虚拟机安装CENTOS工具：步骤1.创建新的虚拟机工具：VMware Workstation 15.5 ProCENTOS 8.1905 ：在 https://www.centos.org/.下载centos系统的影像文件步骤1.创建新的虚拟机选择下载好的映像文件：...
2019-11-12 17:08:26
145
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人