2017年06月_wangxizhen123

原创 Intellij IDEA 安装Scala 报 ‘plugin scala is incompatible‘ 解决方案

按以下步骤安装idea的scala的插件这里我把我的下载的scala插件放在D:\IDE,操作以下步骤结果报一下错误，安装的scala插件不兼容解决方法如下图：然后在下面的接下来查看对应的兼容版本版本在官网下载对应版本的插件重复以上步骤出现以下界面即成功

2017-06-30 22:11:17 1057

原创 storm集群部署的基本流程

1、集群部署的基本流程集群部署的流程：下载安装包、解压安装包、修改配置文件、分发安装包、启动集群注意：所有的集群上都需要配置hosts vi /etc/hosts 192.168.239.128 storm01 zk01 hadoop01 192.168.239.129 storm02 zk02 hadoop02 192.

2017-06-23 21:53:04 727

原创 Flume的安装部署

1、Flume的安装非常简单，只需要解压即可，当然，前提是已有hadoop环境上传安装包到数据源所在节点上然后解压 tar -zxvfapache-flume-1.6.0-bin.tar.gz然后进入flume的目录，修改conf下的flume-env.sh，在里面配置JAVA_HOME 2、根据数据采集的需求配置采集方案，描述在配置文件中(文件名可任意自定义)3、指定采

2017-06-20 23:02:59 584

原创 HADOOP集群搭建

HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起HDFS集群：负责海量数据的存储，集群中的角色主要有NameNode / DataNodeYARN集群：负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager(那mapreduce是什么呢？它其实是一个应用程序开发包) 本

2017-06-19 18:27:56 421

原创 HDFS常用命令参数介绍

-help 功能：输出这个命令参数手册-ls 功能：显示目录信息示例： hadoop fs -ls hdfs://hadoop-server01:9000/备注：这些参数中，所有的hdfs路径都可以简写-->hadoop fs -ls / 等同于上一条命令的效果-mkdir

2017-06-16 23:14:12 1405

原创使用hadoop dfsadmin -report命令查看集群运行,结果全为0，解决方法

使用hadoop dfsadmin -report命令查看集群运行,结果全为0结果如下：[hadoop@mini1 hadoop-2.4.1]$ hadoop dfsadmin -reportDEPRECATED: Use of this script to execute hdfs command is deprecated.Instead use the hdfs command fo

2017-06-14 20:10:00 14301 10

原创通过本地光盘安装yum源

1，创建一个光盘挂载点mkdir /mnt/cdrom2,把光盘挂载到挂载点mount /dev/cdrom /mnt/cdrom3,切换到/etc/yum.repos.d cd /etc/yum.repos.d4，使CentOS-Base.repo失效，别删了，万一以后我们使用找不到就麻烦了，我们只需该一下名字即可mv CentOS-Base.repo Cent

2017-06-06 16:45:59 598

原创线程池总结

² 线程池的5中创建方式：1、 Single Thread Executor : 只有一个线程的线程池，因此所有提交的任务是顺序执行，代码： Executors.newSingleThreadExecutor() 2、 Cached Thread Pool : 线程池里有很多线程需要同时执行，老的可用线程将被新的任务触发重新执行，如果线程超过60秒内没执行，那么将被终止并从池

2017-06-05 23:17:54 327

原创 scp命令的使用

1、拷贝本机/home/administrator/test整个目录至远程主机192.168.1.100的/root目录下代码如下:scp -r root@192.168.62.10:/root/ /home/administrator/Desktop/new/2、拷贝单个文件至远程主机代码如下:scp -r root@192.168.62.10:/root/

2017-06-03 16:24:12 674

原创 linux系统下已经配置了ifcfg-eth0但不生效

之前在虚拟机搭建了Linux系统，也设置好了ip（配置了/etc/sysconfig/network-scripts下的ifcfg-eth0），并做了备份，后来用备份时，发现已经设置好的ip地址失效了，后来研究了下，在此记录下处理过程：1、删除/etc/sysconfig/network-scripts下的70-persistent-net.rules：[root@localhost

2017-06-03 09:51:28 22909 1

wangxizhen123的博客