2018年08月_Rocky000000

12月 11月 10月 09月 08月 03月

原创 Intellij IDEA 安装Scala 报 ‘Plugin ‘Scala‘ is incompatible with this installation‘ 解决方案

错误阐述：今天在IDEA上手动安装scala插件，在settings—>plugins 搜索scala ,右边显示的版本是1.5，于是我以为是1.5的版本，遂去官网下载对应的版本插件，然后放到idea 安转目录下的plugins 里面，然后选择从磁盘安装，报Plugin ‘Scala’ is incompatible with this installation错误，很明显这是版本不匹配。...

2018-08-22 10:56:20 1335

原创 Unable to read additional data from client sessionid 0x0, likely client has closed socket

问题：Unable to read additional data from client sessionid 0x0, likely client has closed socketorg.apache.storm.shade.org.apache.zookeeper.server.ServerCnxn$EndOfStreamException: Unable to read add...

2018-08-21 23:16:13 2406

原创 ssh: Could not resolve hostname guard.: Name or service not known

ssh: Could not resolve hostname with: Name or service not knownlibrary: ssh: Could not resolve hostname library: Name or service not known18/08/21 17:...

2018-08-21 17:30:00 13962

原创 hbase region server频繁挂掉

hbase region server频繁挂掉，其抛出的异常如下所示：2018-08-21 10:06:54,986 INFO [regionserver/admin1/192.168.1.21:16020] regionserver.HRegionServer: regionserver/admin1/192.168.1.21:16020 exiting2018-08-21 10:06:...

2018-08-21 10:25:43 1267

转载继【Hadoop】hiveserver2 不能启动端口 10000 开启服务的相关经验总结

转载来自http://blog.csdn.net/lsttoy/article/details/53490144。首先来品尝下喜悦！[root@master bin]# beeline ls: cannot access /home/hive/lib/hive-jdbc-*-standalone.jar: No such file or directory Beeline versi...

2018-08-19 17:57:50 2284

原创 Hadoop中hiveserver2 不能启动端口 10000 开启服务的总结

[hadoop@admin1 bin]$ ./beeline Beeline version 1.2.1 by Apache Hivebeeline> !connect jdbc:hive2://localhost:10000Connecting to jdbc:hive2://localhost:10000Enter username for jdbc:hive2://localh...

2018-08-19 17:54:21 5563

原创 Exception in thread “main“ java.lang.RuntimeException: java.net.ConnectException: Call From admin1/1

1：安装好hive，准备启动的时候出现下面的错误（由于hive是基于Hadoop的，所以必须先将你的集群启动起来，我就是没有启动集群，直接启动hive导致的错误）：Logging initialized using configuration in jar:file:/home/hadoop/apps/apache-hive-1.2.1-bin/lib/hive-common-1.2.1.ja...

2018-08-19 16:57:27 8974 1

转载 Hadoop 中的面试题

1、MapTask并行机度是由什么决定的？由切片数量决定的。2、MR是干什么的？ MR将用户编写的业务逻辑代码和自带的默认组件结合起来组成一个完整的分布式应用程序放到hadoop集群上运行。 MR的实例进程： driver(mr的job提交客户端) MRAppMaster MapTask ReduceTask ...

2018-08-19 09:30:06 451

原创 Hadoop运行MR出现此问题：Unauthorized request to start container

问题执行wordcount例子程序，出现以下错误：18/08/18 22:40:43 INFO client.RMProxy: Connecting to ResourceManager at admin1/192.168.1.21:803218/08/18 22:40:44 WARN mapreduce.JobResourceUploader: Hadoop command-line ...

2018-08-17 22:46:05 557

原创 -bash: /bin/bash^M: bad interpreter: 没有那个文件或目录

运行脚本的时候出现了这样一个错误，打开之后并没有找到所谓的^M，查了之后才知道原来是文件格式的问题。也就是Linux和Windows之间的不完全兼容出现的问题。-bash: ./datacollect.sh: /bin/bash^M: bad interpreter: 没有那个文件或目录错误分析：因为操作系统是Windows，我在Windows下编辑的脚本，所以有可能会存在不可见的字符，监...

2018-08-17 16:47:50 4796 1

原创 Hadoop中的ssh无秘钥登录配置

ssh无秘钥登录配置对于需要远程管理其它机器，一般使用远程桌面或者telnet。linux一般只能是telnet。但是telnet的缺点是通信不加密，存在不安全因素，只适合内网访问。为解决这个问题，推出了通信加密通信协议，即SSH（Secure Shell）。使用非对称加密方式，传输内容使用rsa或者dsa加密，可以避免网络窃听。hadoop的进程之间同信使用ssh方式，需要每次都要输入密码。...

2018-08-17 13:34:31 2482

原创 Hadoop中的一些常见问题

namenode安全问题当namenode发现集群中的block丢失数量达到一个阀值时，namenode就进入安全模式状态，不再接受客户端的数据更新请求。在正常情况下，namenode也有可能进入安全模式：集群启动时（namenode启动时）必定会进入安全模式，然后过一段时间会自动退出安全模式（原因是datanode汇报的过程有一段持续时间）也确实有异常情况下导致的安全模式...

2018-08-17 00:43:08 352

原创 Linux中的同步时间服务

第一种方式：同步到网络时间服务器 # ntpdate time.windows.com将硬件时间设置为当前系统时间。 #hwclock –w 加入crontab： 30 8 * * * root /usr/sbin/ntpdate 192.168.0.1; /sbin/hwclock -w 每天的8:30将进行一次时间同步。重启crond服务：service cron...

2018-08-17 00:06:30 2616

原创 Hadoop机架感知

1.背景Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快；同时，如果整个机架的网络出现异常，也能保证在其它机架的节点上找到数据。为了降低整体的带宽消耗和读取延时，HDFS会尽量让读取程序读取离它最...

2018-08-16 22:49:51 351

原创 Permission denied: user=Admin, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x

在本地eclipse上运行此段代码的时候会出现报错信息：Configuration conf = new Configuration();conf.set("fs.defaultFS", "hdfs://192.168.1.21:9000");fs = FileSystem.get(conf);报错信息如下所示：org.apache.hadoop.security.AccessCo...

2018-08-16 17:19:13 1405

原创 Hadoop集群有可能出现的错误

在新搭建的hadoop集群中出现了许多问题，今天为大家带来我在运行新搭建的集群时候，出现的一些问题，希望可以帮助到你们。第一个在使用启动集群的命令start-dfs.sh时，出现下面的警告：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin...

2018-08-16 15:22:47 428

原创 mount 一些小问题 mount: no medium found on /dev/sr

我是在Linux中制作本地yum源时，挂载自身的iso。首先我们来了解一下什么是yum？yum 是 yellowdog updater modified 的缩写。yellowdog 是个 Linux 的 distribution，RH 将这种升级技术利用到自己的 distribution 形成了现在的 yum，感觉上 yum 和 apt 的原理类似，但是 apt 是编译代码，执行效率远高于...

2018-08-14 22:33:19 3785

原创 Linux系统安装MySQL

1、安装查看有没有安装过： yum list installed MySQL*rpm -qa | grep mysql* 查看有没有安装包：[root@admin01 ~]# yum list | grep mysql使用yum安装mysql数据库root@admin01 ~]# yum install mysql-server.i686查看安装后的...

2018-08-14 18:13:01 621

原创解决Bringing up interface eth0: Device eth0 does not seem to be present, delaying initialization.

一、问题描述原因可能是因为克隆虚拟机造成的。在使用vmworkstation打开虚拟机的时候，要选择克隆而非复制。二、解决描述网络上解决步骤各异，其实就一句话。只要保证vmwrare virtual machine的.vmx配置文件、ifconfig –a、/etc/sysconfig/network-scripts/ifcfg-eth0 、/etc/udev/rules.d/70-p...

2018-08-13 22:35:42 2777 2

原创 Linux克隆后修改IP

首先切换root用户 su root vim /etc/sysconfig/network-scripts/ifcfg-eth0 2.vim /etc/udev/rules.d/70-persistent-net.rules 修改方法如图所示：将eth0 删除，然后将eth1换成eth0 之后复制然后将ATTR{address}=后面的复制 3. vim /et...

2018-08-13 21:54:55 4525

原创 yum安装报错

yum 安装报错：Could not retrieve mirrorlist http://mirrorlist.centos.org/?release=7&amp;arch=x86_64&amp;repo=os&amp;infra=stock error was 14: curl#6 - “Could not resolve host: mirrorlist.centos.org; Unknow...

2018-08-11 23:03:28 794

原创 maven-resources-plugin:2.6 or one of

Could not calculate build plan: Plugin org.apache.maven.plugins:maven-resources-plugin:2.6 or one of 在用Eclipse IDE for Java EE Developers进行maven项目的开发时,报错Could not calculate build plan: Plugin org.a...

2018-08-09 21:35:26 1859

原创使用bin/hbase shell

在进入HBase客户端命令行，查看当前数据库中有哪些表时有可能会出现下面的这种错误？[atguigu@hadoop102 hbase-1.3.1]$ bin/hbase shellSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/opt/module/hbase-1.3...

2018-08-09 20:59:27 1078

原创 HBase启动后HMaster会自动关闭

在开启HBase集群之后，就出现了HMaster在启动后几秒内自动关闭，HRegionServer运行正常。查看log日志发现这样的错误提示：java.net.ConnectException: Call From hadoop102/192.168.1.102 to hadoop102:8020 failed on connection exception: java.net.Connect...

2018-08-09 20:36:41 2773 3

原创停止HBase集群时：报错找不到pid

当你想停止hbase时，发现停止命令执行后报错： -bash: bin/stop-hbase.sh: 没有那个文件或目录原因是，默认情况下pid文件保存在/tmp目录下，/tmp目录下的文件很容易丢失，解决办法：在hbase-env.sh中修改pid文件的存放路径；在hbase-env.sh中下面的文字默认是注释掉的，放开即可，也可以自己指定存放位置The directo...

2018-08-09 18:07:54 1638

原创在Sqoop中执行HIVE/HDFS 到 RDBMS

Sqoop的导出数据：在 Sqoop 中，“导出”概念指：从大数据集群（HDFS，HIVE，HBASE）向非大数据集群（RDBMS）中传输数据，叫做：导出，即使用 export 关键字在Sqoop中执行导出数据，出现了如下的错误信息：[admin@hadoop102 sqoop-1.4.6.bin__hadoop-2.0.4-alpha]$ bin/sqoop export -...

2018-08-08 07:37:48 499