sunfect-CSDN博客

原创 CDH6.0.1详细安装步骤及问题解决

这里写自定义目录标题CDH6.0.1详细安装步骤及常见问题解决系统环境一、配置网络环境二、配置163 yum源三、安装MySQL四、下载并安装Cloudera Manager五、配置CDHCDH6.0.1详细安装步骤及常见问题解决Cloudera Manager能够大大减轻配置hadoop集群的工作量，安装好以后能够快速熟悉Hadoop生态系统常用的一些组件，如HBase, Hive, Sp...

2018-12-30 18:01:19 3637 3

原创对Hive连接metastore数据库的密码进行加密处理

默认情况下，Hive连接metastore数据库的用户名和密码都是在hive-site.xml配置文件中明文设置的，存在安全隐患。生产环境中，这样做是不允许的，因此我们可以采用如下对密码进行加密处理的方式。Original configuration<property><name>javax.jdo.option.ConnectionPassword</na...

2019-01-30 22:05:50 2396

原创 Cloudera Manager启动Spark报内存超出限制的错误：Required executor memory (1024+384 MB) is above the max threshold

启动Spark-Shell报错：java.lang.IllegalArgumentException: Required executor memory (1024+384 MB) is above the max threshold (1024 MB) of this cluster! Please check the values of ‘yarn.scheduler.maximum-all...

2019-01-07 22:23:28 4641

原创 Hive通过外部表的方式访问HBase中的表

**Create hive external table to access hbase table**HBase数据库中的表数据量都比较大，由于HBase不易查询，需要借助Hive对数据进行查询分析。这时就需要让Hive能够直接访问HBase里面的数据表，而不需要将数据在Hive里面复制一份。下面做一个演示：在HBase中新建一张测试表customerhbase(main):00...

2019-01-03 20:32:36 797

原创 RegionServer 运行状况红色报警

重启完报警的NameNode之后，又发现RegionServer也在报警：RegionServer 运行状况运行良好的 RegionServer：0。存在隐患的 RegionServer：1。 RegionServer 总数：2。运行良好：0.00%。运行良好或存在隐患：50.00%。临界阈值：90.00%。继续使用重启大法，依然有效。...

2019-01-02 21:10:00 1199

原创 NameNode检查点状态报警：文件系统检查点已有 1 天，2 小时，23 分钟

今天发现CDH Hadoop集群的NameNode显示红色报警：检查点状态文件系统检查点已有 1 天，2 小时，23 分钟。占配置检查点期限 1 小时的 2,639.08%。临界阈值：400.00%。自上个文件系统检查点以来已发生 1,182 个事务。这是 1,000,000 的已配置检查点事务目标的 0.12%。点击报警的NameNode，可以看到具体的错误信息：尝试重启报警的...

2019-01-02 20:56:47 4895 7

原创 HDFS Read and Write Mechenism

默认情况下HDFS将一份数据复制3份，分别存储在不同的Region Server上，具体复制多少份，可以在hdfs-site.xml配置文件中进行修改。<property><name>dfs.replication</name><value>3</value></property>HDFS Block Rep...

2019-01-01 16:46:50 385

原创 CDH集群中NameNode处于safe mode问题的解决

在安装配置完3个节点的CDH集群后，在cloudera manager的主界面中显示HDFS的红色报警，点进去以后看到如下错误：该NameNode当前处于safe mode.尝试在报错的hadoop01节点上手动disable safe mode：hdfs dfsadmin -safemode leaveroot用户的权限竟然不够！好像只能通过Cloudera Manager的管理...

2019-01-01 12:29:24 5521

sunfect的博客