大数据学习
南风剑声
这个作者很懒,什么都没留下…
展开
-
mac下读取ntfs
最近需要在mac下读取ntfs 有两种方式 开启mac原生的读取ntfs的方式 具体操作 网上一搜就有了 但是在我的电脑上 开启后那个分区无法挂载 等于没用 使用ntfs for mac破解版 paragon ntfs for mac 15破解版 ...原创 2018-12-04 11:01:48 · 887 阅读 · 0 评论 -
strom运行jar包报异常 Exception in thread "main" java.lang.NoClassDefFoundError: backtype/storm/topology/I
storm集群提交jar包运行时 一直报异常: Exception in thread "main" java.lang.NoClassDefFoundError: backtype/storm/topology/IRichSpout 经过几天的挣扎 发现是strom版本问题 strom官网有句话: In the latest version, the class packages have ...原创 2019-02-05 13:56:57 · 1738 阅读 · 0 评论 -
hbase启动后hmaster一会自动挂掉,hregionserver启动不了
背景是这样 hbase单机伪分布式 zookeeper采用的虚拟机的单节点zookeeper 执行 start-hbase.sh 后 问题一 启动了hmaster 一会自己又挂掉了 解决: zookeeper问题 没启动好 检查zoo.cfg发现里面配置的server ip 不对 问题二 hregionserver无法启动: 查看日志 显示16020端口占用 和hmaster冲突 解决: 使...原创 2019-01-17 16:43:38 · 3041 阅读 · 0 评论 -
Hadoop集群中DataNode启动不了
主要原因 是因为datanode的clusterID 和 namenode的clusterID 不匹配 解决办法 停止Hadoop的所有进程 删除每个节点Hadoop目录下 logs 和 tmp 手动创建每个节点下 logs 和 tmp 文件夹 到Hadoop/bin目录下,重新格式化: hdfs namenode -format 没有问题后,重新启动hadoop集群,DataNode...原创 2018-12-20 14:52:25 · 1523 阅读 · 1 评论 -
hadoop分布式集群搭建
Hadoop的搭建有三种方式,单机版适合开发调试;伪分布式版,适合模拟集群学习;完全分布式,生产使用的模式。这篇文件介绍如何搭建完全分布式的hadoop集群,一个主节点,三个数据节点为例来讲解。 基础环境 环境准备 1、软件版本 四台服务器配置,系统:centos6.5、内存:1G、硬盘:20G 四台服务器分配的IP地址:192.168.0.71/72/73/74 规划:71用作主节点用作hado...转载 2018-12-20 14:47:39 · 106 阅读 · 0 评论 -
Hive安装
我搭建的大数据学习环境 hadoop是四台机器的一个集群 安装Hive的时候只需要安装在一个节点上即可 上传tar包到安装目录下 /usr/local 解压 tar -zxvf apache-hive-1.2.1-src.tar.gz /usr/local/apache-hive-1.2.1 安装mysql数据库(切换到root用户)(装在哪里没有限制,只有能联通hadoop集群的节点...原创 2018-12-14 15:14:53 · 1145 阅读 · 0 评论 -
解决本地调试远程hdfs用户名权限问题
解决本地调试远程hdfs用户名权限问题 自己使用idea运行mapreduce程序 本地的hadoop访问远程hdfs 本地用户名lilinglin hdfs用户名root 启动时会导致以下异常: Exception in thread "main" org.apache.hadoop.security.AccessControlException: org.apache.hadoop.secu...原创 2018-12-03 20:09:06 · 1217 阅读 · 0 评论 -
mapreduce程序启动时日志警告
mapreduce程序启动时日志警告 log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j:WARN Please initialize the log4j system properly. log4j:WARN See htt...原创 2018-12-03 19:20:22 · 300 阅读 · 0 评论 -
登录mysql出错 Access denied for user 'root'@'localhost'
登录mysql的时候一直出错 ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES) 结合网上好多文章解决 如 编辑mysql配置文件my.ini(不知道在哪请搜索),在[mysqld]这个条目下加入 skip-grant-tables 保存退出后重启mysql /etc/in...原创 2018-12-12 21:52:56 · 198 阅读 · 0 评论 -
Spark的scala版本和sbt的scala版本不同打包提交运行失败
在提交sbt的jar包到Sprak运行时: 报异常: Caused by: java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/runtime/LambdaDeserialize at SimpleApp$.$deserializeLambda$(SimpleApp.scala) ... 60 more C...原创 2019-03-12 19:33:59 · 1769 阅读 · 0 评论