hadoop
大数据球球
每天进步一点点总会有所成功
展开
-
hadoop fs -ls results in “no such file or directory”
ubuntu@xad101-master:~$ hadoop fs -ls 这样事不对的 ubuntu@101-master:~$ hadoop fs -ls /the reason you are seeing the error is ls: ‘.’: No such file or directory because hadoop is looking for this path /原创 2017-06-03 14:03:40 · 775 阅读 · 0 评论 -
pyspark 链接数据库 前提
前提:配置文件/etc/spark/conf/spark-env.sh添加 export SPARK_CLASSPATH=$SPARK_CLASSPATH:/opt/mysql-connector-java/mysql-connector-java-5.1.40-bin.jar 这样的配置有时报错: WARN spark.SparkConf: Setting 'spark.executo...原创 2018-08-15 16:07:14 · 611 阅读 · 0 评论 -
hadoopwordcount 异常错误总结
Exception in thread “main” java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Wi windows 电脑解决办法 找到对应hadoop org.apache.hadoop.io.nativeio.NativeIO 这个文件 按照原来的包名拷贝到项目中把文件此处修改为return t...原创 2018-10-15 15:19:08 · 1495 阅读 · 0 评论 -
hadoop3集群搭建详解(自身总结)
hadoop3 确定集群所需要的机器 ,我由于机器限制 只有三台机器,一般的数据节点至少要有三个副本 由于机器限制我这里就用了两个副本了(我这里hadoop01是主节点) hadoop01 hadoop02 hadoop03 三台服务器 服务器环境搭建 hadoop3 需要的java环境必须在1.8 以上 hadoop3.0.0.1.tar.gz 项目文件下载 解压 解压后需要多件几个文件夹 在...原创 2018-10-09 16:31:07 · 1166 阅读 · 0 评论 -
HDFS文件误删除之恢复
启动HDFS的垃圾回收站为了防止误删,一般默认是关闭的,需要我们自己配置文件打开。 修改core-site.xml <property> <name>fs.trash.interval</name> <value>1440</value> ...转载 2019-03-13 11:24:37 · 957 阅读 · 0 评论