hadoop
大数据球球
每天进步一点点总会有所成功
展开
-
hadoop fs -ls results in “no such file or directory”
ubuntu@xad101-master:~$ hadoop fs -ls 这样事不对的 ubuntu@101-master:~$ hadoop fs -ls /the reason you are seeing the error is ls: ‘.’: No such file or directory because hadoop is looking for this path /原创 2017-06-03 14:03:40 · 777 阅读 · 0 评论 -
pyspark 链接数据库 前提
前提:配置文件/etc/spark/conf/spark-env.sh添加export SPARK_CLASSPATH=$SPARK_CLASSPATH:/opt/mysql-connector-java/mysql-connector-java-5.1.40-bin.jar这样的配置有时报错:WARN spark.SparkConf: Setting 'spark.executo...原创 2018-08-15 16:07:14 · 611 阅读 · 0 评论 -
hadoopwordcount 异常错误总结
Exception in thread “main” java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Wiwindows 电脑解决办法找到对应hadoop org.apache.hadoop.io.nativeio.NativeIO 这个文件 按照原来的包名拷贝到项目中把文件此处修改为return t...原创 2018-10-15 15:19:08 · 1495 阅读 · 0 评论 -
hadoop3集群搭建详解(自身总结)
hadoop3确定集群所需要的机器 ,我由于机器限制 只有三台机器,一般的数据节点至少要有三个副本 由于机器限制我这里就用了两个副本了(我这里hadoop01是主节点)hadoop01hadoop02hadoop03三台服务器服务器环境搭建hadoop3 需要的java环境必须在1.8 以上hadoop3.0.0.1.tar.gz 项目文件下载解压解压后需要多件几个文件夹在...原创 2018-10-09 16:31:07 · 1166 阅读 · 0 评论 -
HDFS文件误删除之恢复
启动HDFS的垃圾回收站为了防止误删,一般默认是关闭的,需要我们自己配置文件打开。修改core-site.xml <property> <name>fs.trash.interval</name> <value>1440</value> ...转载 2019-03-13 11:24:37 · 957 阅读 · 0 评论