99滴神

ERROR：HDFS页面操作文件出现Permission denied: user=dr.who, access=WRITE, inode=“/user/lq”:lq:supergroup:drwxr-xr-x。hdfs-default.xml配置文件中dfs.permissions.enabled的值默认是true,也就是默认开启权限检查。排查原因：当前用户权限不够，因为hadoop中http访问的静态用户名默认是dr.who,它没有啥特殊含义。注：测试环境可以这样设置，企业生产环境不建议这样设置。

注：当scp的时候我们发现错误，被拒绝，是因为ssh的权限问题，需要修改权限，进入到/etc/ssh文件夹下，用root用户修改文件sshd_config将PermitRootLogin no / without-password 改为 PermitRootLogin yes，然后重启sshd服务。重启命令：service NetworkManager restart。

1、shell中的变量用法1.1、变量的命名规则- 命名只能使用英文字母，数字和下划线。首个字符不能以数字开头- 字母习惯使用大写- 中间不能有空格- 不能使用标点符号- 不能使用bash里的关键字（可用help命令查看保留关键字）1.2、变量的使用规则- 直接定义变量名称，没有类型需要强调（类似于数学中:x=1,y=2,z=x+y）- 赋值时，"="前后不能有空格- 命令的执行结果赋值给变量时，使用反单引号 如：TIME=`date`- 调用变量时，必须使用$ 格式： $变量名 或

Kafkfa笔记一、简介[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DC3ZFZeg-1630938851023)(C:\Users\等待\AppData\Roaming\Typora\typora-user-images\1624285209787.png)]二、部署(伪分布)2.1、准备工作#上传、解压、更名、配置环境变量tar -zxvf kafka_2.11-2.3.0.tgz -C /usr/local/#配置KAFKA_HOME环境变量 v

scala注意点一、方法中的注意点1、方法的定义def add(x:Int,y:Int):Int = x+ydef add1(x:Int,y:Int)=x+y//与上面两种方法有区别，省略= 始终返回unit 此处值得注意def add2(x:Int,y:Int) {x+y}2、空参、无参方法的注意点def add3=System.getProperty("user.name")def add4()=System.getProperty("user.name")//空参方法可以作为

Structured Streaming笔记标准参考文档网站：http://spark.apache.org/docs/2.3.2/structured-streaming-programming-guide.html2、Structured Streaming 入门Scoket Source如下2.1、简单stuctured Streaming模板步骤： 1、 需求梳理 2、 Structured Streaming 代码实现 3、 运⾏ 4、 验证结果需求梳理： 1、编写⼀个流

Spark Streaming笔记⼊⼝类SparkStreaming//构造⽅法 def this(sparkContext: SparkContext, batchDuration: Duration) = { this(sparkContext, null, batchDuration) } def this(conf: SparkConf, batchDuration: Duration) = { this(StreamingContext.createNewSparkContext

SparkSQL笔记一、DataFrameDataFrame：理解了RDD，DataFrame就容易理解些，RDD是一个数据集，DataFrame在RDD的基础上加了Schema（描述数据的信息，可以认为是元数据，DataFrame曾经就有个名字叫SchemaRDD）。1.1、 SparkSQL基本编程1.1.1、SparkSession的创建1、在spark-shell中会自动创建SparkContext和SparkSession[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直

spark笔记1、hadoop与spark的关系与区别1.1、处理流程比较总结：1、Spark把运算的中间数据存放在内存，迭代计算效率更高；mapreduce的中间结果需要落地，需要保存到磁盘，这样必然会有磁盘io操做，影响性能。（不能说mr迭代不使用内存，只是不主打内存）2、Spark容错性高，它通过弹性分布式数据集RDD来实现高效容错；mapreduce的话容错可能只能重新计算了，成本较高。3、Spark更加通用，spark提供了transformation和action这两大类的多个功能a

步骤：将 ***.project和***.flow 打包成zip ，然后上传到azkaban就好了示例1：test.ziptest.projectazkaban-flow-version: 2.0test.flownodes: - name: jobA type: command config: command: echo "this is a simple test"示例2：test2.ziptest.projectazkaban-flow

INFO client.RMProxy: Connecting to ResourceManager at master/172.18.63.28:8032 WARN mapreduce.JobResourceUploader: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this..

hdfs dfs 常用命令如下：hdfs dfs -put file /#file指的是你本地文件路径地址，/指的是hdfs的根路径hdfs dfs -ls /hdfs dfs -put file /hdfs dfs -mkdir /dirnamehdfs dfs -text /filename#直接在linux中查看此filename的内容hdfs dfs -rm /filenamehdfs dfs 其他命令如下：hdfs dfs -appendToFile localf

有一次通过vim命令修改文件出现以下错误：E45: 'readonly' option is set (add ! to override)该错误为当前用户没有权限对文件做修改解决办法:可以:wq! 强行保存退出；

1、修改ip地址后，hdfs上的数据肯定是没法用的，只能删掉重新格式化namenode2、修改namenode的端口后，由于ip地址没有改变，数据还是可以用的，怎么用请看下面的方法我的问题如下：将namenode的端口9000 改为 8020后，连接hive，访问hdfs上的数据出现以下以下错误：FAILED: SemanticException Unable to determine if hdfs://master:9000/data/nshop/ods/dim_pub_base_area i

解决方法：在maven库中的settting.xml中的mirrors标签修改一下就好修改前： <mirrors> <mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/groups/public/</url> <mirrorOf>cen

配置完应用后，重新加载配置出现以下错误：supervisorctl reloaderror: <class 'socket.error'>, [Errno 111] Connection refused: file: /usr/lib64/python2.7原因：因为没有启动supervisor服务首先检查supervisord进程：ps aux|grep supervisord结果是supervisord进程不在了所以启动supervisord， 在进行相关supervis

Apache的国内镜像地址如下：https://mirrors.tuna.tsinghua.edu.cn/apache/这个地址下载hadoop、hbase等Apache旗下的貌似速度快一些，大多数都能下载

mysql数据导入hive出现以下错误:ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.经过查阅资料可知，发现是自己路径设置可能没有设置，肯定有问题。方式一：检查HIVE_CONF_DIR是否有设置echo $HIVE_CONF_DIR如果为空，则是说明没有设置HIVE_CONF_DIR 路径vim ~/.

sqoop从mysqsql中导入到hive，出现以下错误:21/06/27 17:11:49 ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf at org.apache.sqoop.hive.HiveConfig.getHiveConf(HiveConfig.java:50)

错误日志：java.lang.RuntimeException: azkaban.jobExecutor.utils.process.ProcessFailureException at azkaban.jobExecutor.ProcessJob.run(ProcessJob.java:304) at azkaban.execapp.JobRunner.runJob(JobRunner.java:784) at azkaban.execapp.JobRunner.doRun(JobRunner.j