记录下windows本地开发运行Spark项目环境问题

• 最近在使用Spark结构化流开发实时流处理项目，原本之前可以在本地IDEA运行的项目突然报各种hadoop相关的错误：

    #错误描述，java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.createFileWithMode0(Ljava/lang/String; JJJI)Ljava/io/FileDescriptor
  

  可以看出是Windows本地环境问题导致IO异常，网上给出的解决方式是在系统文件C:\Windows\System32下添加一个hadoop.dll文件即可解决，查看我本地环境下自己之前有添加过，以为是版本过旧导致，于是下载可一个新的hadoop.dll文件，运行spark项目，依旧报以下和空指针错误：

    Error writing stream metadata StreamMetadata(90a99892-4a05-471c-8e94-19234f1
  

• 解决方式：最终在github上下载相关hadoop配置并配置本地环境变量完美解决，github winutils地址
  下载后解压把其中一个hadoop版本的文件拷贝到本地，并在本地环境配置HADOOP_HOME并添加到PATH环境变量，该方法也解决了之前运行spark项目的winutils错误（如果还存在报错，尝试更新一下bin目录下的hadoop.dll文件版本）